JP2020205063A - コンテキストフィーチャを用いた画像解析システム - Google Patents
コンテキストフィーチャを用いた画像解析システム Download PDFInfo
- Publication number
- JP2020205063A JP2020205063A JP2020136840A JP2020136840A JP2020205063A JP 2020205063 A JP2020205063 A JP 2020205063A JP 2020136840 A JP2020136840 A JP 2020136840A JP 2020136840 A JP2020136840 A JP 2020136840A JP 2020205063 A JP2020205063 A JP 2020205063A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- context
- image
- features
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 207
- 238000012549 training Methods 0.000 claims description 176
- 210000004027 cell Anatomy 0.000 claims description 94
- 230000006870 function Effects 0.000 claims description 69
- 210000004698 lymphocyte Anatomy 0.000 claims description 61
- 239000012472 biological sample Substances 0.000 claims description 58
- 210000004881 tumor cell Anatomy 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000012360 testing method Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 10
- 239000000090 biomarker Substances 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000002730 additional effect Effects 0.000 claims description 4
- 238000003703 image analysis method Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000010186 staining Methods 0.000 description 64
- 210000004940 nucleus Anatomy 0.000 description 52
- 238000012706 support-vector machine Methods 0.000 description 37
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 34
- 206010028980 Neoplasm Diseases 0.000 description 30
- 238000009826 distribution Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 29
- 210000001519 tissue Anatomy 0.000 description 27
- 201000011510 cancer Diseases 0.000 description 26
- 102000015694 estrogen receptors Human genes 0.000 description 22
- 108010038795 estrogen receptors Proteins 0.000 description 22
- 239000000523 sample Substances 0.000 description 18
- 206010006187 Breast cancer Diseases 0.000 description 12
- 208000026310 Breast neoplasm Diseases 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 210000003855 cell nucleus Anatomy 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000002055 immunohistochemical effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002380 cytological effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 108091028043 Nucleic acid sequence Proteins 0.000 description 2
- NKANXQFJJICGDU-QPLCGJKRSA-N Tamoxifen Chemical compound C=1C=CC=CC=1C(/CC)=C(C=1C=CC(OCCN(C)C)=CC=1)/C1=CC=CC=C1 NKANXQFJJICGDU-QPLCGJKRSA-N 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009261 endocrine therapy Methods 0.000 description 2
- 229940034984 endocrine therapy antineoplastic and immunomodulating agent Drugs 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 108020004711 Nucleic Acid Probes Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000001789 adipocyte Anatomy 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 239000003181 biological factor Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 210000002390 cell membrane structure Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003494 hepatocyte Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 210000005265 lung cell Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 210000004882 non-tumor cell Anatomy 0.000 description 1
- 230000008689 nuclear function Effects 0.000 description 1
- 230000006911 nucleation Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 239000002853 nucleic acid probe Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003699 striated muscle Anatomy 0.000 description 1
- 210000002948 striated muscle cell Anatomy 0.000 description 1
- 210000002536 stromal cell Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 229960001603 tamoxifen Drugs 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
【課題】改善された画像解析システムと、独立請求項に特定された方法を提供する。【解決手段】画像解析システムは、プロセッサとメモリを備える。メモリは、プロセッサにより実行されると、プロセッサに、−デジタル画像中のオブジェクトを自動的に又は半自動的に同定し６０２、一又は複数の第１のコンテキストフィーチャ値を計算し６０６、デジタル画像中のオブジェクトの各々の第１のオブジェクトフィーチャ値及び前記デジタル画像の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤに入力し６０８、第１のクラシファイヤを実行し、オブジェクトがオブジェクトクラスのメンバーである第１の可能性を自動的に決定するための入力として使用する６１０。【選択図】図６
Description
関連出願の相互参照
本明細書においては２０１４年８月４日出願の米国仮特許出願第６２／０３２８９７号の利益が主張され、この出願はその全体が参照により援用される。
本明細書においては２０１４年８月４日出願の米国仮特許出願第６２／０３２８９７号の利益が主張され、この出願はその全体が参照により援用される。
発明の分野
本開示内容は、特に組織学の分野の生体画像の自動解析の分野に関する。
本開示内容は、特に組織学の分野の生体画像の自動解析の分野に関する。
リンパ球、がん細胞核、及び腺といった特定の組織学的オブジェクトの同定は、多くの場合病理組織画像における疾患の類別又は診断の前提条件の一つである。これら構造の存在、範囲、サイズ、形状及びその他形態学的外観は、疾患の存在又は重症度の重要な指標である。さらに、特定のオブジェクトの数又は比率（例えば細胞又は細胞核）は、いくつかのがん性状態に関して診断的重要性を有し、さらに特定のオブジェクトを正確に同定する必要性を動機づける。例えば、エストロゲン受容体（ＥＲ）染色スライドの免疫組織化学（ＩＨＣ）的評価において、陽性及び陰性に発現した腫瘍細胞を同定する必要がある。腫瘍細胞数のうちＥＲを陽性に発現した腫瘍細胞の割合は、ＥＲスコアとして算出され、患者がタモキシフェンのような内分泌療法の利益を受ける可能性が高いかどうかの予測に使用される［１］。
染色プロトコールの差異は、自動核検出及び分類に大きな課題を課している［４］。染色のばらつきは、主に画像処理の問題として提示されており、この場合、画像全体の全般的な色分布を所定の範囲と揃うように調整する［５］か、又は異なる染色若しくは組織の色ヒストグラムのランドマークをテンプレート画像内のランドマークと一致させる［６］［７］。いくつかの文献［８］により、色相−彩度−濃度（ＨＳＤ）モデルを用いた色の標準化により、色デコンボリューション［９］又は組織のセグメンテーション［７］の必要なく、色の一貫性が向上することが示されている。
しかしながら、染色の外観の一貫性を向上させようとする色分布アラインメントは、同じ染色を有するオブジェクト間で分類を実施する必要があるとき、危険である。このようなオブジェクトの色は微妙に異なることがある一方、各オブジェクトの分布率は画像ごとに極めて大きく変動しうる。したがって、同じ染色に関し、色分布における画像間の差異は、染色のばらつきではなくオブジェクト分布率によって主に引き起こされているといえる。やみくもに色分布をそろえることは、分類すべきオブジェクト間における色の混乱を増大しうる。
生物学的試料のデジタル画像における特定のオブジェクトタイプのオブジェクト自動認識に共通する問題は、様々なフィーチャ（例えばオブジェクトサイズ、染色強度及びその他）が大きく変動することである。このような変動性により多くのオブジェクト認識アプローチの精度が低下し、特にオブジェクトタイプの同定が、二つの異なるオブジェクトクラスのオブジェクトに予測される分布ミーン値の差異がわずかであるガウス分布によるフィーチャに基づいている場合にそうである。
本発明の一つの目的は、改善された画像解析システムと、独立請求項に特定された方法を提供することである。本発明の実施形態は、従属請求項に与えられる。本発明の実施形態は、相互はいたてきでない限り、互いに自由に組み合わせることができる。
一態様では、本発明は、生物学的試料のデジタル画像において特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析システムに関する。システムは、プロセッサ及びメモリを備える。メモリは解釈可能な命令を含み、この命令は、プロセッサにより実行されるとき：
−デジタル画像中の一又は複数のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値を同定するために、デジタル画像を解析すること；
−各々が、デジタル画像中の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第１のコンテキストフィーチャ値を計算するために、デジタル画像を解析すること；
−デジタル画像中の一又は複数のオブジェクトの各々の第１のオブジェクトフィーチャ値と、前記デジタル画像の一又は複数の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤに入力すること；
−第１のクラシファイヤを実行し、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と一又は複数の第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性を自動的に決定するための入力として使用すること
を含む方法を、プロセッサに実施させる。
−デジタル画像中の一又は複数のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値を同定するために、デジタル画像を解析すること；
−各々が、デジタル画像中の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第１のコンテキストフィーチャ値を計算するために、デジタル画像を解析すること；
−デジタル画像中の一又は複数のオブジェクトの各々の第１のオブジェクトフィーチャ値と、前記デジタル画像の一又は複数の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤに入力すること；
−第１のクラシファイヤを実行し、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と一又は複数の第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性を自動的に決定するための入力として使用すること
を含む方法を、プロセッサに実施させる。
前記フィーチャは、フィーチャのばらつき、例えば染色強度のばらつきを「平均化／正規化」されるアーチファクトと考える従来技術のアプローチとは異なり、クラシファイヤが、所与のデジタル画像内でオブジェクトをはっきりと特徴付けるオブジェクトフィーチャ値と、例えばグループの統計を用いて、前記デジタル画像の複数のオブジェクト又は前記画像の複数のピクセルから導出される「グローバル」又は「コンテキスト」プロパティの両方を考慮するため、有利である。したがって、異なるデジタル画像から導出された二つのコンテキストフィーチャ値は、それぞれの画像のオブジェクトのコンテキスト情報をそれぞれ反映している。例えば、コンテキストフィーチャ値は、大部分のオブジェクトの画像間のばらつきがコンテキストフィーチャ値によって反映されるように、選択及び計算することができる。例えば、複数の異なる画像において細胞核の大きさが異なる場合、前記二つの異なる画像の細胞サイズの統計的ミーン値又はメジアン値も変動するであろう。
これは、特定のオブジェクトクラスに対する前記オブジェクトのメンバーシップと、画像が由来する生物学的試料の取り扱い、調製及び／又は染色により生じるアーチファクトの両方に依存する、及び／又は天然の生物学的ばらつきに依存する値を有するオブジェクトフィーチャに関して、特に有利である。例えば、特定のオブジェクトタイプのピクセル、例えば特定の細胞型の細胞を表すピクセルの強度の値は、染色のばらつきだけでなく、生物学的側面（即ち、特定の細胞型の細胞を表すオブジェクトに対するメンバーシップ）に実質的に依存する。例えば、デジタル画像内のピクセルブロブの強度値は、大きな不均一性を示す。前記不均一性は、生物学的側面（細胞型、疾病生態学、異なる対象間の生物学的ばらつき）及び／又は染色アーチファクトに依存している可能性がある。例えば、染色の間にスライドが正確に水平方向に向いていないことにより、スライドの一方の側に他方の側より多量の染色が行われうる。また、染色プロトコールの差異により、一つのスライドが、同じ組織の別の試料を含む別のスライドより強い染色強度を有し、したがって、スライド全体の画像それぞれの強度が互いに異なることがある。これに加えて又は代えて、特定の患者が、バイオマーカーとして使用されて選択的に染色されるタンパク質をより高い発現率で発現する結果、二人の患者の細胞の染色強度にばらつきが生じることがありうる。
前記染色の不均一性により、画像間の外観のばらつきに関係なく存在する画像フィーチャを抽出することが困難であるため、自動核検出及び分類は極めて困難であった［４］。
反対に、本発明の実施形態は、クラシファイヤの精度に対する、例えば染色の不均一性及び生物学的不均一性（オブジェクトのクラスメンバーシップとは無関係の）の悪影響を、プロパティ値の不均一性が主に画像間のばらつきによって引き起こされたのか、又はオブジェクトのクラスメンバーシップによって引き起こされたのかをそれぞれ示す一又は複数のコンテキストフィーチャ値を計算することにより、低減する。オブジェクトを分類するとき、特定の画像の一又は複数のコンテキストフィーチャ値をさらなる予測フィーチャとして考慮するクラシファイヤを適用することにより、分類精度は向上する。
したがって、本発明の実施形態は、生体画像におけるオブジェクトフィーチャ値の不均一性が、アーチファクトとして完全に無視されることも、不均一性が、染色又は試料調製のアーチファクト又はクラスメンバーシップによって生じたものではない生物学的不均一性がまったく修正されずに入力値として直接使用されることもないという利点を有する。各デジタル画像について一又は複数のコンテキストフィーチャ値を計算し、考慮される各オブジェクトの一又は複数のオブジェクトフィーチャ値を抽出することにより、クラシファイヤが、オブジェクトのクラスメンバーシップ以外の要因により生じたオブジェクトフィーチャのばらつきを平均化することを可能にする情報が、クラシファイヤに提供される。前記要因は、例えば、クラス（例えば細胞型）メンバーシップによって生じたのでない生物学的ばらつき、染色又は試料の取り扱いの影響によって生じたばらつきなどである。
例えば、染色の見た目の一貫性を改善するために色分布アラインメントを実施する（染色強度が少なくとも部分的にクラスメンバーシップに依存する同じ染色を有するオブジェクト間で分類を実施する必要があるときには危険である）代わりに、本発明の実施形態は、コンテキストフィーチャ値、例えば「一つの画像内のすべてのオブジェクトの染色強度のメジアン値」を計算することができる。これらオブジェクトの色は微妙に異なることがあるが、各オブジェクトの分布率は画像ごとに又はエリアごとに極めて大きく変動しうる。したがって、同じ染色に関して、染色のばらつきではなく主にオブジェクトの分布率によって生じる画像間の色部分布の差異は、コンテキストフィーチャ値の形で保存される。異なる細胞スライドから得られる異なるデジタル画像の色分布をやみくもに揃えて正規化する（分類すべきオブジェクト間の混色を増大させうる）ことに基づくアプローチと比較して、本発明の実施形態は、分類の間に、追加入力として使用される一又は複数のコンテキストフィーチャ値（それぞれの画像内のオブジェクトの一又は複数のフィーチャ値との組み合わせで）を抽出し、それにより生物学的情報、即ち、特定のクラスに対するオブジェクトのメンバーシップにより生じるオブジェクトフィーチャ値の不均一性が失われないことを保証することにより、分類精度を向上させることができる。
実施形態によれば、第１の可能性の決定は、第１のクラシファイヤにより、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のコンテキストフィーチャ値を使用することを含む。このプロセスの実施は、使用されるクラシファイヤの特殊性に依存し、訓練プロセスの結果でありうるので、前記工程の明白な実施は必要でない場合がある。
実施形態によれば、一又は複数のコンテキストフィーチャが計算されるデジタル画像は、生物学的試料又は組織スライド全体の画像（即ち、「スライド全体の画像」）である。二つ以上のスライド全体の画像の各々について一又は複数のコンテキストフィーチャ値を計算することは、二つの異なる組織スライドに異なる試料調製プロトコール（例えば異なる染色プロトコール）が適用される結果として生じ、対応する二つのデジタル画像内のオブジェクトのオブジェクトフィーチャ値に差異を生じさせる差異、例えば染色の差異を平均化することができるという利点を有しうる。コンテキストフィーチャ値は、クラシファイヤが、二つの試料スライドに適用される試料調製及び染色プロトコールの差異により生じる異なるスライド全体の画像のオブジェクトフィーチャ値の不均一性を同定することを可能にしうる。
他の実施形態によれば、前記デジタル画像は、スライド全体又は生物学的試料の画像内部の、自動的に又は手動で選択された小区域である。この小区域は、例えば、デジタル画像の視野（ＦＯＶ）である。
例えば、特定のスライドは、染色フェーズの間に細胞スライドの第２の半分より細胞スライドの第１の半分に染色の大部分が蓄積するように位置決めされたものである。結果として、スライドの第１の半分を表す第１のＦＯＶ内のすべてのオブジェクトは、−平均で−前記スライドの第２の半分を表す第２のＦＯＶのオブジェクトより、前記染色の結果として高い強度値を有する。このような染色のアーチファクトは、前記小区域の各々について別々にコンテキストフィーチャ値を計算することにより、簡単に平均化することができる。他の例によれば、第１のＦＯＶは、第２のＦＯＶとは異なる組織切片を含んでもよい。第１のＦＯＶの組織切片内の細胞の大部分は、陽性又は陰性に染色された腫瘍細胞からなっていてよく、第２のＦＯＶ内の細胞の大部分はリンパ球からなっていてよい。したがって、細胞型の分布率は、異なるＦＯＶでは異なり、したがってデジタル画像の異なる小区域では異なることがある。
例えば、特定のスライドは、染色フェーズの間に細胞スライドの第２の半分より細胞スライドの第１の半分に染色の大部分が蓄積するように位置決めされたものである。結果として、スライドの第１の半分を表す第１のＦＯＶ内のすべてのオブジェクトは、−平均で−前記スライドの第２の半分を表す第２のＦＯＶのオブジェクトより、前記染色の結果として高い強度値を有する。このような染色のアーチファクトは、前記小区域の各々について別々にコンテキストフィーチャ値を計算することにより、簡単に平均化することができる。他の例によれば、第１のＦＯＶは、第２のＦＯＶとは異なる組織切片を含んでもよい。第１のＦＯＶの組織切片内の細胞の大部分は、陽性又は陰性に染色された腫瘍細胞からなっていてよく、第２のＦＯＶ内の細胞の大部分はリンパ球からなっていてよい。したがって、細胞型の分布率は、異なるＦＯＶでは異なり、したがってデジタル画像の異なる小区域では異なることがある。
したがって、オブジェクトのフィーチャ値（例えばオブジェクトサイズ、形状、及び染色強度）のばらつきは、二つの異なるデジタル画像を生成するために使用される染色プロトコールの差異及び／又は異なるデジタル画像により表される異なるスライド又はスライド区域における細胞型分布率の差異により生じうる。
実施形態によれば、方法は、前記デジタル画像の他の小区域内部のオブジェクトと比較して、それらのプロパティのうちの一又は複数に関する不均一性の低いを有するオブジェクトを有するデジタル画像の小区域を自動的に又は手動で同定することにより、小区域を選択することを含む。また、同定された小区域をデジタル画像として使用すること。これは、試料調製及び染色プロトコールのアーチファクトに起因するスライド内の不均一性が低減するという利点を有しうる。
実施形態によれば、第１の（及びもしあれば第２の及び／又はさらなる）コンテキストフィーチャ値を計算するために使用されるデジタル画像内の複数のオブジェクトは、前記デジタル画像内部のオブジェクトの全体である。一つのオブジェクトは、例えば、特定のチャネルから得られたピクセルブロブ（例えば「青色のピクセルブロブ」、「褐色のピクセルブロブ」）であるか、複数の所定のオブジェクトクラスのうちの一つの候補メンバーとして同定される他のいずれかの形態のピクセルセットでありうる。
実施形態によれば、システムにより実行される方法は：
ａ）各オブジェクトについて、前記オブジェクトの第２のオブジェクトフィーチャの第２のオブジェクトフィーチャ値を同定するために、デジタル画像を解析すること；
ｂ）各々が、デジタル画像中の複数のオブジェクトの第２のオブジェクトフィーチャ値又は他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第２のコンテキストフィーチャ値を計算するために、デジタル画像を解析すること；
ｃ）一又は複数のオブジェクトの各々の第２のオブジェクトフィーチャ値と、前記デジタル画像の一又は複数の第２のコンテキストフィーチャ値の両方を、第２のクラシファイヤに入力すること；
ｄ）オブジェクトの各々について、オブジェクトの第２のオブジェクトフィーチャ値及び一又は複数の第２のコンテキストフィーチャ値を使用することにより、オブジェクトクラスのメンバーである第２の可能性を自動的に決定するために、第２のクラシファイヤを実行すること；並びに
ｅ）オブジェクトの各々について、前記オブジェクトについて計算された第１及び第２の可能性に基づいて、オブジェクトクラスのメンバーである合成された可能性を計算すること
を含む。
ａ）各オブジェクトについて、前記オブジェクトの第２のオブジェクトフィーチャの第２のオブジェクトフィーチャ値を同定するために、デジタル画像を解析すること；
ｂ）各々が、デジタル画像中の複数のオブジェクトの第２のオブジェクトフィーチャ値又は他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第２のコンテキストフィーチャ値を計算するために、デジタル画像を解析すること；
ｃ）一又は複数のオブジェクトの各々の第２のオブジェクトフィーチャ値と、前記デジタル画像の一又は複数の第２のコンテキストフィーチャ値の両方を、第２のクラシファイヤに入力すること；
ｄ）オブジェクトの各々について、オブジェクトの第２のオブジェクトフィーチャ値及び一又は複数の第２のコンテキストフィーチャ値を使用することにより、オブジェクトクラスのメンバーである第２の可能性を自動的に決定するために、第２のクラシファイヤを実行すること；並びに
ｅ）オブジェクトの各々について、前記オブジェクトについて計算された第１及び第２の可能性に基づいて、オブジェクトクラスのメンバーである合成された可能性を計算すること
を含む。
前記フィーチャは、二つ以上のオブジェクトフィーチャの組み合わせ及び一又は複数のコンテキストフィーチャ値それぞれがオブジェクト分類の精度を向上させうる及び／又は単一のコンテキスト認識フィーチャでは確信を持ってオブジェクトを分類するためには不十分でる場合に有益でありうる。
特定のオブジェクトフィーチャに特異的なクラシファイヤの入力として一つのオブジェクトフィーチャと複数のコンテキストフィーチャを使用することは、前記個々のクラシファイヤの精度を向上させうる。好ましくは、単一のオブジェクトフィーチャと一又は複数の割り付けられたコンテキストフィーチャのみがクラシファイヤの入力として使用される、及び／又は、好ましくは、クラシファイヤが単一のオブジェクトフィーチャと一又は複数のコンテキストフィーチャについて訓練される。
前記特定のオブジェクトフィーチャ及びそれに関連付けられる一又は複数のコンテキストフィーチャについて訓練されたそれぞれのクラシファイヤにより、各オブジェクトフィーチャについて個別にクラスメンバーシップの可能性を計算すること、並びに次いで合成された可能性を計算するために前記可能性を合算することは、単一のオブジェクトフィーチャとそれぞれのコンテキストフィーチャでは、オブジェクトを特定のオブジェクトクラスのメンバーであるとして確信を持って分類するためには不十分である場合、特に有益である。
各個別のオブジェクトフィーチャ（「コンテキスト認識フィーチャ」とも呼ばれる）について計算される可能性は、例えば、一つのオブジェクトが特定のオブジェクトクラスのメンバーである可能性を示す数値とすることができる。
例えば、第１のクラシファイヤは、第１のオブジェクトフィーチャである「がん細胞のサイズ」について訓練されたサポートベクターマシン（ＳＶＭ）とすることができ、第２のクラシファイヤは、第２のオブジェクトフィーチャであるヘマトキシリンで染色された核の「青色の強度」について訓練されたＳＶＭとすることができる。
ＳＶＭは、データを解析してパターンを認識する学習アルゴリズムが関連付けられている教師付き学習モデルであり、分類及び回帰解析に使用される。各々が二つのカテゴリのうちの一つに属することがマークされたピクセルブロブを有する一セットの訓練デジタル画像に基づいて、ＳＶＭ訓練アルゴリズムは、新規の例を一方のカテゴリ又は他方のカテゴリに割り付けるモデルを構築し、非確率的バイナリクラシファイヤとする。ＳＶＭクラシファイヤは、線形クラシファイヤでよい。代替的に、非線形ＳＶＭ核機能が使用される場合、ＳＶＭクラシファイヤは非線形クラシファイヤとすることができる。ＳＶＭモデルは、例を、別個のカテゴリの例が可能な限り広い明白なギャップによって分離されるようにマッピングされた、空間内の点として表わしたものである。新規の例は次いで、同じ空間中にマッピングされ、ギャップのどちら側に位置するかに基づいて一方のカテゴリに属することが予測される。
具体例を、ＳＶＭに関する図８の説明に示すが、教師付き学習クラシファイヤの他のあらゆる形態が同様に適用可能である。
具体例を、ＳＶＭに関する図８の説明に示すが、教師付き学習クラシファイヤの他のあらゆる形態が同様に適用可能である。
実施形態によれば、オブジェクトクラスの各オブジェクトは、少なくとも一つのさらなるオブジェクトフィーチャを割り付けている。システムは、第１及び第２のクラシファイヤを備え、かつさらなるオブジェクトフィーチャの各々のためのさらなるクラシファイヤを備える。例えば、システムは、第１、第２及び一又は複数のさらなるクラシファイヤを記憶した非一時的記憶媒体を備えることができ、記憶されたプログラムロジック、例えばクラシファイヤを実行し、入力データをクラシファイヤに供給するように構成された画像解析プログラムを記憶していてよい。画像解析プログラムは、本明細書に記載される実施形態のいずれか一つによる方法を実施するように構成される。
実施形態によれば、第１、第２及び／又はいずれかのさらなるオブジェクトフィーチャは、特定のオブジェクトクラスに対するオブジェクトのメンバーシップと、前記オブジェクトを示す画像が由来する生物学的試料の取り扱い、調製、及び／又は染色により生じるアーチファクトの両方に依存する、及び／又はオブジェクトクラスメンバーシップによって生じたものではない生物学的不均一性に依存する値を有するフィーチャである。
実施形態によれば、画像解析システムにより実行される方法はさらに：
−各オブジェクトがオブジェクトクラスのメンバーであるさらなる可能性をそれぞれ計算するために、さらなるオブジェクトフィーチャの各々について工程ａ）からｄ）を繰り返すこと；及び
−オブジェクトの各々について、少なくとも第１及び第２の可能性並びにさらなる可能性の各々に基づいてオブジェクトクラスのメンバーである合成された可能性を計算すること
を含む。
複数のオブジェクトフィーチャ値を考慮することは、オブジェクト分類の精度を向上させることができるという利点を有しうる。
−各オブジェクトがオブジェクトクラスのメンバーであるさらなる可能性をそれぞれ計算するために、さらなるオブジェクトフィーチャの各々について工程ａ）からｄ）を繰り返すこと；及び
−オブジェクトの各々について、少なくとも第１及び第２の可能性並びにさらなる可能性の各々に基づいてオブジェクトクラスのメンバーである合成された可能性を計算すること
を含む。
複数のオブジェクトフィーチャ値を考慮することは、オブジェクト分類の精度を向上させることができるという利点を有しうる。
実施形態によれば、第１、第２及び／又はさらなる可能性の各々から導出される可能性に加えて、一又は複数の追加フィーチャが最終クラシファイヤへの入力として使用され、合成された可能性が計算される。前記追加フィーチャは、例えば、いずれのコンテキストフィーチャにも関連付けられていない追加オブジェクトフィーチャ、例えばオブジェクトの「小型化」といったオブジェクトフィーチャとすることができる。少なくとも一つの追加フィーチャは、追加的に又は代替的に、さらなるオブジェクトフィーチャと、前記さらなるオブジェクトフィーチャに関連付けられた一又は複数のコンテキストフィーチャの組み合わせとしてもよい。
実施形態によれば、第１、第２及び／又は第３のクラシファイヤの各々は、前記クラシファイヤの各々が、正確に一つのオブジェクトフィーチャと前記オブジェクトフィーチャに関連付けられた一又は複数のコンテキストフィーチャとを入力として使用するように、訓練される、及び／又はテスト画像に適用される。したがって、各クラシファイヤは、それぞれのオブジェクトフィーチャとそれに関連付けられた一又は複数のコンテキストフィーチャについて訓練され、訓練されたオブジェクトフィーチャの予測力を使用することにより、クラスメンバーシップを予測するように構成され、これにより、関連する一又は複数のオブジェクトフィーチャは、前記オブジェクトフィーチャの画像間のばらつきを平均化するための入力として使用される。
実施形態によれば、オブジェクトクラスは：リンパ球、腫瘍細胞、特定の組織型の細胞、特定のバイオマーカーで陽性に染色された細胞、又は前記細胞型のうちの一つの核のうちの一つである。例えば、特定の組織型、例えば肝臓の細胞は、少なくとも平均して、特定の染色に関して、リンパ球、脂肪細胞、肺細胞、筋肉細胞他とは異なる直径又は形状又は染色強度を有する。したがって、平均で、肝臓細胞は複数のプロパティ（平均染色強度、平均サイズ、隣接細胞からの平均距離、形状、例えば曲率など）に関して、リンパ球とは異なっており、よって前記プロパティも試料調製及び染色プロセスに応じで変動しうる。細胞核のサイズ及び／又は染色強度を分類のためのプロパティとして使用することも可能である。これにより、オブジェクト分類の精度は大きく向上しうる。例えば、方法は、特定の細胞が「正常な」組織細胞であるか、又は異なる組織型（例えば肝臓）に由来し、その後所属リンパ節及び遠隔器官に転移したがん細胞であるかを自動的に決定するために使用することができる。
実施形態によれば、第１のオブジェクトフィーチャは：
ｉ．オブジェクトによって表わされる染色又はオブジェクトに結合したバイオマーカーの量と相関する、オブジェクトの強度値；
ｉｉ．オブジェクトの直径；
ｉｉｉ．オブジェクトのサイズ、例えばオブジェクトが占める面積又はピクセル数；
ｉｖ．オブジェクトの形状プロパティ；
ｖ．オブジェクトのテクスチャプロパティ
ｖｉ．一つのオブジェクトから次の隣接オブジェクトまでの距離
のうちの一つである。
ｉ．オブジェクトによって表わされる染色又はオブジェクトに結合したバイオマーカーの量と相関する、オブジェクトの強度値；
ｉｉ．オブジェクトの直径；
ｉｉｉ．オブジェクトのサイズ、例えばオブジェクトが占める面積又はピクセル数；
ｉｖ．オブジェクトの形状プロパティ；
ｖ．オブジェクトのテクスチャプロパティ
ｖｉ．一つのオブジェクトから次の隣接オブジェクトまでの距離
のうちの一つである。
第２及び／又はさらなるオブジェクトフィーチャが前記実施形態によって解析される場合、第２のオブジェクトフィーチャ及び／又はさらなるオブジェクトフィーチャはプロパティｉからｖｉの残りのうちの一つである。複数の他のオブジェクトフィーチャも上記実施形態及びその他実施形態のクラシファイヤにより使用されてよい。
例えば、第１のオブジェクトフィーチャが、生物学的試料を特定の染色によって染色したことに起因するオブジェクトの強度値である場合、第２のオブジェクトフィーチャはオブジェクトの直径にすることができ、さらなるオブジェクトフィーチャは、サイズ、即ち、オブジェクトピクセルがデジタル画像中に占める面積の大きさ、形状プロパティなどにすることができる。
前記オブジェクトフィーチャのいずれか一つが、生物学的側面（オブジェクトのクラスメンバーシップの可能性を表している情報と、画像に示される組織の起源といった他の生物学的要因とをコードしうる）と、使用された試料の処理及び染色プロトコール両方の影響でありうる不均一性を有するフィーチャ（即ち、「プロパティ」）を表すことができることが観察された。画像間のばらつきの大部分は、典型的にはオブジェクトのクラスメンバーシップとは無関係の要因によって引き起こされる。
例えば、リンパ球間の距離は、典型的には二つの乳がん細胞間の距離より小さいので、一つの細胞から隣接する細胞（又は核）までの距離は、オブジェクトが属する細胞型（及びそれに応じて、核の型）の指標となりうる。
別の例によれば、０．５μｍごとに暗いストライプと明るいストライプが交互に並ぶ（例えば、横紋筋のテクスチャ参照）特定のテクスチャは、横紋筋細胞に典型的であり、一方他の筋肉細胞又は他の細胞型はそのようなテクスチャを持たない。テクスチャのコンテキストフィーチャは、例えば、オブジェクトに観察される任意の線状のテクスチャのミーン値又はメジアン値である。
別の例によれば、乳がんのストローマ細胞は、通常細長の形状を有し、多くの線状構造（又は線状テクスチャ）を有する区域内に位置している。いくつかの腫瘍細胞は、スライド切断プロセスにより、やはり細長の外観を有し、しかし周囲の区域は線状テクスチャを持たない。したがって、局所的な周囲区域のテクスチャを、ストーマと腫瘍細胞を区別するための一つのオブジェクトフィーチャとして使用することができる。線状テクスチャは、その区域の勾配方向ヒストグラムのエントロピー（情報理論用語）によって特徴付けることができる。コンテキストフィーチャは、画像全体の勾配方向ヒストグラム のエントロピーでありうる。
別の例によれば、乳がんのストローマ細胞は、通常細長の形状を有し、多くの線状構造（又は線状テクスチャ）を有する区域内に位置している。いくつかの腫瘍細胞は、スライド切断プロセスにより、やはり細長の外観を有し、しかし周囲の区域は線状テクスチャを持たない。したがって、局所的な周囲区域のテクスチャを、ストーマと腫瘍細胞を区別するための一つのオブジェクトフィーチャとして使用することができる。線状テクスチャは、その区域の勾配方向ヒストグラムのエントロピー（情報理論用語）によって特徴付けることができる。コンテキストフィーチャは、画像全体の勾配方向ヒストグラム のエントロピーでありうる。
別の例によれば、核を表すオブジェクトは、デジタル画像に一般的な核検出アルゴリズムを適用することにより得られる。核検出アルゴリズムは、デジタル画像全体又はグラフィカルユーザインターフェースによりユーザが手動で選択できる画像の小区域に適用することができる。実施態様に応じて、オブジェクトの同定は、画像解析システムにより完全に自動的に、又はユーザの制御下において画像解析システムにより半自動的に実施することができ、前記ユーザは、グラフィカルユーザインターフェースにより一又は複数のオブジェクト手動で選択又は選択解除することにより、オブジェクトが同定されるべき画像領域を選択できるか、又は自動的に同定されたオブジェクトのセットを修正できる。
同定された核は、オブジェクト「リンパ球の核」又は「腫瘍細胞の核」の候補となりうる。プロパティの一つは、デジタル画像内の、核の特異的染色に起因する特定の色の強度、例えばヘマトキシリン染色に起因する「青」色の強度とすることができる。別のオブジェクトフィーチャは、核の直径でありうる。核の直径及び染色強度は、核がリンパ球に属するか又は腫瘍細胞に属するかに関して大きな予測力を有するプロパティでありうる：典型的なリンパ球核は、典型的な腫瘍細胞核より小さく、ヘマトキシリンに起因する「青」色チャネルの強度値が腫瘍細胞核より大きい。本発明の実施形態によれば、核は、リンパ球又は腫瘍細胞の核として分類され、したがって特定の核を含む細胞全体はリンパ球又は腫瘍細胞として分類される。核のみのプロパティを考慮するのか、又は細胞全体のプロパティを考慮するのか、又はこれらの混合物を考慮するのかは、同定されるオブジェクトクラスの種類、例えば細胞型に依存する。
実施形態によれば、それぞれのクラシファイヤに対する第１、第２及び／又はさらなるオブジェクトフィーチャ値の入力は、例えば複数の所定のプロパティのうちの一又は複数とそれに対応するクラシファイヤを選択するオペレータにより、手動で特定される。或いは、プロパティは、高度なフィーチャ発見（ＡＦＤ）法により同定及び特定される。ＡＦＤの一例は［１０］に記載されている。また別の実施態様によれば、プロパティは、最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより同定及び特定される。ｍＲＭＲルールの一つの適用例は、［１１］に記載されている。オブジェクトフィーチャを同定する詳細な方法は、具体的用途により変動するであろう。
実施形態によれば、オブジェクトの第１、第２及び／又はさらなるオブジェクトフィーチャは：
−デジタル画像内のすべてのオブジェクト内部で変動する、及び／又は
−スライド全体の画像である同じデジタル画像のオブジェクト内部で変動する、及び／又は
−スライド全体の画像の小区画である同じデジタル画像内部で変動する。
−デジタル画像内のすべてのオブジェクト内部で変動する、及び／又は
−スライド全体の画像である同じデジタル画像のオブジェクト内部で変動する、及び／又は
−スライド全体の画像の小区画である同じデジタル画像内部で変動する。
実施形態によれば、画像間のばらつきは、その大部分が、オブジェクトクラスメンバーシップ以外の要因により生じ、前記要因には以下が含まれる：
−画像は、同じ生体に由来する異なる組織試料を示し、その組織型は、分類に使用されるオブジェクトフィーチャに影響する；及び／又は
−画像は、異なる生体に由来する異なる組織試料を示し、その種メンバーシップは、分類に使用されるオブジェクトフィーチャに影響する、及び／又は
−画像は、異なる試料処理プロトコールにより処理される異なる組織試料を示し、試料処理プロトコールは、分類に使用されるオブジェクトフィーチャに影響する、及び／又は
−画像は異なる染色プロトコールにより処理される異なる組織試料を示し、染色プロトコールは、分類に使用されるオブジェクトフィーチャに影響する。
−画像は、同じ生体に由来する異なる組織試料を示し、その組織型は、分類に使用されるオブジェクトフィーチャに影響する；及び／又は
−画像は、異なる生体に由来する異なる組織試料を示し、その種メンバーシップは、分類に使用されるオブジェクトフィーチャに影響する、及び／又は
−画像は、異なる試料処理プロトコールにより処理される異なる組織試料を示し、試料処理プロトコールは、分類に使用されるオブジェクトフィーチャに影響する、及び／又は
−画像は異なる染色プロトコールにより処理される異なる組織試料を示し、染色プロトコールは、分類に使用されるオブジェクトフィーチャに影響する。
実施形態によれば、第１のコンテキストフィーチャ値の計算は、デジタル画像内の複数のオブジェクトの第１のオブジェクトフィーチャ値の統計的平均を計算することを含む。これに加えて又は代えて、第２のコンテキストフィーチャ値の計算は、デジタル画像内の複数のオブジェクトの第２のオブジェクトフィーチャ値の統計的平均を計算することを含む。これに加えて又は代えて、さらなるコンテキストフィーチャ値の各々の計算は、デジタル画像内の複数のオブジェクトのさらなるオブジェクトフィーチャ値それぞれの統計的平均を計算することを含む。
統計的平均は、デジタル画像の領域内のオブジェクトの全体又はサブグループのオブジェクトフィーチャ値から導出される、例えば、算術的ミーン値、メジアン値、ミッドレンジ、期待値又は他のいずれかの形態の平均とすることができる。
実施形態によれば、方法は、第１のクラシファイヤを生成することをさらに含む。第１のクラシファイヤは：
−未訓練バージョンの第１のクラシファイヤにより、記憶媒体から複数のデジタル訓練画像を読むことであって、各訓練デジタル画像がそれぞれ一又は複数の異なるオブジェクトクラスのオブジェクトを表わす複数のピクセルブロブを含み、各ピクセルブロブがオブジェクトクラスのメンバー又は非メンバーとして注釈付けされる、読むこと、
−注釈付けされた各ピクセルブロブについて、前記ピクセルブロブの第１のオブジェクトフィーチャの訓練第１オブジェクトフィーチャ値を同定するために、訓練デジタル画像の各々を解析すること、
−一又は複数の訓練第１コンテキストフィーチャ値を計算するために、訓練デジタル画像の各々を解析することであって、各訓練第１コンテキストフィーチャ値が、前記訓練デジタル画像内の複数のピクセルブロブの訓練第１オブジェクトフィーチャ値又はその他訓練オブジェクトフィーチャ値から導出されるものであるか、又は訓練デジタル画像の複数のピクセルから導出されるものである、解析すること、
−ピクセルブロブの各々について、少なくとも注釈付け、訓練第１オブジェクトフィーチャ値及び一又は複数の訓練第１コンテキストフィーチャ値を未訓練バージョンの第１のクラシファイヤに入力することにより、未訓練バージョンの第１のクラシファイヤを訓練することであって、それにより第１のクラシファイヤを生成し、第１のクラシファイヤは、前記オブジェクトの第１のオブジェクトフィーチャ値の、前記特定のオブジェクトクラスのメンバーであるとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性が、前記特定のオブジェクトクラスのメンバーでないとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性より高い場合に、オブジェクトが特定のオブジェクトクラスのメンバーであるより高い可能を計算するように構成されており、これにより可能性が、第１の又はその他のコンテキストフィーチャ値に含まれる画像内コンテキスト情報にさらに依存する、訓練すること
によって生成される。
−未訓練バージョンの第１のクラシファイヤにより、記憶媒体から複数のデジタル訓練画像を読むことであって、各訓練デジタル画像がそれぞれ一又は複数の異なるオブジェクトクラスのオブジェクトを表わす複数のピクセルブロブを含み、各ピクセルブロブがオブジェクトクラスのメンバー又は非メンバーとして注釈付けされる、読むこと、
−注釈付けされた各ピクセルブロブについて、前記ピクセルブロブの第１のオブジェクトフィーチャの訓練第１オブジェクトフィーチャ値を同定するために、訓練デジタル画像の各々を解析すること、
−一又は複数の訓練第１コンテキストフィーチャ値を計算するために、訓練デジタル画像の各々を解析することであって、各訓練第１コンテキストフィーチャ値が、前記訓練デジタル画像内の複数のピクセルブロブの訓練第１オブジェクトフィーチャ値又はその他訓練オブジェクトフィーチャ値から導出されるものであるか、又は訓練デジタル画像の複数のピクセルから導出されるものである、解析すること、
−ピクセルブロブの各々について、少なくとも注釈付け、訓練第１オブジェクトフィーチャ値及び一又は複数の訓練第１コンテキストフィーチャ値を未訓練バージョンの第１のクラシファイヤに入力することにより、未訓練バージョンの第１のクラシファイヤを訓練することであって、それにより第１のクラシファイヤを生成し、第１のクラシファイヤは、前記オブジェクトの第１のオブジェクトフィーチャ値の、前記特定のオブジェクトクラスのメンバーであるとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性が、前記特定のオブジェクトクラスのメンバーでないとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性より高い場合に、オブジェクトが特定のオブジェクトクラスのメンバーであるより高い可能を計算するように構成されており、これにより可能性が、第１の又はその他のコンテキストフィーチャ値に含まれる画像内コンテキスト情報にさらに依存する、訓練すること
によって生成される。
「訓練オブジェクトフィーチャ」は、訓練デジタル画像のピクセルブロブのオブジェクトフィーチャである。「訓練コンテキストフィーチャ」は、訓練デジタル画像のピクセルブロブ又はピクセルのオブジェクトフィーチャから導出されるコンテキストフィーチャである。
訓練第１オブジェクトフィーチャ値及び訓練第１コンテキストフィーチャ値を同定するための各訓練デジタル画像の解析は、未訓練バージョンのクラシファイヤにより、又は統計モジュール、例えば未訓練バージョンのクラシファイヤに統計的解析の結果を提供する画像解析ソフトウエアの統計モジュールにより、実施することができる。
実施形態によれば、訓練された第１のクラシファイヤにより計算される第１の可能性の計算は、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じる第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のクラシファイヤにより、オブジェクトの第１のコンテキストフィーチャ値を使用することを含む。
実施形態によれば、未訓練バージョンの第１のクラシファイヤを訓練することは、オブジェクトを分類するための第１のオブジェクトフィーチャを用いて、第１のクラシファイヤにより、複数のコンテキストフィーチャのうち、第１のクラシファイヤの分類精度を向上させることのできる一つを同定することを含む。同定されたコンテキストフィーチャは、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化することにより、分類精度を向上させる。例えば、訓練することは、訓練されたクラシファイヤが、オブジェクトフィーチャ値と前記オブジェクトフィーチャに関連付けられるコンテキストフィーチャのコンテキストフィーチャ値とを入力として受け取ると、受け取ったオブジェクトフィーチャ値を、前記コンテキストフィーチャ値によって供給される画像に特異的なコンテキスト情報正規化するように、第１のクラシファイヤのクラシファイヤモデルを修正することを含む。
実施形態によれば、各クラシファイヤは、単一のオブジェクトフィーチャと一又は複数のコンテキストフィーチャについて訓練される。これは、オブジェクトのクラスメンバーシップに関して大きな予測力を有するフィーチャが優先的にオブジェクトフィーチャとして選択及び使用され、コンテキストプロパティが優先的にクラスメンバーシップによって生じたのではないオブジェクトフィーチャ、例えば染色アーチファクト又は画像によって示される組織の生物学的供給源の器官若しくは生体のばらつきを平均化することができるように選択されるため、有利である。訓練の間に、同じクラシファイヤに複数のオブジェクトフィーチャと複数のコンテキストフィーチャを追加する場合、クラスメンバーシップに対するコンテキストフィーチャ（それ自体）の予測力の不足に起因して、自動的に生成されたクラシファイヤのモデルがオブジェクトフィーチャに優性の重みを割り付け、コンテキストフィーチャを概ね無視する可能性が非常に高い。したがって、複数のオブジェクトフィーチャについてクラシファイヤを訓練することは、実際には、結果として得られるクラシファイヤの、クラスメンバーシップによって生じたのではないオブジェクトフィーチャのばらつきを平均化する能力を低減させることになろう。
訓練プロセスの間に使用されるオブジェクトフィーチャ及び対応する一又は複数のコンテキストフィーチャは、例えば手動で選択することができ、対応するクラシファイヤの自動化機能を実装することができる。例えば、細胞のクラスメンバーシップに関して細胞サイズは大きな予測力を有し、したがってそれぞれのクラシファイヤを訓練するべきオブジェクトフィーチャとして選択される。それ自体ではクラスメンバーシップに関する予測力を欠く対応するコンテキストフィーチャは、場合によっては、デジタル画像中のすべての細胞ブロブの細胞サイズのミーン値でありうる。
他の実施形態によれば、クラシファイヤは、一つのオブジェクトフィーチャと複数の候補コンテキストフィーチャを用いて訓練される。候補コンテキストフィーチャは、クラスメンバーシップによって生じたのではないオブジェクトフィーチャのばらつきを平均化するその能力が未だ評価されていないフィーチャである。実施形態によれば、訓練フェーズにおいて、例えば、訓練デジタル画像中のピクセルブロブのサイズ、強度、形状又はその他のパラメータの様々なグループ統計、又は訓練画像中の複数のピクセルのプロパティが候補コンテキストフィーチャとして使用され、一つのオブジェクトフィーチャの注釈及びオブジェクトフィーチャ値と共にクラシファイヤに入力される。訓練フェーズは、繰り返し又は非繰り返し学習プロセスを含み、このプロセスの間に、オブジェクトのクラスメンバーシップによって生じたのではないオブジェクトフィーチャのばらつきを補償する最も高い能力を示す、候補コンテキストフィーチャのうちの一つ一つが自動的に同定される。これは、オブジェクト−フィーチャ／オブジェクトフィーチャのグループ統計ベースの関係の上述の例に従わないコンテキストフィーチャも同定されるので、有利である。したがって、繰り返し又は非繰り返し学習プロセスを使用して、クラスメンバーシップに起因するものでないオブジェクトフィーチャのばらつきを平均化するその能力が、上記グループ統計のアプローチに従うことによっては同定できないコンテキストフィーチャを自動的に同定することができる。
さらなる態様では、本発明は、生物学的試料のデジタル画像において特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析方法に関する。方法は、画像解析の画像解析のプロセッサによって実施され：
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値を同定するために、デジタル画像を解析すること；
−各々が、デジタル画像中の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第１のコンテキストフィーチャ値を計算するために、デジタル画像を解析すること；
−デジタル画像中のオブジェクトの各々の第１のオブジェクトフィーチャ値と、前記デジタル画像の一又は複数の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤに入力すること；
−第１のクラシファイヤを実行し、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と一又は複数の第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性を自動的に決定するための入力として使用すること
を含む。
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値を同定するために、デジタル画像を解析すること；
−各々が、デジタル画像中の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第１のコンテキストフィーチャ値を計算するために、デジタル画像を解析すること；
−デジタル画像中のオブジェクトの各々の第１のオブジェクトフィーチャ値と、前記デジタル画像の一又は複数の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤに入力すること；
−第１のクラシファイヤを実行し、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と一又は複数の第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性を自動的に決定するための入力として使用すること
を含む。
本明細書において使用される「ブロブ」又は「ピクセルブロブ」は、周囲の区域と比較して、輝度又は色といったプロパティにおいて異なるデジタル画像中の区域である。例えば、ブロブは、特定の強度値の範囲を有する一セットの隣接ピクセルとすることができる。ブロブのいくつかは、「オブジェクト」として分類することができる。ブロブは、例えば、位置に関する機能から導出されるものに基づく示差法、及び機能の極大値と極小値を見つけることに基づく極値に基づく方法によって検出することができる。実施形態によれば、ブロブ検出は、さらなる処理のための対象区域を得るために使用される。
デジタル画像中の「オブジェクト」は、オブジェクトが特定のオブジェクトクラス、例えば「リンパ球」というクラスに属している可能性があることを示す一又は複数のプロパティを共有する、デジタル画像中の一セットの隣接する又は近傍のピクセルである。しかしながら、特定のオブジェクトが実際に特定のオブジェクトクラスのメンバーであり、このクラスに割り付けられるべきであるか否かを自動的に決定するためには、さらなる解析、例えば分類アルゴリズムが必要である。
本明細書において使用される「クラシファイヤ」は、分類される新規知見の「オブジェクトフィーチャ値」又は「説明変数」とも呼ばれるプロパティ値を解析することにより、一セットのカテゴリ（オブジェクトクラス）のうちのどれに新規の知見（オブジェクト）が属するかを同定することのできるプログラムロジックである。クラシファイヤは、既知のカテゴリメンバーシップを有する知見（注釈付けされたピクセルブロブ）を含むデータの訓練セットに基づいて取得することができる（注釈付けされたピクセルブロブは、手動で又は自動的に既にオブジェクトクラスに割り付けられたオブジェクトである）。一例は、所与のｅメールを「スパム」又は「非スパム」クラスに割り付けること、又は特定のオブジェクトを「腫瘍細胞」又は「非腫瘍細胞」に割り付けることである。いくつかの実施態様によれば、クラシファイヤは、例えば未訓練バージョンのクラシファイヤを、正確に同定及び注釈付けされたピクセルブロブの訓練セットについて訓練することにより、教師付き学習アプローチを適用することにより得られ、それによりオブジェクトクラスの数及びタイプが事前に分かる。
未訓練バージョンのクラシファイヤは、特定の分類アプローチに従って分類を実施するために特に適合されたプログラムロジック（例えばニューラルネットワーク、サポートベクターマシンなどに基づく）であるが、これはまだ、訓練済みバージョンのクラシファイヤによって同定されるべきオブジェクトクラスのオブジェクトインスタンスを含む訓練データセットについて訓練されていない。したがって、訓練済みバージョンのクラシファイヤは、訓練フェーズの間に、注釈付き訓練データセットに含まれる情報、例えばそれぞれ「腫瘍細胞」、「リンパ球」又はその他の細胞型のクラスメンバーであるとして注釈付けされた数百又は数千のピクセルブロブを含むデジタル画像を使用することにより修正された、プログラムロジックのバージョンである。
好ましい実施形態によれば、画像解析は、それぞれの、オブジェクトフィーチャに特異的な解析器により複数のオブジェクトフィーチャを解析するように構成される。特定のオブジェクトが一つのオブジェクトクラス内のメンバーである全体の可能性は、オブジェクトが特定のオブジェクトクラスのメンバーである最終的な、合成された可能性のスコアを得るために、すべてのオブジェクトフィーチャに特異的な可能性を処理することにより導出される。実施形態によれば、「解析器機能」が解析器として実装される。
未訓練バージョンのクラシファイヤは、特定の分類アプローチに従って分類を実施するために特に適合されたプログラムロジック（例えばニューラルネットワーク、サポートベクターマシンなどに基づく）であるが、これはまだ、訓練済みバージョンのクラシファイヤによって同定されるべきオブジェクトクラスのオブジェクトインスタンスを含む訓練データセットについて訓練されていない。したがって、訓練済みバージョンのクラシファイヤは、訓練フェーズの間に、注釈付き訓練データセットに含まれる情報、例えばそれぞれ「腫瘍細胞」、「リンパ球」又はその他の細胞型のクラスメンバーであるとして注釈付けされた数百又は数千のピクセルブロブを含むデジタル画像を使用することにより修正された、プログラムロジックのバージョンである。
好ましい実施形態によれば、画像解析は、それぞれの、オブジェクトフィーチャに特異的な解析器により複数のオブジェクトフィーチャを解析するように構成される。特定のオブジェクトが一つのオブジェクトクラス内のメンバーである全体の可能性は、オブジェクトが特定のオブジェクトクラスのメンバーである最終的な、合成された可能性のスコアを得るために、すべてのオブジェクトフィーチャに特異的な可能性を処理することにより導出される。実施形態によれば、「解析器機能」が解析器として実装される。
本明細書において「説明変数」又は「フィーチャ」とも呼ばれる「「プロパティ」は、カテゴリ（例えば細胞の形状について「円形」、「楕円形」、又は「棒状」）、序列（例えば「大」、「中」又は「小」）、実数（例えば平均細胞径（μｍ））又は整数値（例えば０〜２５５のスケールで表現される強度値）に関するものでありうる。
「オブジェクトプロパティ」又は「オブジェクトフィーチャ」は、デジタル画像内部のオブジェクトを前記クラスのメンバーであるとして同定するために使用することのできる特定のクラスのオブジェクトのプロパティを指す。前記プロパティの例には、オブジェクト内部のすべてのピクセルのサイズ、形状及び平均強度が含まれる。好ましくは、オブジェクトプロパティは、デジタル画像内部で前記クラスのメンバーであるオブジェクトのピクセル表現をはっきりと同定するオブジェクトクラスのフィーチャである。例えば、同じ画像内においてリンパ球は通常がん細胞より小さいため、ＥＲ染色された乳がん画像において、核のサイズはリンパ球を同定するための重要なオブジェクトプロパティである。絶対的な核サイズは、異なる患者又は組織切片において若干変動することがあり、したがって異なる細胞スライドから得られたデジタル画像内で変動しうる。しかしながら、各患者及び各組織切片において、リンパ球の核は、少なくとも平均で、同じ特定のデジタル画像又は前記画像の小区域内部においてがん細胞核より小さいであろう。特定の画像のコンテキストフィーチャ値を計算することにより、関連するオブジェクトフィーチャの説明力は向上しうる。
「オブジェクトプロパティ」又は「オブジェクトフィーチャ」は、デジタル画像内部のオブジェクトを前記クラスのメンバーであるとして同定するために使用することのできる特定のクラスのオブジェクトのプロパティを指す。前記プロパティの例には、オブジェクト内部のすべてのピクセルのサイズ、形状及び平均強度が含まれる。好ましくは、オブジェクトプロパティは、デジタル画像内部で前記クラスのメンバーであるオブジェクトのピクセル表現をはっきりと同定するオブジェクトクラスのフィーチャである。例えば、同じ画像内においてリンパ球は通常がん細胞より小さいため、ＥＲ染色された乳がん画像において、核のサイズはリンパ球を同定するための重要なオブジェクトプロパティである。絶対的な核サイズは、異なる患者又は組織切片において若干変動することがあり、したがって異なる細胞スライドから得られたデジタル画像内で変動しうる。しかしながら、各患者及び各組織切片において、リンパ球の核は、少なくとも平均で、同じ特定のデジタル画像又は前記画像の小区域内部においてがん細胞核より小さいであろう。特定の画像のコンテキストフィーチャ値を計算することにより、関連するオブジェクトフィーチャの説明力は向上しうる。
実施形態によれば、「オブジェクトフィーチャ」とも呼ばれる「オブジェクトプロパティ」は、特定のオブジェクトの側面を特徴づけることができることを示すプロパティである。例えば、オブジェクトフィーチャを「核の直径」とすることができ、画像解析アルゴリズムは、特定の細胞核候補が対応する核の直径「６μｍ」を有することを自動的に決定することができる。オブジェクトフィーチャ値は、絶対尺度、例えば細胞核の直径の場合「６μｍ」又はオブジェクトを構成するピクセルブロブの平均強度値の場合「２１１」とすることができる。好ましくは、決定されてクラシファイヤに入力される一又は複数の値を有するオブジェクトフィーチャは、オブジェクトのクラスメンバーシップに関して予測力を有するオブジェクトフィーチャである。
実施形態によれば、「コンテキストフィーチャ」とも呼ばれる「グローバルプロパティ」は、デジタル画像内の複数のオブジェクトのオブジェクトフィーチャ値又はデジタル画像の複数のピクセルから計算されるプロパティである。例えば、「グローバルプロパティ」は、前記複数のオブジェクトの特定のオブジェクトフィーチャのオブジェクトフィーチャ値の統計的平均とすることができる。複数のオブジェクトは、前記デジタル画像内のオブジェクトの総数又はそのサブセットであってよい。コンテキストフィーチャ値は、デジタル画像の複数のオブジェクトから導出されるので、画像間のばらつきを示す。このことは、例えば第１の画像内のオブジェクトの平均の「青の強度」が第２の画像内のオブジェクトの平均の「青の強度」より大きい場合、これが前記二つの画像から得られた二つの異なるグローバル（「平均」）強度値によって反映されることを意味する。
実施形態によれば、「オブジェクトフィーチャに特異的な」クラシファイヤを訓練するプロセスは、訓練画像に含まれるそれぞれのピクセルブロブの特定のオブジェクトフィーチャの複数のオブジェクトフィーチャ値を入力すること及び一又は複数のコンテキストフィーチャ値をオブジェクトフィーチャに特異的なクラシファイヤに入力することを含む。したがって、オブジェクトフィーチャに特異的なクラシファイヤは、オブジェクトから抽出された値を有する、クラシファイヤがつくられた第１のオブジェクトフィーチャと、第１のオブジェクトフィーチャの画像間のばらつきを示す少なくとも一つの第１又はその他のコンテキストフィーチャ値との間の関連を「学習」する。学習される関連は、クラスメンバーシップによって生じたのではないコンテキストフィーチャのばらつきを平均化するコンテキストフィーチャの能力の度合いを反映する。上述したいくつかの実施形態によれば、オブジェクトフィーチャに特異的なクラシファイヤを訓練するプロセスは、コンテキストフィーチャとして働くことのできる複数のコンテキストフィーチャ候補のうちの一又は複数を反復的に又は非反復的に同定することも含みうる。
多くの場合、第１のオブジェクトフィーチャに関連しているとして「学習」されるコンテキストフィーチャは、デジタル画像内の複数のオブジェクトの第１のオブジェクトフィーチャ値の統計的平均である。例えば、クラシファイヤをそれについて特に訓練する第１のオブジェクトフィーチャは、「オブジェクトの直径」である。前記クラシファイヤには、訓練フェーズの間に、複数のコンテキストフィーチャ値、例えば画像内のピクセルブロブの平均的なピクセルブロブの直径、平均的ブロブ面積などが供給される。この場合、クラシファイヤは、訓練フェーズにおいて：「オブジェクトの特定の第１のオブジェクトフィーチャ値が与えられている場合、前記デジタル画像内部の他のオブジェクトのオブジェクトフィーチャ値が与えられた場合に、オブジェクトが大量の前記第１のオブジェクトフィーチャ値を割り付けたか又は少量の前記オブジェクトフィーチャ値を割り付けたかを確実に示すことのできるオブジェクトフィーチャは何なのか」を学習する。換言すれば、クラシファイヤは、訓練フェーズにおいて、前記クラシファイヤがつくられたオブジェクトフィーチャ（かつそのオブジェクトフィーチャ値を、前記クラシファイヤが入力として受け取るように構成されている）と、少なくとも一つのグローバルパラメータとの間の関連を学習し、それにより、グローバルパラメータは、クラシファイヤがそのために訓練された前記特定のオブジェクトフィーチャのオブジェクトフィーチャ値から導出されるか、又は別のオブジェクトフィーチャの値から導出される。
したがって、コンテキストフィーチャがオブジェクトフィーチャの統計的平均として導出される実施形態によれば、訓練プロセスは、同じデジタル画像内の他のオブジェクトと比較して、オブジェクトが特定のオブジェクトフィーチャの大きな量を割りつけたか又は小さな量を割り付けたかを確実に示すデジタル画像のコンテキストフィーチャ値を有する少なくとも一つのオブジェクトフィーチャを、自動的に同定及び学習することを含む。したがって、それ自体のコンテキストフィーチャ値は、例えばコンテキストフィーチャ値が特定のオブジェクトの特徴を示さないために、特定のオブジェクトのクラスメンバーシップに関する予測力を欠いていることがある。むしろ、コンテキストフィーチャ値は、画像内の複数のオブジェクト又は複数のピクセルから導出されるオブジェクトフィーチャ値であり、それによりコンテキストフィーチャ値は、−特定のオブジェクトフィーチャのオブジェクトのオブジェクトフィーチャ値と一緒にクラシファイヤに入力された場合− 前記オブジェクトのフィーチャ値の予測力を向上させる。
したがって、コンテキストフィーチャがオブジェクトフィーチャの統計的平均として導出される実施形態によれば、訓練プロセスは、同じデジタル画像内の他のオブジェクトと比較して、オブジェクトが特定のオブジェクトフィーチャの大きな量を割りつけたか又は小さな量を割り付けたかを確実に示すデジタル画像のコンテキストフィーチャ値を有する少なくとも一つのオブジェクトフィーチャを、自動的に同定及び学習することを含む。したがって、それ自体のコンテキストフィーチャ値は、例えばコンテキストフィーチャ値が特定のオブジェクトの特徴を示さないために、特定のオブジェクトのクラスメンバーシップに関する予測力を欠いていることがある。むしろ、コンテキストフィーチャ値は、画像内の複数のオブジェクト又は複数のピクセルから導出されるオブジェクトフィーチャ値であり、それによりコンテキストフィーチャ値は、−特定のオブジェクトフィーチャのオブジェクトのオブジェクトフィーチャ値と一緒にクラシファイヤに入力された場合− 前記オブジェクトのフィーチャ値の予測力を向上させる。
多くの場合、クラシファイヤがつくられるオブジェクトフィーチャと、コンテキストフィーチャ値がグループ統計として計算されるフィーチャは、同一である。例えば、第１のクラシファイヤは、第１のオブジェクトフィーチャ「オブジェクトの直径」のためにつくられ、対応するコンテキストフィーチャは、「デジタル画像内のすべてのオブジェクトの直径のメジアン値」である。ピクセルブロブの直径のメジアン値と特定のオブジェクトの直径との組み合わせは、オブジェクトが、同じ画像内の他のオブジェクトのコンテキストにおいて、直径のメジアン値より小さい又は大きい直径を有するかどうかに関する情報を有する。このことは、クラシファイヤが、サンプリングの取り扱いの影響により生じるか、又は複数の異なるデジタル画像中に反映される細胞のソース（組織又は患者）が異なることにより生じる細胞サイズのばらつきを平均化することを可能にする。しかしながら、クラシファイヤは、差異を明確に計算しなくてもよい。
しかしながら、他のいくつかの実施例によれば、オブジェクトの第１のオブジェクトフィーチャ値及びコンテキストフィーチャ値は、異なるプロパティに関連していてもよい。例えば、ピクセル強度値を３Ｄ空間における表面の高さとして考える場合、ＨＴＸ染色された腫瘍細胞核の表面は、ＨＴＸ染色されたリンパ球核の同表面より「滑らか」に見える。したがって、それぞれのクラシファイヤが訓練及び生成されるオブジェクトの一オブジェクトフィーチャは、「表面の曲率」でありうる。前記オブジェクトフィーチャは、オブジェクトの染色強度の影響を受けることもあり、したがって画像間及び画像内のばらつきにより影響をうけることがある。「表面の曲率」について訓練されたクラシファイヤには、加えて画像強度のメジアン値であるコンテキストフィーチャ値が供給される。
クラシファイヤは、「その絶対表面曲率及び全般的な画像染色強度が与えられた場合の、オブジェクトが腫瘍細胞核である可能性の高さ」を学習することになるであろう。
前記フィーチャは、特定のオブジェクトフィーチャに対する特定のコンテキストフィーチャの明確な割り付けを回避できるため、有利でありうる。代わりに、クラシファイヤのプログラマーは、訓練フェーズの間にそのためのコンテキストフィーチャ値が計算され、かつクラシファイヤの入力として使用される、複数のグローバルプロパティを定義してもよい。コンテキストフィーチャ値は、クラシファイヤが訓練されたオブジェクトフィーチャ、又は別のオブジェクトフィーチャ又は画像全体の、複数の値から得られる統計的値とすることができる。訓練フェーズの間に、クラシファイヤは、オブジェクトフィーチャとコンテキストフィーチャのうちの一又は複数との間の関係を非明示的に特定するモデルを構築する。オブジェクトフィーチャに特異的なクラシファイヤのモデルは、前述のオブジェクトフィーチャ及びそれに関連するコンテキストフィーチャ値のみを考慮するとき、特定のオブジェクトの「オブジェクトフィーチャ」値とコンテキストフィーチャ値とを数学的に組み合わせ、異なるオブジェクトクラスラベルで注釈付けされた訓練ピクセルブロブを最適に分離する可能性値を導出する方法を説明する。このような可能性は、クラスメンバーシップに関する元のオブジェクトフィーチャに特異的な可能性の洗練されたバージョンを表す。このことは、オブジェクトのオブジェクトフィーチャ値の予測力が、オブジェクトが一つのオブジェクトクラスメンバーである可能性を予測するために使用され、それにより、フィーチャに特異的なクラシファイヤの可能性の計算が、オブジェクトタイプの差異以外の要因によって生じたばらつきを平均化するコンテキストフィーチャ値に含まれる情報も考慮することにより、洗練される。
前記フィーチャは、特定のオブジェクトフィーチャに対する特定のコンテキストフィーチャの明確な割り付けを回避できるため、有利でありうる。代わりに、クラシファイヤのプログラマーは、訓練フェーズの間にそのためのコンテキストフィーチャ値が計算され、かつクラシファイヤの入力として使用される、複数のグローバルプロパティを定義してもよい。コンテキストフィーチャ値は、クラシファイヤが訓練されたオブジェクトフィーチャ、又は別のオブジェクトフィーチャ又は画像全体の、複数の値から得られる統計的値とすることができる。訓練フェーズの間に、クラシファイヤは、オブジェクトフィーチャとコンテキストフィーチャのうちの一又は複数との間の関係を非明示的に特定するモデルを構築する。オブジェクトフィーチャに特異的なクラシファイヤのモデルは、前述のオブジェクトフィーチャ及びそれに関連するコンテキストフィーチャ値のみを考慮するとき、特定のオブジェクトの「オブジェクトフィーチャ」値とコンテキストフィーチャ値とを数学的に組み合わせ、異なるオブジェクトクラスラベルで注釈付けされた訓練ピクセルブロブを最適に分離する可能性値を導出する方法を説明する。このような可能性は、クラスメンバーシップに関する元のオブジェクトフィーチャに特異的な可能性の洗練されたバージョンを表す。このことは、オブジェクトのオブジェクトフィーチャ値の予測力が、オブジェクトが一つのオブジェクトクラスメンバーである可能性を予測するために使用され、それにより、フィーチャに特異的なクラシファイヤの可能性の計算が、オブジェクトタイプの差異以外の要因によって生じたばらつきを平均化するコンテキストフィーチャ値に含まれる情報も考慮することにより、洗練される。
いくつかの実施形態によれば、コンテキストフィーチャ値は、画像内のオブジェクトのサイズ又は直径の算術的ミーン値又はメジアン値である。コンテキストフィーチャは、オブジェクトが前記画像内の他のすべてのオブジェクトの平均サイズより大きいか又は小さいかを示すために使用される。したがって、画像内のすべての細胞が、例えば試料の処理プロトコールの差異（緩衝液の異なる浸透プロパティ）に起因して、又はやや異なる細胞サイズを有する異なる患者に起因して、平均で別の画像の細胞より大きくなければならない場合であっても、特定の細胞が異なる細胞型の混合物から導出されたメジアン値より小さい又は大きいかに関する情報は、サイズに基づくクラシファイヤの精度を向上させることができる。
いくつかの実施形態によれば、計算されるオブジェクトのプロパティの一つは、サイズ、例えば直径又はオブジェクト中のピクセル総数である。関連づけられるコンテキストフィーチャ値は、画像内のすべてのオブジェクトの強度値の算術的ミーン値又はメジアン値である。コンテキストフィーチャは、特定のオブジェクトが、画像領域内の他のすべてのオブジェクトの平均強度より明るい強度を有するか又は暗い強度を有するかを示すことができ、それにより、強度値のばらつきは、部分的には異なる細胞型のクラスの生物学的／細胞学的差異により生じ、部分的には染色及び試料処理アーチファクトにより生じうる。
いくつかの実施形態によれば、計算されるオブジェクトのプロパティの一つは、サイズ、例えば直径又はオブジェクト中のピクセル総数である。関連づけられるコンテキストフィーチャ値は、画像内のすべてのオブジェクトの強度値の算術的ミーン値又はメジアン値である。コンテキストフィーチャは、特定のオブジェクトが、画像領域内の他のすべてのオブジェクトの平均強度より明るい強度を有するか又は暗い強度を有するかを示すことができ、それにより、強度値のばらつきは、部分的には異なる細胞型のクラスの生物学的／細胞学的差異により生じ、部分的には染色及び試料処理アーチファクトにより生じうる。
「オブジェクトアウトラインの丸み」などのオブジェクトの構造的フィーチャが、オブジェクトフィーチャに特異的なクラシファイヤを訓練するため及びオブジェクトのクラスメンバーシップを予測するために使用される場合、訓練フェーズの間に、オブジェクトの丸みが画像領域内の他のすべてのオブジェクトの「丸み」に類似しているか又は類似していないかを示す一又は複数のコンテキストフィーチャ値が計算されてクラシファイヤに入力される。クラシファイヤが、訓練フェーズの間に、コンテキストフィーチャ値が「丸み」オブジェクトフィーチャ値に基づくクラスメンバーシップ予測の精度を向上させうることを学習する場合、クラシファイヤは、前記コンテキストフィーチャ値にオブジェクトフィーチャ「丸み」を、「丸み」に基づくクラスメンバーシップの予測が前記同定及び学習されたコンテキストフィーチャ値によって修正されるように、その予測モデルを自動的に修正することにより、関連付ける。
いくつかのさらなる例によれば、オブジェクトのオブジェクトフィーチャ「次の隣接オブジェクトまでの最短距離」が、前記オブジェクトフィーチャ値が導出された特定のオブジェクトが特定のオブジェクトクラスに属する可能性を計算するために使用される。この場合、対応するクラシファイヤは、例えばコンテキストフィーチャ「デジタル画像内のオブジェクトの各々の、それらそれぞれの次の隣接オブジェクトまでの最短距離のメジアン値」が、特定のオブジェクトの「次の隣接細胞までの最短距離」がデジタル画像内の他のオブジェクトの平均「最短距離」より小さいか又は大きいかに関する情報を有するため、分類の間に追加入力として使用されなければならないことを学習する。
いくつかの実施形態によれば、上述のクラシファイヤのうちの二つ以上が、特定のオブジェクトがあるオブジェクトクラスのメンバーであるオブジェクトフィーチャに特異的な可能性をそれぞれ計算するために使用される。前記可能性は、エンドクラシファイヤ又はオブジェクトが特定のクラスに属している最終的な可能性を計算するための他のタイプのプログラムロジックによって合算される。
いくつかの実施形態によれば、クラシファイヤ又はクラシファイヤの処理モジュールは、コンテキストフィーチャを、デジタル画像の複数のオブジェクトのフィーチャ値の統計的平均として又はデジタル画像内の複数のピクセルのフィーチャ値の統計的平均として計算するための機能又はプログラムロジックを実装する。
いくつかの実施形態によれば、クラシファイヤ又はクラシファイヤの処理モジュールは、コンテキストフィーチャを、デジタル画像の複数のオブジェクトのフィーチャ値の統計的平均として又はデジタル画像内の複数のピクセルのフィーチャ値の統計的平均として計算するための機能又はプログラムロジックを実装する。
実施形態によれば、第１のオブジェクトフィーチャ値は、デジタル画像内の特定のオブジェクトの第１のフィーチャ又は「プロパティ」の値である。好ましくは、オブジェクトのピクセルのみ又は前記オブジェクト近傍のその隣接ピクセルを解析することによりオブジェクトから直接導出されるのは、オブジェクトフィーチャ値である。典型的な例は、オブジェクトを表す特定のピクセルブロブの「サイズ」又は「強度値」であろう。「訓練第１オブジェクトフィーチャ値」は、訓練デジタル画像内のピクセルブロブの第１のオブジェクトフィーチャの値である。好ましくは、訓練第１オブジェクトフィーチャ値は、オブジェクト、及びさらには任意選択的に前記ピクセルブロブ近傍の隣接ピクセルを解析することにより得られる。訓練デジタル画像は、複数の異なるオブジェクトクラス、例えば異なる細胞型のうちの一つに属しうるオブジェクトとして働く、ピクセルブロブのメンバーシップに関する情報で注釈付けされる。「訓練第２オブジェクトフィーチャ値」は、訓練デジタル画像を解析することにより得られる第２のオブジェクトフィーチャの値である、などである。
「デジタル画像」は、二次元画像の数値的表現（通常バイナリ）である。画像解像度が固定であるかどうかに応じて、デジタル画像はベクトル又はラスタ型である。それだけで、用語「デジタル画像」は、通常ラスタ画像又はビットマップ画像を指す。
本発明は、生物学的試料の画像から導出されるオブジェクト及びコンテキストフィーチャを取り込むための方法、システム、及び装置に関し、これら方法、システム、及び装置は、画像間のばらつきを補償する。一セットのコンテキスト認識フィーチャが、生物学的試料の画像内において解析されるオブジェクトについて生成され、エンドクラシファイヤに入力され、オブジェクトを同定するために使用される。コンテキスト認識フィーチャが、クラシファイヤを訓練するために、解析されるオブジェクトのオブジェクトフィーチャ及びオブジェクトフィーチャに関連付けられた一セットのコンテキストフィーチャを使用して生成され、これによりコンテキスト認識フィーチャが生成される。
本明細書に開示される種々の方法及びシステムの実施形態は、互いに自由に組み合わせることができる。
本明細書に開示される種々の方法及びシステムの実施形態は、互いに自由に組み合わせることができる。
一実施形態では、生物学的試料の画像内のオブジェクトのコンテキスト認識フィーチャを自動的に計算する方法が提供され、この方法は、クラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上において画像を解析することを含み、クラシファイヤ機能は、オブジェクトの少なくとも一つのコンテキスト認識フィーチャを：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又は一グループのピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより計算する。
オブジェクトフィーチャ（群）は、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることのできるフィーチャとすることができる。
実施形態によれば、クラシファイヤ機能は、本発明の種々の実施形態について本明細書に記載されるクラシファイヤである。
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又は一グループのピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより計算する。
オブジェクトフィーチャ（群）は、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることのできるフィーチャとすることができる。
実施形態によれば、クラシファイヤ機能は、本発明の種々の実施形態について本明細書に記載されるクラシファイヤである。
別の実施形態では、生物学的試料の画像のオブジェクトのコンテキスト認識フィーチャを計算するように生体画像解析デバイスのクラシファイヤ機能を事前訓練する方法が提供され、この方法は、生体画像解析デバイス上において生物学的試料の複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練セットの各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、クラシファイヤ訓練機能を実施するようにプログラムされており、この可能性の計算は：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又は一グループのピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ関数によって生成されるオブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、方法。この実施形態では、オブジェクトフィーチャは、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることができる。
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又は一グループのピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ関数によって生成されるオブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、方法。この実施形態では、オブジェクトフィーチャは、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることができる。
別の実施形態では、画像のオブジェクトを同定するように生体画像解析デバイスのエンドクラシファイヤ機能を訓練する方法が提供され、この方法は、生体画像解析デバイス上において複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練の各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、エンドクラシファイヤ訓練機能を実施するようにプログラムされており、前記計算は：
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又は一グループのピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られるコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる。
オブジェクトフィーチャ（群）は、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることのできるフィーチャとすることができる。これら実施形態のいずれにおいても、オブジェクトの追加フィーチャは、追加のオブジェクトフィーチャでよい、及び／又は追加のコンテキスト認識フィーチャでよい。オブジェクトの追加フィーチャのうちの少なくとも一つが追加のコンテキスト認識フィーチャである場合、追加のコンテキスト認識フィーチャは個別のコンテキスト認識クラシファイヤにより決定される。別の実施形態では、生物学的試料の試験画像内のオブジェクトを同定する方法が提供され、この方法は、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することによりエンドクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上でオブジェクトを解析することを含み、上記可能性の計算は、オブジェクトのコンテキスト認識フィーチャとオブジェクトの少なくとも一つの追加フィーチャを組み合わせることにより行われ、エンドクラシファイヤ機能は前出の方法のいずれかによって訓練される。例示的実施形態では、事前訓練されたクラシファイヤが、コンテキスト認識フィーチャを計算するために使用された。
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又は一グループのピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られるコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる。
オブジェクトフィーチャ（群）は、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることのできるフィーチャとすることができる。これら実施形態のいずれにおいても、オブジェクトの追加フィーチャは、追加のオブジェクトフィーチャでよい、及び／又は追加のコンテキスト認識フィーチャでよい。オブジェクトの追加フィーチャのうちの少なくとも一つが追加のコンテキスト認識フィーチャである場合、追加のコンテキスト認識フィーチャは個別のコンテキスト認識クラシファイヤにより決定される。別の実施形態では、生物学的試料の試験画像内のオブジェクトを同定する方法が提供され、この方法は、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することによりエンドクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上でオブジェクトを解析することを含み、上記可能性の計算は、オブジェクトのコンテキスト認識フィーチャとオブジェクトの少なくとも一つの追加フィーチャを組み合わせることにより行われ、エンドクラシファイヤ機能は前出の方法のいずれかによって訓練される。例示的実施形態では、事前訓練されたクラシファイヤが、コンテキスト認識フィーチャを計算するために使用された。
別の実施形態では、試験画像内のオブジェクトを同定する方法が提供され、この方法は、試験画像内のオブジェクトのコンテキスト認識フィーチャを計算するためにクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上で試験画像を解析することを含み、前記計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトにの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部のオブジェクトのグループ又はグループピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
オブジェクトフィーチャ（群）は、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることのできるフィーチャとすることができる。
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトにの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部のオブジェクトのグループ又はグループピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
オブジェクトフィーチャ（群）は、経験的に同定することができるか、又は例えば高度なフィーチャ発見方法により若しくは最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより自動的に同定することができる。これら実施形態のいずれにおいても、少なくとも一つのコンテキストフィーチャは、異なる画像内の同じオブジェクトフィーチャ、例えばオブジェクトフィーチャのグループ統計間における画像間のばらつきを捉えることのできるフィーチャとすることができる。
一実施形態では、エンドクラシファイヤはさらに、コンテキスト認識フィーチャと、試験画像内のオブジェクトの追加フィーチャとを組み合わせて、オブジェクトがあるクラスに属する可能性を計算する。オブジェクトの追加フィーチャは、追加のオブジェクトフィーチャでよい、及び／又は追加のコンテキスト認識フィーチャでよい。オブジェクトの追加フィーチャのうちの少なくとも一つが追加のコンテキスト認識フィーチャである場合、追加のコンテキスト認識フィーチャは個別のコンテキスト認識クラシファイヤにより決定される。
本明細書においてはさらに、生物学的試料の画像内のオブジェクを同定するためのシステムが提供され、このシステムは生体画像解析デバイスを備え、生体画像解析デバイスは：
プロセッサ；及び
プロセッサに連結された、コンピュータで実行可能な命令を記憶するメモリであって、前記命令は、プロセッサによって実行されると、プロセッサに、前出の実施形態のいずれかの方法を含む工程を実施させる。
システムは、任意選択的に、生物学的試料の画像を取り込み、かつ生物学的試料の画像を生体画像解析デバイスへ伝送するように適合されたデバイスをさらに含むことができる。例えば、画像がデジタル的に生体画像解析デバイスに直接送信されるように、顕微鏡又は全スライドスキャナを動作可能に生体画像解析デバイスにリンクさせることができる。これに加えて又は代えて、顕微鏡又は全スライドスキャナは、画像のデジタルコピーを保存するように適合され、かつデジタル画像を生体画像解析デバイスへ伝送するようにさらに適合された非一時的なコンピュータ可読記憶媒体を備えることができるか、又はそのような記憶媒体に接続されうる。
プロセッサ；及び
プロセッサに連結された、コンピュータで実行可能な命令を記憶するメモリであって、前記命令は、プロセッサによって実行されると、プロセッサに、前出の実施形態のいずれかの方法を含む工程を実施させる。
システムは、任意選択的に、生物学的試料の画像を取り込み、かつ生物学的試料の画像を生体画像解析デバイスへ伝送するように適合されたデバイスをさらに含むことができる。例えば、画像がデジタル的に生体画像解析デバイスに直接送信されるように、顕微鏡又は全スライドスキャナを動作可能に生体画像解析デバイスにリンクさせることができる。これに加えて又は代えて、顕微鏡又は全スライドスキャナは、画像のデジタルコピーを保存するように適合され、かつデジタル画像を生体画像解析デバイスへ伝送するようにさらに適合された非一時的なコンピュータ可読記憶媒体を備えることができるか、又はそのような記憶媒体に接続されうる。
別の実施形態では、プロセッサにより実行されて工程を実施する、コンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体が提供され、前記工程は、前出の実施形態のいずれかの方法を含む。
全般的枠組み
本発明は、生物学的試料の画像内部のオブジェクトのコンテキスト認識フィーチャを使用して異なる生物学的試料間の画像間のばらつきを補償する、コンピュータ実装方法、システム、及び装置に関する。クラシファイヤが、生物学的試料の画像内のオブジェクトについてコンテキスト認識フィーチャを計算するために使用される。クラシファイヤは、三要素の枠組み、即ち：
（１）画像内部のオブジェクトをはっきりと特徴付ける少なくとも一つのオブジェクトフィーチャを同定すること；
（２）画像間のばらつきに起因するフィーチャ値のばらつきを明示的に特徴付けることのできる、オブジェクトフィーチャに関連付けられる一セットのコンテキストフィーチャを同定すること；及び
（３） オブジェクトフィーチャ及びそれに関連付けられるコンテキストフィーチャを用いて基礎クラシファイヤを訓練し、オブジェクトがあるクラスに属する度合いを表わす数値（コンテキスト認識フィーチャ）を生成すること
に基づいて訓練される。
次いで、試験画像内部の試験オブジェクトに関するオブジェクトフィーチャとコンテキストフィーチャの同じセットを事前訓練されたクラシファイヤに入力し、試験オブジェクトのコンテキスト認識フィーチャを計算することができる。次いで、計算されたコンテキスト認識フィーチャをエンドクラシファイヤが使用して、オブジェクトがオブジェクトの特定のクラスに属する可能性を計算することができる。
本発明は、生物学的試料の画像内部のオブジェクトのコンテキスト認識フィーチャを使用して異なる生物学的試料間の画像間のばらつきを補償する、コンピュータ実装方法、システム、及び装置に関する。クラシファイヤが、生物学的試料の画像内のオブジェクトについてコンテキスト認識フィーチャを計算するために使用される。クラシファイヤは、三要素の枠組み、即ち：
（１）画像内部のオブジェクトをはっきりと特徴付ける少なくとも一つのオブジェクトフィーチャを同定すること；
（２）画像間のばらつきに起因するフィーチャ値のばらつきを明示的に特徴付けることのできる、オブジェクトフィーチャに関連付けられる一セットのコンテキストフィーチャを同定すること；及び
（３） オブジェクトフィーチャ及びそれに関連付けられるコンテキストフィーチャを用いて基礎クラシファイヤを訓練し、オブジェクトがあるクラスに属する度合いを表わす数値（コンテキスト認識フィーチャ）を生成すること
に基づいて訓練される。
次いで、試験画像内部の試験オブジェクトに関するオブジェクトフィーチャとコンテキストフィーチャの同じセットを事前訓練されたクラシファイヤに入力し、試験オブジェクトのコンテキスト認識フィーチャを計算することができる。次いで、計算されたコンテキスト認識フィーチャをエンドクラシファイヤが使用して、オブジェクトがオブジェクトの特定のクラスに属する可能性を計算することができる。
これら方法、システム、及び装置は、染色及び／又は標識された組織の自動解析が、例えば、形態的特徴、染色プロトコール、染色強度などにおける自然なばらつきにより妨害される、組織学の分野において特に有用である。
生物学的試料の画像
本発明の方法、システム、及び装置は、生物学的試料の画像を解析するために有用である。本明細書において使用される用語「生物学的試料」は、細胞を含む生物体に由来する任意の試料を意味し、これには例えば、顕微鏡による画像化のために調製された組織学的又は細胞学的試料が含まれる。特定の一実施形態では、生物学的試料は、画像化媒体（例えば顕微鏡スライド）上に載せられて、生物学的試料内部の構造を差次的に標識するコントラスト剤により染色された組織学的又は細胞学的試料である。例示的なコントラスト剤には、例えば、異なる巨大分子構造を差次的に染色する染料（例えばヘマトキシリン及びエオシン）及び生物学的試料内部の特定の分子に結合する分子標識（例えば特定のタンパク質に対する抗体又は特定のＤＮＡ若しくはＲＮＡ配列に対する核酸プローブ）が含まれる。生物学的試料は、顕微鏡下で可視化されるか、又は全スライドスキャナによってスキャンされ、そのデジタル画像が取り込まれる。
本発明の方法、システム、及び装置は、生物学的試料の画像を解析するために有用である。本明細書において使用される用語「生物学的試料」は、細胞を含む生物体に由来する任意の試料を意味し、これには例えば、顕微鏡による画像化のために調製された組織学的又は細胞学的試料が含まれる。特定の一実施形態では、生物学的試料は、画像化媒体（例えば顕微鏡スライド）上に載せられて、生物学的試料内部の構造を差次的に標識するコントラスト剤により染色された組織学的又は細胞学的試料である。例示的なコントラスト剤には、例えば、異なる巨大分子構造を差次的に染色する染料（例えばヘマトキシリン及びエオシン）及び生物学的試料内部の特定の分子に結合する分子標識（例えば特定のタンパク質に対する抗体又は特定のＤＮＡ若しくはＲＮＡ配列に対する核酸プローブ）が含まれる。生物学的試料は、顕微鏡下で可視化されるか、又は全スライドスキャナによってスキャンされ、そのデジタル画像が取り込まれる。
生体画像解析デバイス及び付属システム
本発明の方法、システム、及び装置はすべて、ここに開示される方法に従って生物学的試料の画像を解析するように機能する生体画像解析デバイスを含む。生体画像解析デバイスは、少なくとも、プロセッサ及びプロセッサに連結されたメモリを含み、メモリは、プロセッサによって実行されると、プロセッサに工程を実行させるコンピュータで実行可能な命令を記憶する。
本発明の方法、システム、及び装置はすべて、ここに開示される方法に従って生物学的試料の画像を解析するように機能する生体画像解析デバイスを含む。生体画像解析デバイスは、少なくとも、プロセッサ及びプロセッサに連結されたメモリを含み、メモリは、プロセッサによって実行されると、プロセッサに工程を実行させるコンピュータで実行可能な命令を記憶する。
用語「プロセッサ」は、データを処理するためのすべての種類の装置、デバイス、及びマシンを包含し、これには、例として、プログラマブルマイクロプロセッサ、コンピュータ、システムオンチップ、又はこれらのうちの複数又は組み合わせが含まれる。装置は、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を含むことができる。装置はまた、ハードウエアに加えて、問題のコンピュータプログラムのための実行環境をつくるコード、例えば、プロセッサファームウエア、プロトコールスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行時環境、バーチャルマシン、又はそれらのうちの一又は複数の組み合わせを構成するコードを含むことができる。装置及び実行環境は、種々の異なる計算モデルインフラストラクチャ、例えばウェブサービス、分散計算、及びグリッド計算インフラストラクチャを実現することができる。
コンピュータプログラム（プログラム、ソフトウエア、ソフトウエアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル又は解釈された言語、宣言型又は手続き型言語を含む、任意の形式のプログラミング言語で記述することができ、スタンドアローンプログラム又はモジュールとして、コンポーネント、サブルーチン、オブジェクト、又は計算環境における使用に適切なその他ユニットを含む任意の形式に配備することができる。コンピュータプログラムは、ファイルシステム内の一ファイルに対応してもよいが、対応しなくてもよい。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に格納された一又は複数のスクリプト）を保持するファイルの一部に、問題のプログラムに専用の単一ファイルに、又は複数の連帯ファイル（例えば、一又は複数のモジュール、サブプログラム、又はコード部分を格納するファイル）に格納することができる。コンピュータプログラムは、一つのコンピュータ、又は一つのサイトに位置する若しくは複数のサイトに分散して通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように配備することができる。
本明細書に記載されるプロセス及び論理フローは、一又は複数のコンピュータプログラムを実行する一又は複数のプログラマブルプロセッサによって実施され、入力データを操作し、出力を生成することによって動作を実施することができる。プロセス及び論理フローは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によっても実施することができ、装置はそのような専用論理回路としても実装されうる。
コンピュータプログラムの実行に適したプロセッサには、例として、汎用及び 専用両方のマイクロプロセッサ、並びに任意の種類のデジタルコンピュータの任意の一又は複数のプロセッサが含まれる。通常、プロセッサは、リードオンリーメモリ若しくはランダムアクセスメモリ又はそれら両方から命令及びデータを受け取るであろう。コンピュータの基本的要素は、命令に従って動作を実施するプロセッサと、命令及びデータを格納する一又は複数のメモリデバイスである。通常、コンピュータは、データを格納するための一又は複数の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、又は光ディスクも含むか、又はそのような大容量記憶装置に動作可能に連結されてデータを受け取るか、又はその両方である。しかしながら、コンピュータはそのような装置を有さなくてもよい。さらに、コンピュータは、別のデバイス、例えば、そのごく一部を挙げると、携帯電話、携帯情報端末（ＰＤＡ）、携帯オーディオ又はビデオプレーヤー、ゲーム機、全地球測位システム（ＧＰＳ）受信機、又は携帯型記憶装置（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に埋め込まれてもよい。コンピュータプログラム命令及びデータを格納するために適したデバイスには、すべての形式の非揮発性メモリ、媒体及びメモリデバイスが含まれ、それには例えば、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク又は取り外し可能なディスク；光磁気ディスク；並びにＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクが含まれる。プロセッサ及びメモリは、専用論理回路により補充されるか、又は専用論理回路に取り込むことができる。
ユーザとの対話を提供するために、本明細書に記載される主題の実施形態は、ユーザに対して情報を表示するための表示装置、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、又はＯＬＥＤ（有機発光ダイオード）ディスプレイと、ユーザがそれによりコンピュータに入力を提供することができるキーボード及びポインティングデバイス、例えば、マウス又はトラックボールとを有するコンピュータ上で実施されうる。いくつかの実装態様では、情報を表示し、ユーザからの入力を受け取るために、タッチスクリーンを使用することができる。ユーザとの対話を提供するために、他の種類のデバイスも使用することができ、例えば、ユーザに対して提供されるフィードバックは、任意の形式の感覚フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバックとすることができ、ユーザからの入力は、音響、音声、又は触覚による入力を含む任意の形態で受け取ることができる。加えて、コンピュータは、ユーが使用するデバイスに文書を送ること及び同デバイスから文書を受け取ることにより、例えば、ユーザのクライアントデバイス上のウェブブラウザから受け取ったリクエストに応答して、同ウェブブラウザにウェブページを送ることにより、ユーザと対話することができる。
本明細書に記載される主題の実施形態は、バックエンドコンポーネントを含む例えばデータサーバとしての計算システム、又はミドルウエアコンポーネントを含む計算システム、例えばアプリケーションサーバ、又はフロントエンドコンポーネントを含む計算システム、例えばそれによりユーザが本明細書に記載される主題の実装態様と対話することができるグラフィカルユーザインターフェース若しくはウェブブラウザを有するクライアントコンピュータ、又は一又は複数のそのようなバックエンド、ミドルウエア、又はフロントエンドコンポーネントの任意の組み合わせに実装することができる。システムのコンポーネントは、任意の形式又は媒体のデジタルデータ通信、例えば、通信ネットワークにより相互に接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）及び広域ネットワーク（「ＷＡＮ」）、内部ネットワーク（例えばインターネット）、及びピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が含まれる。
計算システムは、任意の数のクライアント及びサーバを含むことができる。クライアント及びサーバは通常、互いから遠隔にあり、典型的には通信ネットワークを通じて対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、かつ互いにクライアント−サーバ関係を有するコンピュータプログラムにより生じる。いくつかの実施形態では、サーバはデータ（例えば、ＨＴＭＬページ）を、クライアントサーバへ（例えば、データを表示するため、及びクライアントデバイスと対話するユーザからユーザ入力を受け取るために）送信する。クライアントデバイスにおいて生成されたデータ（例えば、ユーザインタラクションの結果）は、サーバにおいてクライアントサーバから受信することができる。
当業者であれば、本明細書に開示される生体画像解析デバイスが、追加のコンポーネント、例えば分析器、スキャナなどを備えるシステム内部に含まれうることを理解するであろう。例えば、生体画像分析器は、生物学的試料の画像のデジタルコピーを含むコンピュータ可読記憶媒体に通信可能に連結されうる。或いは、生体画像解析デバイスは、画像化装置に通信可能に連結されてもよい。一般に、画像化装置は、限定しないが、一又は複数の画像取り込みデバイスを含むことができる。画像取り込みデバイスは、限定しないが、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学部品（例えば、一又は複数のレンズ、センサ焦点レンズ群、顕微鏡対物レンズなど）、撮像センサ（例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化半導体（ＣＭＯＳ）画像センサなど）、写真フィルムなどを含むことができる。デジタル式実施形態では、画像取り込みデバイスは、協働してオンザフライフォーカスを証明する複数のレンズを含むことができる。ＣＣＤセンサは、標本のデジタル画像を取り込むことができる。デジタル画像を生成する方法は、標本の少なくとも一部を含む顕微鏡スライドの区域を含むスキャン領域を決定することを含む。スキャン領域は、複数の「スナップショット」に分割されてもよい。画像は、個々の「スナップショット」を合成することにより生成することができる。いくつかの実施形態では、画像化装置は、標本全体の高解像度画像を生成するもので、そのような装置の一例は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．（Ｔｕｃｓｏｎ，ＡＺ）のＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴスライドスキャナである。システムは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットなども含むことができ、またデジタル電子回路、ファームウエア、ハードウエア、メモリ、コンピュータ記憶媒体、コンピュータプログラム、プロセッサなどを含むことができる。画像はピクセルのマトリックスに分割することもできる。ピクセルは、ビット深さによって規定される一又は複数のビットのデジタル値を含むことができる。ネットワーク又は直接の接続で画像化装置とコンピュータシステムを相互接続してもよい。コンピュータシステムは、コンピュータで実行可能な一連の命令でプログラムされた一又は複数のプロセッサを含み、命令はメモリに格納される。
実行されると、命令（メモリに格納することができる）は、コンピュータシステムのプロセッサの少なくとも一つに、入力（生物学的試料を含むカラー画像である）を受け取らせることができる。必用な入力が提供されると、次いでモジュールが実行されてオブジェクトフィーチャとコンテキストフィーチャを導出し、オブジェクトフィーチャメトリックスとコンテキストフィーチャメトリックスを計算する。オブジェクトフィーチャメトリックスとコンテキストフィーチャメトリックスは、オブジェクトを分類して出力をユーザに提供するエンドクラシファイヤを訓練するために提供される。出力は、ディスプレイ、メモリ、又は本技術分野に適した他の何れかの手段に対するものでありうる。
オブジェクトフィーチャ
本明細書において使用される用語「オブジェクトフィーチャ」は、オブジェクトがその中に位置している画像内部においてオブジェクトを同定するために使用することのできる個々のオブジェクトのプロパティを指す。オブジェクトフィーチャの例には、オブジェクト内部のすべてのピクセルのサイズ、形状及び平均強度が含まれる。
本明細書において使用される用語「オブジェクトフィーチャ」は、オブジェクトがその中に位置している画像内部においてオブジェクトを同定するために使用することのできる個々のオブジェクトのプロパティを指す。オブジェクトフィーチャの例には、オブジェクト内部のすべてのピクセルのサイズ、形状及び平均強度が含まれる。
好ましくは、オブジェクトフィーチャは、画像間のばらつきに関係なく特定の画像内部においてオブジェクトをはっきりと同定するプロパティである。例えば、同じ画像内においてリンパ球は通常がん細胞より小さいため、ＥＲ染色された乳がん画像において、核のサイズはリンパ球の重要なオブジェクトフィーチャである。このフィーチャを選択することは、試料による核サイズのばらつきが同じ特定の画像内部のリンパ球核とがん細胞核の相対的サイズに影響しえないため、画像間のばらつきとは無関係である。フィーチャ選択と画像のばらつきの取り扱いを切り離すことにより、選択されたオブジェクトフィーチャセットの説明力は個々の画像内で最大化される。
オブジェクトフィーチャは、経験的に、自動的に、又はそれらの両方により同定することができる。一実施形態では、少なくとも一つのオブジェクトフィーチャは自動的に同定される。一実施形態では、オブジェクトフィーチャは、高度なフィーチャ発見（ＡＦＤ）方法を用いて、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールを用いて、同定される。ＡＦＤの一例は［１０］に記載されており；ｍＲＭＲは［１１］に記載されている。オブジェクトフィーチャを同定する詳細な方法は、特定の用途により変動するであろう。
オブジェクトフィーチャは、デジタル画像内に含まれる、計算された「無関係な」即ち、「考慮されない」コンテキスト情報でありうる。オブジェクトフィーチャは、画像間のばらつきの影響を受け易くても受けにくくてもよい。画像間のばらつきによる影響を受ける場合、前記オブジェクトフィーチャに基づくクラスメンバーシップ予測の精度は、さらにオブジェクトフィーチャに関連付けられるコンテキストフィーチャを入力とするクラシファイヤにより向上させることができる。関連付けは、クラシファイヤの学習フェーズの間に自動的に確立される。
したがって、オブジェクトフィーチャは、オブジェクトフィーチャ値の画像間のばらつきを考慮することなく選択することができる。オブジェクトフィーチャは、典型的には、オブジェクトのフィーチャ、例えばオブジェクトのクラスメンバーシップを予測する予測力を有する、細胞又は核を表すピクセルブロブである。
コンテキストフィーチャ
本明細書において使用される用語「コンテキストフィーチャ」は、画像内の一グループのオブジェクト又は一グループのピクセルのプロパティを説明するフィーチャであって、そのグループのオブジェクトの種類の画像間のばらつきを補償するために有効なフィーチャを指す。
本明細書において使用される用語「コンテキストフィーチャ」は、画像内の一グループのオブジェクト又は一グループのピクセルのプロパティを説明するフィーチャであって、そのグループのオブジェクトの種類の画像間のばらつきを補償するために有効なフィーチャを指す。
選択された各オブジェクトフィーチャについて、個別のコンテキストフィーチャのセットが選択される。目的が、コンテキストフィーチャのセットの説明力を最大化することではなく、画像間のばらつきを補償することであることを念頭に置くと、オブジェクトフィーチャとコンテキストフィーチャのセットとの関連付けが重要である。例えば、オブジェクトの画像内の相対的サイズはオブジェクトの同定に重要であり、コンテキストフィーチャのセットは、オブジェクトがその特定の画像のコンテキストにおいて比較的大きいか又は小さいかを示すフィーチャを含まなければならない。加えて、コンテキストフィーチャのセットは、後の工程において相関されうるように、画像間のばらつきを取り込む能力を有しなければならない。
一実施形態では、同じオブジェクトフィーチャのグループ統計がコンテキストフィーチャとして使用される。例えば、オブジェクトフィーチャがオブジェクトのサイズであり、オブジェクトが画像のコンテキストにおいて比較的大きいか又は小さいかを決定するために正規化を実施する必要がある場合、一つのコンテキストフィーチャは、「画像内のすべてのオブジェクトのメジアン値サイズ」とすることができる。この着想は、間接的な関連フィーチャに拡大することができ、例えば、オブジェクトフィーチャが勾配に基づくとき、関連付けられるコンテキストフィーチャは強度のグループ統計とすることができる。
本明細書において使用される場合、オブジェクトフィーチャに関連付けられるコンテキストフィーチャは、画像の複数の複数のオブジェクト又はピクセルから導出される、オブジェクトフィーチャの画像間のばらつきを平均化することのできるフィーチャである。これにより、コンテキストフィーチャは、クラスメンバーシップ以外の要因により生じ、一般に画像間のばらつきを生じさせるオブジェクトフィーチャのばらつきも平均化することができる。
本明細書において使用される場合、オブジェクトフィーチャに関連付けられるコンテキストフィーチャは、画像の複数の複数のオブジェクト又はピクセルから導出される、オブジェクトフィーチャの画像間のばらつきを平均化することのできるフィーチャである。これにより、コンテキストフィーチャは、クラスメンバーシップ以外の要因により生じ、一般に画像間のばらつきを生じさせるオブジェクトフィーチャのばらつきも平均化することができる。
コンテキスト認識フィーチャを計算するためのクラシファイヤの訓練及び適用
オブジェクトフィーチャとそれらに関連付けられるコンテキストフィーチャは、「コンテキスト認識フィーチャ」を生成するようにクラシファイヤを訓練するために使用される。本明細書において使用される用語「コンテキスト認識フィーチャ」は、クラシファイヤによって生成される、オブジェクトがあるクラスに属する度合いを表す数値を指す。有用なクラシファイヤの例には、サポートベクターマシンクラシファイヤ、ランダムフォレストランダムフォレストクラシファイヤ、ニューラルネットワーク、及びファジールールベースのシステムが含まれる。
オブジェクトフィーチャとそれらに関連付けられるコンテキストフィーチャは、「コンテキスト認識フィーチャ」を生成するようにクラシファイヤを訓練するために使用される。本明細書において使用される用語「コンテキスト認識フィーチャ」は、クラシファイヤによって生成される、オブジェクトがあるクラスに属する度合いを表す数値を指す。有用なクラシファイヤの例には、サポートベクターマシンクラシファイヤ、ランダムフォレストランダムフォレストクラシファイヤ、ニューラルネットワーク、及びファジールールベースのシステムが含まれる。
クラシファイヤは、所与のオブジェクトフィーチャを画像間で直接比較できるように、「フィーチャの正規化」と同様の結果を得るために使用される。正規化の式を手作業で作成する代わりに、クラシファイヤはオブジェクトフィーチャ及びコンテキストフィーチャ（正規化係数を構成する）を組み込む。したがって、オブジェクトフィーチャは、正規化されるべきオブジェクトのフィーチャと考えることができ、コンテキストフィーチャは、オブジェクトフィーチャのための正規化係数と考えることができる。
画像内部のオブジェクトをはっきりと特徴付ける少なくとも一つのオブジェクトフィーチャが同定される。各オブジェクトフィーチャについて、オブジェクトフィーチャに関連付けられた一セットのコンテキストフィーチャが同定され、これらのコンテキストフィーチャは画像間のばらつきを特徴付けることができる。
クラシファイヤの数値出力は、すべての訓練画像にわたるオブジェクトを区別するために入力フィーチャから最適に導出される量と理解することができる。したがって、分類に対する画像間のばらつき（コンテキストフィーチャによって取り込まれた）の悪影響は、訓練プロセスを通して最小化される。この量は、分類のために最適に「正規化」されるとともに、次いで元のオブジェクトフィーチャと同じプロパティを説明するフィーチャとして働くことができる。反対に、クラシファイヤのスコアの説明力が元のオブジェクトフィーチャより弱くなった場合、誤ったコンテキストフィーチャが選択されている、又は画像間のばらつきの補償が不要であることが示される。
このアプローチには複数の利点がある。第１に、複数の正規化係数を同時に適用できるので、発生源を複数有するばらつきにまとめて対処することができる。第２に、訓練プロセスは、訓練モデルを通して各フィーチャの重要性を容易に解析することができる情報発見プロセスでもある。第３に、訓練プロセスの基礎にある最適化の性質により、ノイズの多い又は無関係なフィーチャは通常抑えられ、したがって手作業による式の作成と比較して、正規化係数の選択に課されるストリンジェントな要件が低減される。
画像の同定
場合によっては、オブジェクトを同定するために単一のコンテキスト認識フィーチャが十分でありうる。しかしながら、多くの場合、オブジェクトを同定するためには様々な要因が必要である。一実施形態では、オブジェクトの同定を実施するためにエンドクラシファイヤが使用される。エンドクラシファイヤは、オブジェクトの他のフィーチャと共にコンテキスト認識フィーチャを取り込んで、オブジェクトがオブジェクトのあるクラスに属する可能性を計算する。エンドクラシファイヤとして有用なクラシファイヤの例には、サポートベクターマシンクラシファイヤ、ランダムフォレストランダムフォレストクラシファイヤ、ニューラルネットワーク、及びファジールールベースのシステムが含まれる。一実施形態では、複数のコンテキスト認識フィーチャが、オブジェクトを同定するためにエンドクラシファイヤによって使用される。他の実施形態では、エンドクラシファイヤは、少なくとも一つのコンテキスト認識フィーチャと少なくとも一つのオブジェクトフィーチャとを組み合わせる。
場合によっては、オブジェクトを同定するために単一のコンテキスト認識フィーチャが十分でありうる。しかしながら、多くの場合、オブジェクトを同定するためには様々な要因が必要である。一実施形態では、オブジェクトの同定を実施するためにエンドクラシファイヤが使用される。エンドクラシファイヤは、オブジェクトの他のフィーチャと共にコンテキスト認識フィーチャを取り込んで、オブジェクトがオブジェクトのあるクラスに属する可能性を計算する。エンドクラシファイヤとして有用なクラシファイヤの例には、サポートベクターマシンクラシファイヤ、ランダムフォレストランダムフォレストクラシファイヤ、ニューラルネットワーク、及びファジールールベースのシステムが含まれる。一実施形態では、複数のコンテキスト認識フィーチャが、オブジェクトを同定するためにエンドクラシファイヤによって使用される。他の実施形態では、エンドクラシファイヤは、少なくとも一つのコンテキスト認識フィーチャと少なくとも一つのオブジェクトフィーチャとを組み合わせる。
画像間のばらつき
「画像内のばらつき」は、特定のデジタル画像内部の、複数のオブジェクト、例えばピクセルブロブのオブジェクトフィーチャ値のばらつきを示す。これにより、デジタル画像は、例えば、スライド全体の画像又はその小区域とすることができる。反対に、「画像間のばらつき（ｉｎｔｅｒ−ｉｍａｇｅ ｖａｒｉａｔｉｏｎ）」及び「画像間のばらつき（ｃｒｏｓｓ−ｉｍａｇｅ ｖａｒｉａｔｉｏｎ）」は、異なるデジタル画像のオブジェクトのオブジェクトフィーチャ値のばらつきを示す。
「画像内のばらつき」は、特定のデジタル画像内部の、複数のオブジェクト、例えばピクセルブロブのオブジェクトフィーチャ値のばらつきを示す。これにより、デジタル画像は、例えば、スライド全体の画像又はその小区域とすることができる。反対に、「画像間のばらつき（ｉｎｔｅｒ−ｉｍａｇｅ ｖａｒｉａｔｉｏｎ）」及び「画像間のばらつき（ｃｒｏｓｓ−ｉｍａｇｅ ｖａｒｉａｔｉｏｎ）」は、異なるデジタル画像のオブジェクトのオブジェクトフィーチャ値のばらつきを示す。
本明細書において使用される用語「クラシファイヤ」及び「クラシファイヤ機能」は同義語である。「画像解析システム」は、画像解析デバイスとして実装することができ、例えばプロセッサ及びメモリ及び／又は非揮発性記憶媒体を含み、メモリ及び／又は記憶媒体は、プロセッサによって実行されるとプロセッサに本発明の実施形態による画像解析方法を実施させる命令を記憶している。
ＥＲ染色画像の解析における適用
ＥＲ染色された画像の解析において、陰性がん細胞と陽性がん細胞とを区別することは、それら二つのクラスが色に極端な違いを有するため、比較的簡単である。しかしながら、ヘマトキシリンによって染色された陰性がん細胞と他の非がん性細胞、特にリンパ球とを区別することは、それら二つのクラスの間の色の違いがわずかであるために困難で、若干の染色のばらつきが、分類性能に有意な影響を有しうる。加えて、がん細胞のサイズのばらつきも、分類にサイズのフィーチャを使用することを困難にする。
ＥＲ染色された画像の解析において、陰性がん細胞と陽性がん細胞とを区別することは、それら二つのクラスが色に極端な違いを有するため、比較的簡単である。しかしながら、ヘマトキシリンによって染色された陰性がん細胞と他の非がん性細胞、特にリンパ球とを区別することは、それら二つのクラスの間の色の違いがわずかであるために困難で、若干の染色のばらつきが、分類性能に有意な影響を有しうる。加えて、がん細胞のサイズのばらつきも、分類にサイズのフィーチャを使用することを困難にする。
図１は、ＥＲ染色された乳がんの画像を示している。陽性に発現された、ＤＡＢ染色されたがん細胞は褐色であり、ヘマトキシリン染色された陰性に発現されたがん細胞とリンパ球は青色である（前記画像のグレイスケール表示においては色は示されない）。同じ画像内の陰性がん細胞に関して、リンパ球は通常暗色であり、サイズは比較的小さい（図１（ａ）（ｂ））。異なる画像を比較するとき、（ｂ）（ｄ）のヘマトキシリンは（ａ）（ｃ）より強く、リンパ球分布率は（ａ）（ｂ）の方が（ｃ）（ｄ）より高い。オブジェクトフィーチャのばらつきは、（ｂ）と（ｄ）の比較においても観察することができ、（ｄ）のがん細胞は（ｂ）より見かけ上小さい。本発明の実施形態は、分類の間に染色のばらつき及び生物学的ばらつきの両方に対処することができる。
リンパ球、がん細胞核、及び腺といった特定の組織学的オブジェクトの同定は、多くの場合病理組織画像の量的解析の前提条件の一つである。例えばエストロゲン受容体（ＥＲ）染色スライドの免疫組織化学（ＩＨＣ）的評価において、陽性及び陰性に発現した腫瘍細胞を同定する必要がある。腫瘍細胞数のうちＥＲを陽性に発現した腫瘍細胞の割合は、ＥＲスコアとして算出することができ、患者が特定の治療法、例えば内分泌療法の利益を受ける可能性が高いかどうかを予測するために使用される。本発明の実施形態は、異なる画像領域の画像の外観のばらつきに不変の画像フィーチャを抽出することを可能し、これら画像のばらつきは、疾病生物学の不均一性と染色プロトコールの違いに起因して生じている可能性がある。染色の見かけ上の一貫性を改善するという試みで単純な色分布の正規化を実施することは、細胞の若干の色の違いが、細胞が異なる細胞型（腫瘍細胞及びリンパ球細胞）に属するという事実によって生じるのであって、染色効果（のみ）によって生じるのでない（図１ａ−１ｄが表す生体画像の不均一性参照：（ｂ）（ｄ）のヘマトキシリン染色は（ａ）（ｃ）より強く、リンパ球分布率は（ａ）（ｂ）の方が（ｃ）（ｄ）より高い）ため、危険である。
例えば、陰性に染色された腫瘍核とリンパ球は、色の強度及びサイズの両方においてわずかに異なる。色分布における画像間の差異は、主に染色のばらつきではなくオブジェクト分布率によって生じている可能性があるため、色分布をやみくもに揃えることは、色の識別性を低下させ、分類されるべきオブジェクト間にさらなる混色を導入しうる。反対に、染色のばらつきと生物学的ばらつきの両方に対処することにより、本発明の実施形態は、もっと精度の高い分類アプローチを提供する。
図２は、コンテキスト認識フィーチャを計算し、それをエンドクラシファイヤで使用するための線図である。例えば、計算は、プロセッサとメモリを備える画像解析システム又はデジタル式電子処理デバイスにより実施される。
図３は、元のオブジェクトフィーチャとコンテキスト認識フィーチャの説明力を示すＲＯＣ曲線である。ｘ軸は、一つのクラス（例えば「リンパ球」）の偽の分類比であり、ｙ軸は、他のクラス（ＤＡＢ未染色腫瘍細胞）の真の分類比である。コンテキスト認識フィーチャは、訓練データ（ａ１）（ａ２）と試験データ（ｂ１）（ｂ２）の両方においてより強い説明力を有している。
訓練データは、８１のスライド全体（ＷＳ）のＥＲ染色乳がん画像から抽出された、合計で２１０の視野（ＦＯＶ）画像からなっている。前記訓練画像内部において、陰性腫瘍細胞とリンパ球を、手作業により訓練データとして注釈付けた。訓練データを未訓練バージョンのクラシファイヤ、例えば線形ＳＶＭクラシファイヤに入力し、コンテキスト認識サイズ及びコンテキスト認識青の暗さを計算することのできる訓練済みの線形ＳＶＭモデルを得た。図３ａ１、３ａ２のＲＯＣ曲線は共に、結果として得られたコンテキスト認識フィーチャ（即ち、特定の細胞型の細胞である可能性）がオブジェクトフィーチャのみより大きな説明力を有することを示す。
この方法を確認するために、９３の試験ＦＯＶを、さらに３１のスライド全体の画像から抽出し、手作業により同様に注釈付けた。ＲＯＣ曲線を使用して、試験データセットについても各フィーチャの説明力を評価し、試験データセットにおいても、単なるオブジェクトフィーチャ「サイズ」及び「青の暗さ」と比較して、コンテキスト認識フィーチャの予測精度が高いことを明らかにした。
図４は、エンドクラシファイヤの性能比較を示すＲＯＣ曲線である。図４は、コンテキスト認識フィーチャの説明力が、訓練データと試験データの両方において元のオブジェクトフィーチャより明らかに大きいことを示している。
図５は、エンドクラシファイヤの結果の例を示しており、この場合、コンテキスト認識フィーチャの使用により、弱い染色の画像においてリンパ球を陰性細胞（「陰性に染色された腫瘍細胞」、即ち、それぞれのバイオマーカー及び対応する標識又は染色に結合していない腫瘍細胞）として誤分類するエラーが減少し（図５（ａ２）ｖｓ．図５（ａ１）参照）；強い染色画像にではその逆であった（図５（ｂ２）ｖｓ．図５（ｂ１）参照）。図５（ａ１）（ｂ１）では、元のオブジェクトフィーチャが使用された。図５（ａ２）（ｂ２）では、コンテキスト認識フィーチャが使用された。画像に重ねられた矢印は、核のクラスの標識：陰性がん細胞及びリンパ球を示している。
図６は、デジタル画像内のオブジェクトを分類するための方法のフロー図である。方法は、図７に示す一又は複数のクラシファイヤによって実施することができる。以下の段落では、本発明の実施形態について、図６及び７を参照することにより記載する。
枠組み
本発明の実施形態は、個々のオブジェクト情報及びコンテキスト情報を取り込んで、画像間のばらつきについて補償された精密な可能性（コンテキスト認識フィーチャ）を計算する。実施形態によれば、そのようなフィーチャを計算するための一般的な枠組みは三つの工程からなる：
工程１．画像内部でオブジェクトをはっきりと特徴付けるオブジェクトフィーチャを同定する。
工程２．特定のオブジェクトフィーチャに関連付けられ、画像間のばらつきに起因するフィーチャ値のばらつきを明確に特徴付けることのできる一セットのコンテキストフィーチャを同定する。
工程３．上記オブジェクト及びコンテキストフィーチャを用いてベースクラシファイヤを訓練する。オブジェクトが所与のクラスに属している可能性を示すベースクラシファイヤの数値出力は、「コンテキスト認識」フィーチャと呼ばれる。
本発明の実施形態は、個々のオブジェクト情報及びコンテキスト情報を取り込んで、画像間のばらつきについて補償された精密な可能性（コンテキスト認識フィーチャ）を計算する。実施形態によれば、そのようなフィーチャを計算するための一般的な枠組みは三つの工程からなる：
工程１．画像内部でオブジェクトをはっきりと特徴付けるオブジェクトフィーチャを同定する。
工程２．特定のオブジェクトフィーチャに関連付けられ、画像間のばらつきに起因するフィーチャ値のばらつきを明確に特徴付けることのできる一セットのコンテキストフィーチャを同定する。
工程３．上記オブジェクト及びコンテキストフィーチャを用いてベースクラシファイヤを訓練する。オブジェクトが所与のクラスに属している可能性を示すベースクラシファイヤの数値出力は、「コンテキスト認識」フィーチャと呼ばれる。
フィーチャ選択フェーズ
この工程において、分類の間に評価されなければならないフィーチャ（「プロパティ」）が同定される。
この工程において、分類の間に評価されなければならないフィーチャ（「プロパティ」）が同定される。
第１の工程では、オブジェクトフィーチャは個々のオブジェクトのプロパティを説明するもの、例えば、サイズ、形状、強度などを指す。これらフィーチャは、目視観察により手作業により得られるか、又は高度なフィーチャ発見方法により同定される。いずれかの方法を用いて、焦点は、画像間のフィーチャ値のばらつきを取り込むことなく画像内のオブジェクトを最もよく特徴付けるフィーチャを発見することである。例えば、同じ画像内においてリンパ球は通常がん細胞より小さいため、ＥＲ染色された乳がん画像内におけるリンパ球同定の問題に関して、核のサイズは重要なフィーチャである。図１ａ−ｄに示されるサイズにおける生物学的ばらつきは、後の工程で取り扱われるので、この工程におけるフィーチャ選択を妨害するべきでない。このように、フィーチャ選択と画像のばらつきの取り扱いを切り離すことにより、選択されるオブジェクトフィーチャの説明力を、個々の画像について最大化することができる。
次の工程において、コンテキストフィーチャは、画像内のオブジェクト又はピクセルのすべて又はサブグループのプロパティ、例えば、すべての青色のオブジェクトの輝度強度のミーン値を説明するものを指す。各オブジェクトフィーチャは画像間で異なる要因の影響を受ける可能性があるため、選択された各オブジェクトフィーチャについて、コンテキストフィーチャの別個のセットを同定する必要がある。目的が、コンテキストフィーチャセットの説明力を最大化することではなく、画像間のばらつきを補償することであることを念頭に置くと、オブジェクトフィーチャとコンテキストフィーチャセットとの関連付けが重要である。したがって、オブジェクトフィーチャとコンテキストフィーチャの相関が予測され、これは、次の工程で発見しようとするものである。一例として、この工程における正しい質問は：「特定のオブジェクトのサイズが与えられている場合、オブジェクトが画像内で比較的大きいか又は小さいかを教えてくれるフィーチャは何か？」である。加えて、コンテキストフィーチャは、画像間のばらつきを後の工程で修正することができように、それらばらつきを取り込む能力を有さなければならない。そのようなコンテキストフィーチャを見つける単刀直入な方法は、同じオブジェクトフィーチャのグループ統計を導出することである。例えば、上記サンプル的質問への一つの回答は：「画像内のすべてのオブジェクトのメジアン値サイズ」である。この着想は、間接的に関連フィーチャに拡大することができ、例えば、オブジェクトフィーチャが勾配に基づくとき、関連付けられるコンテキストフィーチャは強度のグループ統計とすることができる。
実際、適切なフィーチャの選択の結果、画像間でフィーチャ値を直接比較することができるような一種の「フィーチャ正規化」が得られる。しかしながら、手作業による正規化式を実装する必要はない。むしろ、標準的なクラシファイヤ、例えばサポートベクターマシンＳＶＭ又はランダムフォレストＲＦを、オブジェクトフィーチャ（即ち、正規化されるフィーチャ）及びコンテキストフィーチャ（即ち、正規化係数）を取り込むように利用し、訓練することができる。クラシファイヤの数値出力、例えば、オブジェクトがあるクラスに属する可能性を示すＳＶＭのスコアは、すべての訓練画像にわたるオブジェクトを区別するために入力フィーチャから最適に導出される量と理解することができる。したがって、画像間のばらつき（コンテキストフィーチャによって取り込まれた）の悪影響は、訓練プロセスを通して最小化されているはずである。この量は、分類のために最適に「正規化」されるとともに、次いで元のオブジェクトフィーチャと同じオブジェクトフィーチャを説明するフィーチャとして働くことができる。
コンテキスト認識フィーチャを使用して、対処する分類の問題を解決するようにエンドクラシファイヤを訓練することができる。これについて次のセクションで説明する。
訓練フェーズ
実際のオブジェクト分類を開始するにはまず、同定するべき細胞又は細胞下オブジェクトの各オブジェクトフィーチャについて、それぞれのクラシファイヤをつくらなければならない。これは、一又は複数の訓練画像内の数百又は場合によっては数千のピクセルブロブ又は他の構造に、いずれのオブジェクトクラスに前記ピクセルブロブ又は構造が属するかを示す注釈を付すことにより行うことができる。例えば、ピクセルブロブは、ＤＡＢ染色の結果得られた、細胞全体を示す褐色のブロブである、任意の種類の核のヘマトキシリン染色の結果得られた（いくつかの種類の核において他よりも強度の高い）青色のブロブである、又は膜構造、細胞クラスターなどである。
実際のオブジェクト分類を開始するにはまず、同定するべき細胞又は細胞下オブジェクトの各オブジェクトフィーチャについて、それぞれのクラシファイヤをつくらなければならない。これは、一又は複数の訓練画像内の数百又は場合によっては数千のピクセルブロブ又は他の構造に、いずれのオブジェクトクラスに前記ピクセルブロブ又は構造が属するかを示す注釈を付すことにより行うことができる。例えば、ピクセルブロブは、ＤＡＢ染色の結果得られた、細胞全体を示す褐色のブロブである、任意の種類の核のヘマトキシリン染色の結果得られた（いくつかの種類の核において他よりも強度の高い）青色のブロブである、又は膜構造、細胞クラスターなどである。
注釈付き画像は、未訓練クラシファイヤ、例えばサポートベクターマシン、ニューラルネットワーク、又は他の何れかの種類の非教師付き学習プログラムロジックに入力される。
例えば、考慮される第１のオブジェクトフィーチャは、青色のピクセルブロブのサイズ（核に対応する）及びヘマトキシリン染色の結果として得られる青色の強度である。
まず、未訓練バージョンの第１のクラシファイヤ７１０、例えばＳＶＭが、訓練デジタル画像を解析して訓練コンテキストフィーチャ値を計算し、特定のオブジェクトフィーチャのフィーチャ値を決定することができる。解析は、訓練デジタル画像内の核ブロブを検出する核決定アルゴリズムを適用すること、及び検出されたすべての核ブロブの直径のメジアン値として訓練第１コンテキストフィーチャ値を計算することを含む。すべてのピクセルブロブの直径である「第１のオブジェクトフィーチャ値」及び訓練コンテキストの第１のフィーチャ値が、第１のクラシファイヤ７１０（「サイズに基づくクラシファイヤ」とも呼ばれる）を訓練するための入力として使用される。他の実施形態では、関連の「サイズ」は、核の直径ではなく、細胞全体の直径である。
加えて、未訓練バージョンの第２のクラシファイヤ７１２、例えばＳＶＭ又は他のいずれかの形態の教師付き学習アルゴリズムは、訓練デジタル画像を解析してすべての核のピクセルブロブを同定し、すべてのピクセルブロブの平均の「青色」の強度値を訓練デジタル画像の第２のコンテキストフィーチャ値として計算することができる。個々のオブジェクトの強度値及び訓練第２のコンテキストフィーチャ値は共に、第２のクラシファイヤ７１２（「青色の強度に基づくクラシファイヤ」とも呼ばれる）を訓練するための入力として使用される。他の実施形態では、関連の「色」は青（ヘマトキシリン）ではなく褐色（例えばＤＡＢ染色）又はグレイスケールの値である。
加えて、未訓練バージョンの第２のクラシファイヤ７１２、例えばＳＶＭ又は他のいずれかの形態の教師付き学習アルゴリズムは、訓練デジタル画像を解析してすべての核のピクセルブロブを同定し、すべてのピクセルブロブの平均の「青色」の強度値を訓練デジタル画像の第２のコンテキストフィーチャ値として計算することができる。個々のオブジェクトの強度値及び訓練第２のコンテキストフィーチャ値は共に、第２のクラシファイヤ７１２（「青色の強度に基づくクラシファイヤ」とも呼ばれる）を訓練するための入力として使用される。他の実施形態では、関連の「色」は青（ヘマトキシリン）ではなく褐色（例えばＤＡＢ染色）又はグレイスケールの値である。
実施形態に応じて、第１及び第２のクラシファイヤは共に、ＳＶＭ、神経回路網、又は他のいずれかの種類のクラシファイヤとすることができる。実施形態によれば、第１及び第２のクラシファイヤの種類は異なる。いくつかの実施形態では、オブジェクトフィーチャに特異的なクラシファイヤの各々によって出力された可能性７１４、７１６を、特定のオブジェクトが特定のクラス（例えば「リンパ球」）に属する最終的な合成された可能性７１８を計算するための入力とする「スーパークラシファイヤ」又は「エンドクラシファイヤ」が提供される。例えば、エンドクラシファイヤは、非線形ＳＶＭクラシファイヤ、例えばガウスカーネルＳＶＭである。可能性７１４、７１６は、オブジェクトが特定のクラスのメンバーである可能性を示すパーセンテージの値又はその他の数値である。
分類フェーズ
一又は複数のオブジェクトフィーチャに特異的なクラシファイヤ７１０、７１２を訓練した後、各分析器を、新しい未知のデジタル画像又はそのサブ領域、例えばユーザにより選択されたＦＯＶに適用する。分類方法は、例えばプロセッサとデジタル画像を格納するメモリ及び／又は非一時的記憶媒体とを備える画像解析システムに実装することができる。画像解析アプリケーションは、特定のオブジェクトが前記クラスのメンバー（例えば「リンパ球」又は「腫瘍細胞」）のメンバーであるか否かを自動的に同定するように構成することができる。
まず、画像解析システム又は第１のクラシファイヤ７１０のサブモジュールが、工程６０２において、デジタル画像内のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析する。次に工程６０４において、画像解析システム又はサブモジュールが、各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャ（「核の直径」）の第１のオブジェクトフィーチャ値７０２を同定するために、デジタル画像を解析する。工程６０２では、デジタル画像は、第１のコンテキストフィーチャ値７０４を同定するために解析される。第１のコンテキストフィーチャ値は、デジタル画像内のオブジェクトのそれぞれの第１のオブジェクトフィーチャ値の、コンテキスト情報、例えばデジタル画像内の複数のオブジェクト又はピクセルのオブジェクトフィーチャ値から導出される「予測される」又は「平均の」第１のオブジェクトフィーチャ値との関連を示す。例えば、特定の第１のオブジェクトフィーチャ値が有する情報と、割り付けられたコンテキストフィーチャ値との組み合わせは、前記オブジェクトの直径が前記デジタル画像内のすべてのオブジェクト（青色のピクセルブロブ）の直径の４５％である。オブジェクトフィーチャ値とそれに関連付けられるコンテキストフィーチャ値の両方は、訓練フェーズでつくられたクラシファイヤのモデルによって評価され、それらは共に「コンテキスト認識フィーチャ」の値、即ちオブジェクトが特定のオブジェクトクラスのメンバーである可能性を示すデータ値に寄与する。特定の画像又はサブ領域の細胞及びオブジェクトが通常より大きい場合、絶対値のみが考慮されるとすれば、したがってリンパ球は「リンパ球クラス」のメンバーとして同定されない可能性がある。しかしながら、関連情報により、他のすべてのオブジェクト（即ち、リンパ球又は腫瘍細胞でありうるピクセルブロブ）と比較した場合のその相対的直径が平均より小さいことから、オブジェクトはリンパ球（典型的には腫瘍細胞より小さなサイズを有する）である可能性が高いと判明する。
一又は複数のオブジェクトフィーチャに特異的なクラシファイヤ７１０、７１２を訓練した後、各分析器を、新しい未知のデジタル画像又はそのサブ領域、例えばユーザにより選択されたＦＯＶに適用する。分類方法は、例えばプロセッサとデジタル画像を格納するメモリ及び／又は非一時的記憶媒体とを備える画像解析システムに実装することができる。画像解析アプリケーションは、特定のオブジェクトが前記クラスのメンバー（例えば「リンパ球」又は「腫瘍細胞」）のメンバーであるか否かを自動的に同定するように構成することができる。
まず、画像解析システム又は第１のクラシファイヤ７１０のサブモジュールが、工程６０２において、デジタル画像内のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析する。次に工程６０４において、画像解析システム又はサブモジュールが、各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャ（「核の直径」）の第１のオブジェクトフィーチャ値７０２を同定するために、デジタル画像を解析する。工程６０２では、デジタル画像は、第１のコンテキストフィーチャ値７０４を同定するために解析される。第１のコンテキストフィーチャ値は、デジタル画像内のオブジェクトのそれぞれの第１のオブジェクトフィーチャ値の、コンテキスト情報、例えばデジタル画像内の複数のオブジェクト又はピクセルのオブジェクトフィーチャ値から導出される「予測される」又は「平均の」第１のオブジェクトフィーチャ値との関連を示す。例えば、特定の第１のオブジェクトフィーチャ値が有する情報と、割り付けられたコンテキストフィーチャ値との組み合わせは、前記オブジェクトの直径が前記デジタル画像内のすべてのオブジェクト（青色のピクセルブロブ）の直径の４５％である。オブジェクトフィーチャ値とそれに関連付けられるコンテキストフィーチャ値の両方は、訓練フェーズでつくられたクラシファイヤのモデルによって評価され、それらは共に「コンテキスト認識フィーチャ」の値、即ちオブジェクトが特定のオブジェクトクラスのメンバーである可能性を示すデータ値に寄与する。特定の画像又はサブ領域の細胞及びオブジェクトが通常より大きい場合、絶対値のみが考慮されるとすれば、したがってリンパ球は「リンパ球クラス」のメンバーとして同定されない可能性がある。しかしながら、関連情報により、他のすべてのオブジェクト（即ち、リンパ球又は腫瘍細胞でありうるピクセルブロブ）と比較した場合のその相対的直径が平均より小さいことから、オブジェクトはリンパ球（典型的には腫瘍細胞より小さなサイズを有する）である可能性が高いと判明する。
工程６０８では、第１のクラシファイヤが、オブジェクトの第１のオブジェクトフィーチャ値と画像の第１のコンテキストフィーチャ値の両方を入力として使用する。第１のクラシファイヤが、オブジェクトの各々について、オブジェクトクラスのメンバーである第１の可能性７１４を自動的に決定するために実行される。
実施形態によれば、画像解析システム又は第２のクラシファイヤ７１２のサブモジュールは、各オブジェクトについて、前記オブジェクトの第２のオブジェクトフィーチャの第２のオブジェクトフィーチャ値７０６を同定するため、及び第２のコンテキストフィーチャ値７０８を計算するために、デジタル画像を解析する。すべてのオブジェクトの第２のオブジェクトフィーチャ値と、第２のオブジェクトフィーチャ値に関連付けられる第２のコンテキストフィーチャ値又は別のコンテキストフィーチャ値は、第２のクラシファイヤ７１２に入力される；上述のように、第２のコンテキストフィーチャ値７０８は第２のオブジェクトフィーチャ値のグループ統計、例えば画像内のすべてのオブジェクトの平均の「青色」の強度値である。第２のクラシファイヤ７１２は、オブジェクトの各々について、オブジェクトクラスのメンバーである可能性７１６を示す強度に基づくコンテキスト認識フィーチャ７１６を自動的に決定する。
合成された可能性の計算
画像解析システムは、すべてのオブジェクトフィーチャに特異的なクラシファイヤの計算された可能性を、合成された可能性７１８を計算するための入力とするプログラムロジックの一部、例えばエンドクラシファイヤ又は可能性を集計するように構成された他のいずれかのプログラムロジックを備えるか、又はそれに動作可能に連結される。いくつかの実施形態では、エンドクラシファイヤは、さらに追加のオブジェクトフィーチャ（コンテキストフィーチャを含まない）を、合成された可能性（「全体」）を計算するための入力とする。合成された可能性は、特定のオブジェクトが特定のオブジェクトクラス、例えば「リンパ球」のメンバーである可能性全体を示す。合成された可能性が閾値、例えば５０％を超える場合、オブジェクトはそれぞれのオブジェクトクラス、例えば「リンパ球」のメンバーであるとして自動的に同定される。
いくつかの実施形態によれば、合成された可能性７１８は、すべてのオブジェクトフィーチャに特異的な可能性の算術的ミーン値、例えば（サイズに基づく可能性７１４＋青色の強度に基づくメンバーシップの可能性７１６）／２として計算される。他の実施形態によれば、合成された可能性７１８の計算はもっと複雑である。例えば、オブジェクトフィーチャに特異的な可能性７１０、７１２は、それぞれのオブジェクトフィーチャの予測力に従って重み付けすることができ、それにより重みは事前に規定されるか又は合成された可能性を計算するエンドクラシファイヤの訓練フェーズの間に自動的に決定される。データ値７１４、７１６を、可能性の値でなく、オブジェクトが特定のクラスに属する可能性を示す他の形態の数値とすることも可能である。
画像解析システムは、すべてのオブジェクトフィーチャに特異的なクラシファイヤの計算された可能性を、合成された可能性７１８を計算するための入力とするプログラムロジックの一部、例えばエンドクラシファイヤ又は可能性を集計するように構成された他のいずれかのプログラムロジックを備えるか、又はそれに動作可能に連結される。いくつかの実施形態では、エンドクラシファイヤは、さらに追加のオブジェクトフィーチャ（コンテキストフィーチャを含まない）を、合成された可能性（「全体」）を計算するための入力とする。合成された可能性は、特定のオブジェクトが特定のオブジェクトクラス、例えば「リンパ球」のメンバーである可能性全体を示す。合成された可能性が閾値、例えば５０％を超える場合、オブジェクトはそれぞれのオブジェクトクラス、例えば「リンパ球」のメンバーであるとして自動的に同定される。
いくつかの実施形態によれば、合成された可能性７１８は、すべてのオブジェクトフィーチャに特異的な可能性の算術的ミーン値、例えば（サイズに基づく可能性７１４＋青色の強度に基づくメンバーシップの可能性７１６）／２として計算される。他の実施形態によれば、合成された可能性７１８の計算はもっと複雑である。例えば、オブジェクトフィーチャに特異的な可能性７１０、７１２は、それぞれのオブジェクトフィーチャの予測力に従って重み付けすることができ、それにより重みは事前に規定されるか又は合成された可能性を計算するエンドクラシファイヤの訓練フェーズの間に自動的に決定される。データ値７１４、７１６を、可能性の値でなく、オブジェクトが特定のクラスに属する可能性を示す他の形態の数値とすることも可能である。
図８は、マージン最大化超平面と二つのオブジェクトクラス（リンパ球及び腫瘍細胞）由来の試料で訓練されたＳＶＭのマージンを示している。
その内容を分類するべき訓練デジタル画像内の各ピクセルブロブとデジタル画像内の各オブジェクトは、ｐ次元のデータ点としてあらわすことができ、この場合オブジェクトクラスの各オブジェクトフィーチャは一次元に対応する。
ＳＶＭを訓練することは、クラス内のばらつきが最小化されたデータ点のそれぞれのオブジェクトフィーチャ値に従ってデータ点を分離することのできるｐ−１次元の超平面を同定することを意味する。訓練されたＳＶＭは線形クラシファイヤを表わす。データを分類しうる多くの超平面が存在する。最良の超平面としての一つの妥当な選択は、二つのクラス間に最大の分離、又はマージンを表すものである。したがって、超平面は、各側の最寄りのデータ点までの距離が最大となるように選択される。このような超平面が存在する場合、それは最大マージン超平面として知られ、結果として得られる「訓練された」ＳＶＭは、最大マージンクラシファイヤとも呼ばれる線形クラシファイヤである。
ＳＶＭを訓練することは、クラス内のばらつきが最小化されたデータ点のそれぞれのオブジェクトフィーチャ値に従ってデータ点を分離することのできるｐ−１次元の超平面を同定することを意味する。訓練されたＳＶＭは線形クラシファイヤを表わす。データを分類しうる多くの超平面が存在する。最良の超平面としての一つの妥当な選択は、二つのクラス間に最大の分離、又はマージンを表すものである。したがって、超平面は、各側の最寄りのデータ点までの距離が最大となるように選択される。このような超平面が存在する場合、それは最大マージン超平面として知られ、結果として得られる「訓練された」ＳＶＭは、最大マージンクラシファイヤとも呼ばれる線形クラシファイヤである。
実施形態によれば、第１、第２及び／又はさらなるクラシファイヤは線形ＳＶＭクラシファイヤである。
いくつかの訓練データ
がある場合、式
［式中、
は１又は−１である］の１セットのデータ点は、データ点
が属するオブジェクトクラスを示す。一つのデータ点は、例えば、訓練画像内の一つのピクセルブロブであるか、又は解析される試験画像内の一つのオブジェクトである。オブジェクトは、例えば、任意の種類の細胞型の核又は細胞を同定する汎用核検出又は細胞検出アルゴリズムの出力とすることができる。
各データ点
は、
−次元の実ベクトルである。
各次元は、同定されるオブジェクトクラスのオブジェクトフィーチャ又は関連するコンテキストフィーチャ、例えば「絶対核直径」と「画像内のすべての核ブロブの核直径のメジアン値」；又は「絶対青色強度」と「画像内のすべての核ブロブの青色強度のメジアン値」；又は「絶対的な核ブロブの丸み」と「画像内のすべての核ブロブの平均的な核の丸み」；又は「次の隣接細胞までの絶対距離」と「次の隣接細胞までの平均距離」などに対応する。画像内のすべての核ブロブがオブジェクトとして考慮されず、すべての核ブロブのサブセットがオブジェクトとして考慮されてもよい。例えば、最小サイズ又は最大強度値のすべての核ブロブを、選択的にオブジェクトとして考慮することができる。
いくつかの訓練データ
がある場合、式
［式中、
は１又は−１である］の１セットのデータ点は、データ点
が属するオブジェクトクラスを示す。一つのデータ点は、例えば、訓練画像内の一つのピクセルブロブであるか、又は解析される試験画像内の一つのオブジェクトである。オブジェクトは、例えば、任意の種類の細胞型の核又は細胞を同定する汎用核検出又は細胞検出アルゴリズムの出力とすることができる。
各データ点
は、
−次元の実ベクトルである。
各次元は、同定されるオブジェクトクラスのオブジェクトフィーチャ又は関連するコンテキストフィーチャ、例えば「絶対核直径」と「画像内のすべての核ブロブの核直径のメジアン値」；又は「絶対青色強度」と「画像内のすべての核ブロブの青色強度のメジアン値」；又は「絶対的な核ブロブの丸み」と「画像内のすべての核ブロブの平均的な核の丸み」；又は「次の隣接細胞までの絶対距離」と「次の隣接細胞までの平均距離」などに対応する。画像内のすべての核ブロブがオブジェクトとして考慮されず、すべての核ブロブのサブセットがオブジェクトとして考慮されてもよい。例えば、最小サイズ又は最大強度値のすべての核ブロブを、選択的にオブジェクトとして考慮することができる。
訓練フェーズの間に、
を有する点を、
を有する点から分離する最大マージン超平面が同定されなければならない。いずれの超平面も、点のセット
として記述することができ、このセットは、
［式中、
は点乗算を表し、
は超平面に対する（必ずしも正規化されていない）法線ベクトルを表す］を満たす。パラメータ
は、原点からの法線ベクトル
に沿った超平面のオフセットを決定する。
訓練データが線形分離される場合、間に点を有さない、データを分離する二つの超平面が選択され、前記超平面の距離が最大化される。それらにより画定される区域は、「マージン」と呼ばれる。三つの超平面は、等式
及び
により記載することができる。
を有する点を、
を有する点から分離する最大マージン超平面が同定されなければならない。いずれの超平面も、点のセット
として記述することができ、このセットは、
［式中、
は点乗算を表し、
は超平面に対する（必ずしも正規化されていない）法線ベクトルを表す］を満たす。パラメータ
は、原点からの法線ベクトル
に沿った超平面のオフセットを決定する。
訓練データが線形分離される場合、間に点を有さない、データを分離する二つの超平面が選択され、前記超平面の距離が最大化される。それらにより画定される区域は、「マージン」と呼ばれる。三つの超平面は、等式
及び
により記載することができる。
幾何学を使用することにより、これら二つの超平面間の距離は
であり、これにより
が最小化される。データ点がマージン内に入らないようにするために、以下の定数を加える：各
について、
第１のオブジェクトクラスの
又は
第２のオブジェクトクラスの
これは、以下のように記述することができる：
であり、これにより
が最小化される。データ点がマージン内に入らないようにするために、以下の定数を加える：各
について、
第１のオブジェクトクラスの
又は
第２のオブジェクトクラスの
これは、以下のように記述することができる：
したがって、最適化の問題は、以下のように定式化することができる：
（任意の
について）
に従い、（ｉｎ
）
を最小化する。
この最適化問題は、それが平方根を含む
，
のノルムに依存するため、困難である。幸いなことに、解を変更することなく（元の等式と修正された等式の最小値は同じ
及び
を有する）、
を
で置換することにより（数学的利便性のために係数
が使用される）等式を変更することが可能である。これは、二次計画最適化の問題である。さらに明瞭には：
であり、これは（任意の
について）
に従う。
ラグランジュ乗数
を導入することにより、以前の制約型問題は、
と表現することができる。
（任意の
について）
に従い、（ｉｎ
）
を最小化する。
この最適化問題は、それが平方根を含む
，
のノルムに依存するため、困難である。幸いなことに、解を変更することなく（元の等式と修正された等式の最小値は同じ
及び
を有する）、
を
で置換することにより（数学的利便性のために係数
が使用される）等式を変更することが可能である。これは、二次計画最適化の問題である。さらに明瞭には：
であり、これは（任意の
について）
に従う。
ラグランジュ乗数
を導入することにより、以前の制約型問題は、
と表現することができる。
これは、サドル点を検索することに相当する。これを行う際、
として分離することのできるすべての点は、対応する
をゼロに設定することが必要であるため、無関係である。この問題は、標準的な二次計画技術及びプログラムにより解決できる。「固定の」カルーシュ−クーン−タッカー条件は、解が訓練ベクトル
の一次結合として表現できることを示している。
として分離することのできるすべての点は、対応する
をゼロに設定することが必要であるため、無関係である。この問題は、標準的な二次計画技術及びプログラムにより解決できる。「固定の」カルーシュ−クーン−タッカー条件は、解が訓練ベクトル
の一次結合として表現できることを示している。
ゼロより大きい
数個のみであろう。対応する
はまさしくサポートベクトルであり、マージン上に位置し、
を満たす。このことから、サポートベクトルも
を満たすことを導くことができ、これによりオフセット
を規定することができる。
は
及び
に依存し、したがって試料内の各データ点について変動する。実際には、すべての
サポートベクトルを平均化することがよりロバストである。というのは、試料の平均が、集団のミーン値の不偏推定量：
であるためである。
数個のみであろう。対応する
はまさしくサポートベクトルであり、マージン上に位置し、
を満たす。このことから、サポートベクトルも
を満たすことを導くことができ、これによりオフセット
を規定することができる。
は
及び
に依存し、したがって試料内の各データ点について変動する。実際には、すべての
サポートベクトルを平均化することがよりロバストである。というのは、試料の平均が、集団のミーン値の不偏推定量：
であるためである。
例えば、オブジェクトフィーチャ「核の直径」に関するクラシファイヤの訓練フェーズの間に、超平面に対する法線ベクトル「ｗ」を、
［式中、
が腫瘍細胞である場合
であり、
がリンパ球である場合
である］に従って計算することができる。各データ点
は、２次元の実ベクトル
であり、
はｉ番目のオブジェクトの核の直径の値であり、
は、
が属する画像内のすべてのオブジェクトの核の平均直径である。
［式中、
が腫瘍細胞である場合
であり、
がリンパ球である場合
である］に従って計算することができる。各データ点
は、２次元の実ベクトル
であり、
はｉ番目のオブジェクトの核の直径の値であり、
は、
が属する画像内のすべてのオブジェクトの核の平均直径である。
（ｉ＝１、２、…、ｎ）が、複数の異なる画像に由来するものでありうることに注意されたい。各画像は対応する
値を有し、この値は同じ画像に属するすべてのデータ点に同じであるが、画像間では変動しうる。
結果として、「ｗ」も２次元の実ベクトルであり、［−８．６９ ２．８５］である。
オフセット「ｂ」は、
に従って計算され、これは実数であり、−１．０７である。
オフセット「ｂ」は、
に従って計算され、これは実数であり、−１．０７である。
次いで、「核の直径」のオブジェクトフィーチャについて訓練されたＳＶＭクラシファイヤを使用して、デジタル画像内のオブジェクトをリンパ球又は腫瘍細胞に分類する。画像は１４４のオブジェクトを含みうる。オブジェクトは、典型的には異なる細胞型の核又は細胞を区別しない従来の核検出アルゴリズム、ブロブ検出アルゴリズム、細胞検出アルゴリズムなどにより得られたものである。
オブジェクト「＃１５」を分類するために、以下の工程が実施される：
オブジェクト＃１５の核の直径：５．３４μｍを同定する；前記データ値は、オブジェクトの「プロパティ値」又は「オブジェクトフィーチャ値」とも呼ばれる。
画像内のすべてのオブジェクトの核の平均直径を同定する：画像内の１４４のオブジェクトのすべての直径の和）／１４４＝（８６６．８８μｍ）／１４４＝６．０２μｍ。
オブジェクト＃１５の核の直径：５．３４μｍを同定する；前記データ値は、オブジェクトの「プロパティ値」又は「オブジェクトフィーチャ値」とも呼ばれる。
画像内のすべてのオブジェクトの核の平均直径を同定する：画像内の１４４のオブジェクトのすべての直径の和）／１４４＝（８６６．８８μｍ）／１４４＝６．０２μｍ。
次いで、オブジェクト＃＋１５が腫瘍細胞である、サイズに基づく可能性が、特定のオブジェクトが属している可能性が最も高いオブジェクトクラスを示す「コンテキスト認識フィーチャ」を計算することにより計算される。例えば、コンテキスト認識フィーチャ（ＣＡＷ）の値は次のように計算することができる：
ＣＡＷ（サイズ、＃１５）＝−１．０７−８．６９＊＃１５の核の直径＋２．８５＊画像の平均的な核の直径
ＣＡＷ（サイズ、＃１５）＝−１．０７−８．６９＊５．３４μｍ＋２．８５＊６．０２μｍ＝−１．０７−４６，４０［μｍ］＋１７，１６［μｍ］＝−３０，３１。
これにより、単位［μｍ］は無視される。「画像の平均的な核の直径」は、「コンテキストフィーチャ」又は「コンテキストフィーチャ」とも呼ばれる。上記等式は、訓練されたＳＶＭクラシファイヤの「モデル」と呼ぶこともできる。
ＣＡＷ（サイズ、＃１５）＝−１．０７−８．６９＊＃１５の核の直径＋２．８５＊画像の平均的な核の直径
ＣＡＷ（サイズ、＃１５）＝−１．０７−８．６９＊５．３４μｍ＋２．８５＊６．０２μｍ＝−１．０７−４６，４０［μｍ］＋１７，１６［μｍ］＝−３０，３１。
これにより、単位［μｍ］は無視される。「画像の平均的な核の直径」は、「コンテキストフィーチャ」又は「コンテキストフィーチャ」とも呼ばれる。上記等式は、訓練されたＳＶＭクラシファイヤの「モデル」と呼ぶこともできる。
上記の式は、訓練プロセスの間に導出された超平面までのデータ点の距離を計算する。値が大きい程（＞＞０）オブジェクトがリンパ球である可能性が高い。値が低い程（＜＜０）オブジェクトが腫瘍細胞である可能性が高い。０に近い値は、曖昧性が高いことを示すが、値が＞０であるか又は＜０をチェックし、オブジェクトを分類することにより、それでも判断を行うことができる。
ｗ［−８．６９ ２．８５］の値も、モデルの有効性を示す。第１に、核の直径（−８．６９）に付与された重みが最大の絶対値を有し、これは可能性に最も大きな影響を与えるのは核の直径であることを示す。第２に、核の直径が大きい程かつ平均的な核の直径が小さい程、腫瘍細胞である可能性が高く；二つのパラメータの符号が反対であることにより、訓練プロセスを通して「補償」メカニズムが学習されたことが示される。換言すれば、オブジェクトが極めて大きな絶対的な核の直径を有するとしても、画像内の大部分の核はかなり大きいので、腫瘍である可能性は、大部分の核が小さい場合より低いであろう。ここで、絶対的な核の直径と平均的な核の直径との相対的関連は、パーセンテージ又は差異により明確に特徴付けられず、導出されたモデルにより、二つの量を線形に合成してリンパ球から腫瘍細胞を最適に分離する方法が分かる。
一実施例として、図１は、ＥＲ染色された四つの乳がん画像を示している。陽性に発現した、ＤＡＢ染色されたがん細胞は褐色に、陰性に発現したがん細胞とリンパ球は、どちらもヘマトキシリンで染色されて青色に、それぞれ現れている（グレイスケールに表示された画像では色は示されない）。一方、同じ画像内の陰性がん細胞と比較して、リンパ球は概して暗色であり、かつサイズが小さい（図１（ａ）（ｂ））；画像間の比較を行うと、（ｂ）（ｄ）のヘマトキシリン染色は（ａ）（ｃ）より強く、リンパ球分布率は（ａ）（ｂ）の方が（ｃ）（ｄ）より強い。
したがって、サイズ及びヘマトキシリン（青色）染色強度は、クラシファイヤを訓練し適用するためのオブジェクトフィーチャとして使用することができる。
後述では、これら問題に対処するために、提案される方法を発展させる。
第１の工程では、褐色及び青色のブロブが、色デコンボリューション［９］によりそれぞれ得られる未混合ＤＡＢ及びヘマトキシリンチャネルにおける適応型閾値処理により検出される。画像内において、リンパ球が、概ね「比較的小さく、丸みを帯びて、暗い青色のブロブ」として現れるという観察に基づき、サイズ、青の暗さ、及びブロブ形状に関するフィーチャと、近隣のテクスチャとが、手作業によりオブジェクトフィーチャとして選択される。サイズは、オブジェクト内のピクセルの総数として定義され；青の暗さは、ヘマトキシリンチャネルから得られたガウス差（ＤｏＧ）画像内のオブジェクトのミーン強度によって特徴付けられる。
例えば、サイズは第１のオブジェクトフィーチャであり、青の暗さは第２のオブジェクトフィーチャとして使用される。
第２の工程では、コンテキストフィーチャはサイズについてのみ選択され、それらの画像間のばらつきとして青の暗さが最も顕著であることが観察される。サイズのコンテキストフィーチャは、画像内のすべての褐色のブロブのメジアン値サイズであると判断され、これを腫瘍細胞のサイズの予測と呼ぶ。褐色のブロブは、青色のブロブのサイズ統計がリンパ球の分布率に依存し、画像間で大きく変動しうるため、好ましい。
この特定の実施例では、画像内の「褐色のブロブ」がコンテキストフィーチャを計算するためのオブジェクトとして使用される。褐色のブロブは、実際には主に腫瘍細胞核である。非常に稀なケースのみにおいて、リンパ球の核が褐色に染色されることがある。したがって、褐色ブロブのメジアン値サイズは、腫瘍細胞核サイズのミーン値の良好な推定値である。
この特定の実施例では、画像内の「褐色のブロブ」がコンテキストフィーチャを計算するためのオブジェクトとして使用される。褐色のブロブは、実際には主に腫瘍細胞核である。非常に稀なケースのみにおいて、リンパ球の核が褐色に染色されることがある。したがって、褐色ブロブのメジアン値サイズは、腫瘍細胞核サイズのミーン値の良好な推定値である。
画像内に褐色のブロブが存在しない場合、青色のブロブのサイズのＯｔｓｕ閾値［１３］を使用することができ、最終的なＥＲスコアに何の影響もない（ゼロである）。青色の暗さの場合、コンテキストフィーチャは、腫瘍細胞のサイズの推定値よりサイズの大きいすべての青のブロブのヘマトキシリンチャネル強度のミーン値である。これを、腫瘍細胞染色の推定値と呼ぶ。
褐色のブロブのサイズ統計より信頼性は低いが、Ｏｔｓｕ閾値は、複数の異なるミーン値の周囲にオブジェクトフィーチャ値が近接して分布しているグループを妥当に分離することができる。この特定の実施例では、最も関連性の高いコンテクスチャフィーチャ、即ち、「がん細胞サイズの推定値」を導出するために、予備知識を使用してオブジェクトのグループを同定する。もっと汎用性の高い事例では、そのような予備知識が利用できないとき、画像内のすべてのオブジェクトの統計又はデジタル画像の何らかのヒストグラム情報を、コンテキストフィーチャとして直接使用することができる。
次の工程では、二つの線形ＳＶＭクラシファイヤが、上記において選択されたオブジェクト及びコンテキストフィーチャを用いて、それぞれコンテキスト認識サイズ及びコンテキスト認識青色の暗さフィーチャを計算するように訓練される。線形ＳＶＭは、結果として得られるモデルが入力されたフィーチャの一次結合に帰着するため、適合され、それによりコンテキスト認識フィーチャの計算が極めて容易となる。これにより、各フィーチャの重みがそのフィーチャの重要性を示し、重みの符号がオブジェクトフィーチャとコンテキストフィーチャがどのように干渉し合うかを反映するため、フィーチャ関連の解析も単純化される。
最後に、エンド線形ＳＶＭクラシファイヤが、コンテキスト認識サイズ、コンテキスト認識青色の暗さ及び元の形状とテクスチャフィーチャとを用いて訓練される。上記工程は図２に示されている。
提案される方法は、画像間のばらつきに対するフィーチャのロバスト性を向上させるために使用される。すべてのオブジェクトフィーチャ及びコンテキストフィーチャが単一のエンドクラシファイヤに供給されるアプローチと比較して、別個のクラシファイヤを使用することにより、ユーザは、特定のフィーチャに関連付けられる問題に具体的に対処することができる。ユーザは、異なるフィーチャのために異なるクラシファイヤを選択し、かつコンテキストフィーチャの設計を変更する柔軟性も有し、これにより予備知識の取り込みが容易になる。方法は、さらに複雑な生物学的プロパティを記載するために語義レベルのフィーチャを生成するように拡張することができる。
結果
合計で２１０の視野（ＦＯＶ）画像が、８１のスライド全体（ＷＳ）のＥＲ染色した乳がん画像から抽出され、その中で陰性腫瘍細胞とリンパ球が手作業により訓練データとして注釈付けされた。コンテキスト認識サイズ及びコンテキスト認識青色の暗さの両方を計算するように訓練された線形ＳＶＭモデルは、オブジェクトフィーチャが最大の重みを取ることを示し、このことは、結果として得られるコンテキスト認識フィーチャが通常、対応するオブジェクトフィーチャと同じプロパティを説明することを示す。一方、コンテキストフィーチャの重みは、オブジェクトフィーチャとは反対の符号を有し、このことは、訓練により補償メカニズムが学習されることを示す。この方法を確認するために、９３の試験ＦＯＶを、さらに３１のスライド全体画像から抽出し、手作業により同様に注釈付ける。ＲＯＣ曲線が、各フィーチャの説明力並びにエンドクラシファイヤの性能を評価するために使用され、この場合ｘ軸が一方のクラスの偽の分類比であり、ｙ軸が他方のクラスの真の分類比である。
合計で２１０の視野（ＦＯＶ）画像が、８１のスライド全体（ＷＳ）のＥＲ染色した乳がん画像から抽出され、その中で陰性腫瘍細胞とリンパ球が手作業により訓練データとして注釈付けされた。コンテキスト認識サイズ及びコンテキスト認識青色の暗さの両方を計算するように訓練された線形ＳＶＭモデルは、オブジェクトフィーチャが最大の重みを取ることを示し、このことは、結果として得られるコンテキスト認識フィーチャが通常、対応するオブジェクトフィーチャと同じプロパティを説明することを示す。一方、コンテキストフィーチャの重みは、オブジェクトフィーチャとは反対の符号を有し、このことは、訓練により補償メカニズムが学習されることを示す。この方法を確認するために、９３の試験ＦＯＶを、さらに３１のスライド全体画像から抽出し、手作業により同様に注釈付ける。ＲＯＣ曲線が、各フィーチャの説明力並びにエンドクラシファイヤの性能を評価するために使用され、この場合ｘ軸が一方のクラスの偽の分類比であり、ｙ軸が他方のクラスの真の分類比である。
例えば、訓練された線形ＳＶＭモデルは以下を計算する：
コンテキスト認識サイズ＝−１．９６−８．３７＊サイズ＋１．５３＊がん細胞のサイズの推定値、即ち、
ｗ＝［−８．３７ １．５３］、ｂ＝−１．９６；
及び
コンテキスト認識青色の暗さ＝１．７０＋８．２２＊青色の暗さ−４．２８＊がん細胞染色の推定値、即ちＡ、ｗ＝［８．２２ −４．２８］、ｂ＝１．７０。
コンテキスト認識サイズ＝−１．９６−８．３７＊サイズ＋１．５３＊がん細胞のサイズの推定値、即ち、
ｗ＝［−８．３７ １．５３］、ｂ＝−１．９６；
及び
コンテキスト認識青色の暗さ＝１．７０＋８．２２＊青色の暗さ−４．２８＊がん細胞染色の推定値、即ちＡ、ｗ＝［８．２２ −４．２８］、ｂ＝１．７０。
両方のモデルにおいて、オブジェクトフィーチャが最大の重みを取り、これが最も重要なフィーチャであり；したがって、結果として得られるコンテキスト認識フィーチャは通常、対応するオブジェクトフィーチャと同じプロパティを表すことを示す。
図３に示すように、コンテキスト認識フィーチャの説明力は、訓練データと試験データの両方について、元のオブジェクトフィーチャより明らかに大きい。図３のａ１は図１のａ１に対応している。図３のａ２は図１のａ２に対応している。図３のｂ１は図１のｂ１に対応している。図３のｂ２は図１のｂ２に対応している。図３のＲＯＣ曲線はしたがって、それぞれのフィーチャ（「プロパティ」）に基づいてクラシファイヤを訓練すること、及び訓練されたクラシファイヤを未知のデジタル画像に適用することによる、精度の向上を示している。
また、コンテキスト認識フィーチャを使用するエンドクラシファイヤは、元のオブジェクトフィーチャを使用するものを性能において凌駕する（図４）。図４は、すべての個々の、オブジェクトフィーチャに特異的な可能性によって提供される可能性から合成された可能性を計算することにより提供される精度を示すＲＯＣ曲線を示している。
結論
画像間の染色のばらつき及び生物学的ばらつきは、病理組織画像の量的解析について大きな困難性を課す。画像間における染色の見た目の一貫性を向上させようとする色分布アラインメントのアプローチは、クラス間の色の差異がわずかであり；色分布の差異が染色のばらつきではなくオブジェクト分布率によって生じている場合、分類の問題に適さない。本明細書は、標準的なクラシファイヤの利用によりオブジェクトフィーチャとコンテキストフィーチャを取り込む汎用方法を記載しており、画像間のばらつきについて補償されたコンテキスト認識フィーチャを導出するために学習モデルが使用される。この方法を使用して、広範なフィーチャのばらつき問題に対処することができる。方法の有効性は、ＥＲ染色された乳がん画像の解析に関する核分類の問題において実証される。
画像間の染色のばらつき及び生物学的ばらつきは、病理組織画像の量的解析について大きな困難性を課す。画像間における染色の見た目の一貫性を向上させようとする色分布アラインメントのアプローチは、クラス間の色の差異がわずかであり；色分布の差異が染色のばらつきではなくオブジェクト分布率によって生じている場合、分類の問題に適さない。本明細書は、標準的なクラシファイヤの利用によりオブジェクトフィーチャとコンテキストフィーチャを取り込む汎用方法を記載しており、画像間のばらつきについて補償されたコンテキスト認識フィーチャを導出するために学習モデルが使用される。この方法を使用して、広範なフィーチャのばらつき問題に対処することができる。方法の有効性は、ＥＲ染色された乳がん画像の解析に関する核分類の問題において実証される。
参考文献
[1]American Cancer Association, "Tumor Markers Fact Sheet". Available at http://www.cancer.gov/about-cancer/diagnosis-staging/diagnosis/tumor-markers-fact-sheet
[2] J. Shawe-Taylor, N. Cristianini, [Kernel methods for pattern analysis], Cambridge University Press, Cambridge, UK (2004).
[3] Breiman, Leo, "Random Forests," Machine Learning 45 (1), 5-32 (2001)
[4] Gurcan, M. N., Boucheron, L. E., Can, A., Madabhushi, A., Rajpoot, N. M., and Yener, B., "Histopathological image analysis: A review," Biomedical Engineering, IEEE Reviews in 2, pp. 147-171 (2009).
[5] Macenko, M., Niethammer, M., Marron, J., Borland, D.,Woosley, J. T., Guan, X., Schmitt, C., and Thomas, N. E., "A method for normalizing histology slides for quantitative analysis," in Biomedical Imaging: From Nano to Macro, 2009.ISBI’09.IEEE International Symposium on, pp. 1107-1110, IEEE (2009).
[6] Bagc1, U. and Bai, L., "Registration of standardized histological images in feature space," in Proc.SPIE Medical Imaging 6914, pp. 69142V-1 (2008).
[7] Basavanhally, A. and Madabhushi, A., "Em-based segmentation-driven color standardization of digitized histopathology," in Proc.SPIE Medical Imaging, pp. 86760G-86760G, International Society for Optics and Photonics (2013).
[8] B.E.Bejnordi, N. Timofeeva, I. Otte-Holler, N. Karssemeijer and J. AWM van der Laak, "Quantitative analysis of stain variability in histology slides and an algorithm for standardization," in Proc.SPIE 9041, Medical Imaging 2014: Digital Pathology, 904108 (March 20, 2014); doi: 10.1117/12.2043683.
[9] Ruifrok, A. C. and Johnston, D. A., "Quantification of histochemical staining by color deconvolution.," Analytical and quantitative cytology and histology / the International Academy of Cytology [and] American, Society of Cytology 23 (4), pp. 291-299 (2001).
[10] O. Dor and Y. Reich, "Enhancing learning algorithms to support data with short sequence features by automated features discovery," Knowledge-Based Systems, v52, pp. 114-132 (2013).
[11] Peng, H.C., Long, F., and Ding, C., "Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 8, pp. 1226-1238, 2005.
[12] M. Sezgin and B. Sankur (2004)."Survey over image thresholding techniques and quantitative performance evaluation".Journal of Electronic Imaging 13 (1): 146-165.
[13] Nobuyuki Otsu (1979) "A threshold selection method from gray-level histograms" IEEE Trans.Sys., Man., Cyber.9 (1): 62-66. Doi:0.1109/TSMC.1979.4310076
[1]American Cancer Association, "Tumor Markers Fact Sheet". Available at http://www.cancer.gov/about-cancer/diagnosis-staging/diagnosis/tumor-markers-fact-sheet
[2] J. Shawe-Taylor, N. Cristianini, [Kernel methods for pattern analysis], Cambridge University Press, Cambridge, UK (2004).
[3] Breiman, Leo, "Random Forests," Machine Learning 45 (1), 5-32 (2001)
[4] Gurcan, M. N., Boucheron, L. E., Can, A., Madabhushi, A., Rajpoot, N. M., and Yener, B., "Histopathological image analysis: A review," Biomedical Engineering, IEEE Reviews in 2, pp. 147-171 (2009).
[5] Macenko, M., Niethammer, M., Marron, J., Borland, D.,Woosley, J. T., Guan, X., Schmitt, C., and Thomas, N. E., "A method for normalizing histology slides for quantitative analysis," in Biomedical Imaging: From Nano to Macro, 2009.ISBI’09.IEEE International Symposium on, pp. 1107-1110, IEEE (2009).
[6] Bagc1, U. and Bai, L., "Registration of standardized histological images in feature space," in Proc.SPIE Medical Imaging 6914, pp. 69142V-1 (2008).
[7] Basavanhally, A. and Madabhushi, A., "Em-based segmentation-driven color standardization of digitized histopathology," in Proc.SPIE Medical Imaging, pp. 86760G-86760G, International Society for Optics and Photonics (2013).
[8] B.E.Bejnordi, N. Timofeeva, I. Otte-Holler, N. Karssemeijer and J. AWM van der Laak, "Quantitative analysis of stain variability in histology slides and an algorithm for standardization," in Proc.SPIE 9041, Medical Imaging 2014: Digital Pathology, 904108 (March 20, 2014); doi: 10.1117/12.2043683.
[9] Ruifrok, A. C. and Johnston, D. A., "Quantification of histochemical staining by color deconvolution.," Analytical and quantitative cytology and histology / the International Academy of Cytology [and] American, Society of Cytology 23 (4), pp. 291-299 (2001).
[10] O. Dor and Y. Reich, "Enhancing learning algorithms to support data with short sequence features by automated features discovery," Knowledge-Based Systems, v52, pp. 114-132 (2013).
[11] Peng, H.C., Long, F., and Ding, C., "Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 8, pp. 1226-1238, 2005.
[12] M. Sezgin and B. Sankur (2004)."Survey over image thresholding techniques and quantitative performance evaluation".Journal of Electronic Imaging 13 (1): 146-165.
[13] Nobuyuki Otsu (1979) "A threshold selection method from gray-level histograms" IEEE Trans.Sys., Man., Cyber.9 (1): 62-66. Doi:0.1109/TSMC.1979.4310076
結論
画像間の染色のばらつき及び生物学的ばらつきは、病理組織画像の量的解析について大きな困難性を課す。画像間における染色の見た目の一貫性を向上させようとする色分布アラインメントのアプローチは、クラス間の色の差異がわずかであり；色分布の差異が染色のばらつきではなくオブジェクト分布率によって生じている場合、分類の問題に適さない。本明細書は、標準的なクラシファイヤの利用によりオブジェクトフィーチャとコンテキストフィーチャを取り込む汎用方法を記載しており、画像間のばらつきについて補償されたコンテキスト認識フィーチャを導出するために学習モデルが使用される。この方法を使用して、広範なフィーチャのばらつき問題に対処することができる。方法の有効性は、ＥＲ染色された乳がん画像の解析に関する核分類の問題において実証される。
＜さらなる実施態様＞
［実施態様１］
生物学的試料の画像（１０２、１０４、１０６、１０８）内のオブジェクトのコンテキスト認識フィーチャ（２１６、２１８、７１４、７１６）を自動的に計算する方法であって、クラシファイヤ機能（２１０、２１２、７１０、７１２）を実施するようにプログラムされた生体画像解析デバイス上において画像を解析することを含み、クラシファイヤ機能は、オブジェクトの少なくとも一つのコンテキスト認識フィーチャを：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャ（２０２、２０６、７０２、７０６）であって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャ（２０４、２０８、７０４、７０８）であって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより計算する、方法。
［実施態様２］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより同定される、実施態様１に記載の方法。
［実施態様３］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様１又は２に記載の方法。
［実施態様４］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様１から３のいずれか一項に記載の方法。
［実施態様５］
−コンテキスト認識フィーチャが、クラシファイヤ機能により生成される数値であって、オブジェクトがあるクラスに属する度合いを表す数値を表し、及び／又は
−画像が生物学的試料の画像若しくは組織スライド全体であるか、又は画像が生物学的試料の画像の小区域若しくは組織スライド全体である、
実施態様１から４のいずれか一項に記載の方法。
［実施態様６］
画像から少なくとも一つのオブジェクトフィーチャと少なくとも一つのコンテキストフィーチャとを抽出するために、画像解析デバイスにより画像を自動的に又は半自動的に解析することをさらに含む、実施態様１から５のいずれか一項に記載の方法。
［実施態様７］
少なくとも一つのコンテキスト認識フィーチャの計算が、クラシファイヤ機能により、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じるオブジェクトフィーチャのばらつきを平均化するためのコンテキストフィーチャを使用することを含む、実施態様１から６のいずれか一項に記載の方法。
［実施態様８］
さらに：
−画像を解析し、少なくとも一つのコンテキストフィーチャを、画像内の複数のオブジェクトのオブジェクトフィーチャから導出されるものとして、又は複数のオブジェクトの別のオブジェクトフィーチャから導出されるものとして、又は画像の複数のピクセルから導出されるものとして、計算すること
を含む、実施態様１から７のいずれか一項に記載の方法。
［実施態様９］
さらに：
−画像を解析してさらなるクラシファイヤ機能を実施すること
を含み、さらなるクラシファイヤ機能は、オブジェクトの少なくとも一つのさらなるコンテキスト認識フィーチャを：
−オブジェクトから、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易い少なくとも一つのさらなるオブジェクトフィーチャを抽出すること；及び
−さらなるオブジェクトフィーチャに関連付けられる少なくとも一つのさらなるコンテキストフィーチャであって、各々が、さらなるオブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示すさらなるコンテキストフィーチャを抽出すること、
−少なくとも一つのさらなるオブジェクトフィーチャと少なくとも一つのさらなるコンテキストフィーチャを組み合わせること
により計算する、実施態様１から８のいずれか一項に記載の方法。
［実施態様１０］
さらに：
−未訓練バージョンのクラシファイイング機能を、正確に一つのオブジェクトフィーチャと前記一つのオブジェクトフィーチャに関連付けられる一又は複数のコンテキストフィーチャとについて訓練することにより、前記クラシファイヤ機能を生成することであって、クラシファイヤ機能によるオブジェクトのうちの一つのコンテキスト認識フィーチャの計算が、前記オブジェクトの一つのオブジェクトフィーチャの値を使用すること、及び関連付けられたコンテキストフィーチャの各々の値を入力として使用すること、及び他のいずれのオブジェクトフィーチャの値も入力として用いないことを含む、クラシファイヤ機能を生成すること；及び／又は
−未訓練バージョンのさらなるクラシファイイング機能を、正確に一つのさらなるオブジェクトフィーチャと前記一つのさらなるオブジェクトフィーチャに関連付けられる一又は複数のさらなるコンテキストフィーチャとについて訓練することにより、前記さらなるクラシファイヤ機能を生成することであって、さらなるクラシファイヤ機能によるオブジェクトのうちの一つのさらなるコンテキスト認識フィーチャの計算が、前記オブジェクトの一つのさらなるオブジェクトフィーチャの値を使用すること、及び関連付けられたさらなるコンテキストフィーチャの各々の値を入力として使用すること、及び他のいずれのオブジェクトフィーチャの値も入力として用いないことを含む、さらなるクラシファイヤ機能を生成すること
を含む、実施態様９に記載の方法。
［実施態様１１］
−コンテキストフィーチャ値が、デジタル画像の一グループのオブジェクト又は一グループのピクセルから導出された、画像間のばらつきによって生じた画像内のオブジェクトのオブジェクトフィーチャのばらつきを補償することのできる値である、実施態様１から１０のいずれか一項に記載の方法。
［実施態様１２］
オブジェクトフィーチャが：
ｉ． オブジェクトの強度値；
ｉｉ． オブジェクトの直径；
ｉｉｉ． オブジェクトのサイズ；
ｉｖ． 形状プロパティ；
ｖ． 一つのオブジェクトから次の隣接オブジェクトまでの距離；
ｖｉ． テクスチャプロパティ
のうちの一つである、実施態様１から１１のいずれか一項に記載の方法。
［実施態様１３］
オブジェクトとコンテキストフィーチャが：
−手作業により特定されるか；又は
−高度なフィーチャ発見方法によって特定されるか；又は
−最小冗長性及び最大関連性（ｍＲＭＲ）ルールによって特定される、
実施態様１から１２のいずれか一項に記載の方法。
［実施態様１４］
−コンテキスト認識フィーチャの計算が、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じたオブジェクトフィーチャのばらつきを平均化するためのコンテキストフィーチャを使用することを含む、及び／又は、
−クラシファイヤ機能を訓練することが、オブジェクトを分類するためにオブジェクトフィーチャを使用するクラシファイヤ機能の分類精度を向上させることのできるコンテキストフィーチャを同定することを含み、同定されたコンテキストフィーチャは、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じたオブジェクトフィーチャのばらつきを平均化することにより分類精度を向上させる、
実施態様１から１３のいずれか一項に記載の方法。
［実施態様１５］
クラシファイヤ機能を事前訓練することをさらに含み、生物学的試料の複数の異なる画像に由来するオブジェクトの訓練セットを、生体画像解析デバイス上において解析することを含み、生体画像解析デバイスが、訓練セットの各オブジェクトについてオブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、クラシファイヤ訓練機能を実施するようにプログラムされ、前記可能性の計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ機能によって生成される、オブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、実施態様１から１４のいずれか一項に記載の方法。
［実施態様１６］
生体画像解析デバイスのエンドクラシファイヤ機能を訓練して画像のオブジェクトを同定することをさらに含み、生体画像解析デバイス上において複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練の各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、エンドクラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって、
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られたコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる、実施態様１から１５のいずれか一項に記載の方法。
［実施態様１７］
オブジェクトの追加フィーチャが、オブジェクトのさらなるオブジェクトフィーチャ又はオブジェクトのさらなるコンテキスト認識フィーチャであり、さらなるコンテキスト認識フィーチャが、さらなるクラシファイヤ機能により：
・画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易い、オブジェクトから抽出される少なくとも一つのさらなるオブジェクトフィーチャ；及び
・さらなるオブジェクトフィーチャに関連付けられる少なくとも一つのさらなるコンテキストフィーチャであって、各々が、さらなるオブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、少なくとも一つのさらなるコンテキストフィーチャ
を組み合わせることにより計算される、実施態様１６に記載の方法。
［実施態様１８］
エンドクラシファイヤの訓練が、複数の異なるクラシファイヤのうちそれぞれにより計算されたコンテキスト認識フィーチャを組み合わせることを含み、各クラシファイヤがそれぞれの単一のオブジェクトフィーチャと一又は複数の関連するコンテキストフィーチャとについて訓練される、実施態様１７に記載の方法。
［実施態様１９］
生物学的試料の画像のオブジェクトのコンテキスト認識フィーチャ（２０４、２０８）を計算するように生体画像解析デバイスのクラシファイヤ機能を事前訓練する方法であって、生体画像解析デバイス上において、生物学的試料の複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練セットの各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、クラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ関数によって生成される、オブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、方法。
［実施態様２０］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、実施態様１９に記載の方法。
［実施態様２１］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様１９又は２０に記載の方法。
［実施態様２２］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様１９から２１のいずれか一項に記載の方法。
［実施態様２３］
画像のオブジェクトを同定するように生体画像解析デバイスのエンドクラシファイヤ機能を訓練する方法であって、生体画像解析デバイス上において、複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練の各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、エンドクラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって：
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られたコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる、方法。
［実施態様２４］
オブジェクトの少なくとも一つの追加フィーチャが追加オブジェクトフィーチャである、実施態様２３に記載の方法。
［実施態様２５］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、実施態様２４に記載の方法。
［実施態様２６］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様２４又は２５に記載の方法。
［実施態様２７］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様２４から２６のいずれか一項に記載の方法。
［実施態様２８］
オブジェクトの少なくとも一つの追加フィーチャが追加コンテキスト認識フィーチャである、実施態様２４から２７のいずれか一項に記載の方法。
［実施態様２９］
別個のコンテキスト認識クラシファイヤが、追加コンテキスト認識フィーチャを計算するように訓練される、実施態様２８に記載の方法。
［実施態様３０］
試験画像内のオブジェクトを同定する方法であって、試験画像内のオブジェクトのコンテキスト認識フィーチャを計算するためのクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上で試験画像を解析することを含み、前記計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われる、方法。
［実施態様３１］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、実施態様３０に記載の方法。
［実施態様３２］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様３０又は３１に記載の方法。
［実施態様３３］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様３０から３２のいずれか一項に記載の方法。
［実施態様３４］
エンドクラシファイヤが、コンテキスト認識フィーチャと、試験画像内のオブジェクトの追加フィーチャとを組み合わせて、オブジェクトがあるクラスに属する可能性を計算する、実施態様３０から３３のいずれか一項に記載の方法。
［実施態様３５］
少なくとも一つの追加フィーチャが、オブジェクトから抽出された追加オブジェクトフィーチャである、実施態様３４に記載の方法。
［実施態様３６］
オブジェクトの少なくとも一つの追加フィーチャが追加のコンテキスト認識フィーチャである、実施態様３４又は３５に記載の方法。
［実施態様３７］
別個のコンテキスト認識クラシファイヤが、追加コンテキスト認識フィーチャを計算するように訓練される、実施態様３４から３６のいずれか一項に記載の方法。
［実施態様３８］
生物学的試料の試験画像内のオブジェクトを同定する方法であって、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することによりエンドクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上でオブジェクトを解析することを含み、上記可能性の計算が、オブジェクトのコンテキスト認識フィーチャとオブジェクトの少なくとも一つの追加フィーチャを組み合わせることにより行われ、エンドクラシファイヤ機能が、実施態様２３から２９のいずれか一項に記載の方法に従って訓練される、方法。
［実施態様３９］
事前訓練されたクラシファイヤがコンテキスト認識フィーチャを計算する、実施態様３８に記載の方法。
［実施態様４０］
生物学的試料の画像内のオブジェクを同定するためのシステムであって、生体画像解析デバイスを備え、生体画像解析デバイスが：
プロセッサ；及び
プロセッサに連結された、コンピュータで実行可能な命令を記憶するメモリであって、前記命令は、プロセッサによって実行されると、プロセッサに、実施態様１から３６のいずれか一項に記載の方法を含む工程を実施させるメモリ
を備えるシステム。
［実施態様４１］
生体画像解析デバイス又は生物学的試料の画像をデジタル方式で記憶することのできる非一時的なコンピュータ可読記憶媒体に動作可能に連結された画像化装置をさらに備える、実施態様４０に記載のシステム。
［実施態様４２］
生物学的試料の画像をデジタル方式で記憶する非一時的なコンピュータ可読記憶媒体をさらに備える、実施態様４１に記載のシステム。
［実施態様４３］
プロセッサにより実行されて、実施態様１から３９のいずれか一項に記載の方法を含む工程を実施するコンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体。
［実施態様４４］
生物学的試料のデジタル画像（１０２−１０８）内の特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析システムであって、プロセッサとメモリを備え、メモリが、プロセッサにより実行されるとき、プロセッサに、
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること（６０２）；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値（２０２、７０２）を同定するために、デジタル画像を解析すること（６０４）；
−第１のコンテキストフィーチャ値（２０４、７０４）を計算するためにデジタル画像を解析することであって、第１のコンテキストフィーチャ値が、デジタル画像内の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、デジタル画像を解析すること（６０６）；
−デジタル画像中のオブジェクトの第１のオブジェクトフィーチャ値と、前記デジタル画像の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤ（２１０、７１０）に入力すること（６０８）；
−第１のクラシファイヤを実行することであって、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性（２１６，７１４）を自動的に決定するための入力として使用する、実行すること（６１０）
を含む方法を実施させる、解釈可能な命令を含む画像解析システム。
［実施態様４５］
第１の可能性の決定が、第１のクラシファイヤにより、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じる第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のコンテキストフィーチャ値を使用することを含む、実施態様４４に記載のシステム。
［実施態様４６］
方法がさらに：
ａ）各オブジェクトについて、前記オブジェクトの第２のオブジェクトフィーチャの第２のオブジェクトフィーチャ値（２０６、７０６）を同定するために、デジタル画像を解析すること；
ｂ）各々が、デジタル画像内の複数のオブジェクトの第２のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第２のコンテキストフィーチャ値（２０８、７０８）を計算するために、デジタル画像を解析すること（７０８）；
ｃ）オブジェクトの各々の第２のオブジェクトフィーチャ値と、前記デジタル画像の第２のコンテキストフィーチャ値の両方を、第２のクラシファイヤ（２１２、７１２）に入力すること；
ｄ）オブジェクトの各々について、オブジェクトの第２のオブジェクトフィーチャ値及び一又は複数の第２のコンテキストフィーチャ値を使用することにより、オブジェクトクラスのメンバーである第２の可能性（２１８、７１６）を自動的決定するために、第２のクラシファイヤを実行すること；並びに
−オブジェクトの各々について、前記オブジェクトについて計算された第１及び第２の可能性に基づいて、オブジェクトクラスのメンバーである合成された可能性（７１８）を計算すること
を含む、実施態様４４又は４５に記載のシステム。
［実施態様４７］
オブジェクトクラスの各オブジェクトが、少なくとも一つのさらなるオブジェクトフィーチャを割り付けており、システムが、第１及び第２のクラシファイヤを備え、さらにさらなるプロパティの各々のためのさらなるクラシファイヤをさらに備え、方法がさらに：
−各オブジェクトがオブジェクトクラスのメンバーであるさらなる可能性をそれぞれ計算するために、さらなるプロパティの各々について工程ａ）からｄ）を繰り返すこと；及び
−オブジェクトの各々について、第１及び第２の可能性並びにさらなる可能性の各々に基づいてオブジェクトクラスのメンバーである合成された可能性を計算すること
を含む、実施態様４６に記載のシステム。
［実施態様４８］
−デジタル画像が生物学的試料の画像又は組織スライド全体であるか；又は
−デジタル画像が、生物学的試料の画像内部の小区域又は組織スライド全体の内部の小区域である、
実施態様４４から４７のいずれか一項に記載のシステム。
［実施態様４９］
方法が：
−プロパティのうちの一又は複数に関して、前記デジタル画像の他の小区域内のオブジェクトより不均一性の低いオブジェクトを有するデジタル画像の小区域を、自動的に又は手動で同定することにより、小区域を選択すること；及び
−同定された小区域を、第１、第２及び／又はさらなるコンテキストフィーチャ値が計算されるデジタル画像として使用すること
を含む、実施態様４８に記載のシステム。
［実施態様５０］
−第１のコンテキストフィーチャ値が、画像間のばらつきによって生じた第１のオブジェクトフィーチャ値のばらつきを示す；及び／又は
−第２のコンテキストフィーチャ値が、画像間のばらつきによって生じた第２のオブジェクトフィーチャ値のばらつきを示す；及び／又は
−さらなるコンテキストフィーチャ値の各々が、画像間のばらつきによって生じたそれぞれのさらなるオブジェクトフィーチャ値のばらつきを示す、
実施態様４４から４９のいずれか一項に記載のシステム。
［実施態様５１］
−第１のコンテキストフィーチャ値の計算が、デジタル画像内の複数のオブジェクト又はピクセルの第１のオブジェクトフィーチャ値の統計的平均を計算することを含む；及び／又は
−第２のコンテキストフィーチャ値の計算が、デジタル画像内の複数のオブジェクト又はピクセルの第２のオブジェクトフィーチャ値の統計的平均を計算することを含む；及び／又は
−さらなるコンテキストフィーチャ値の各々の計算が、デジタル画像内の複数のオブジェクト又はピクセルのさらなるオブジェクトフィーチャ値それぞれの統計的平均を計算することを含む、
実施態様４４から５０のいずれか一項に記載のシステム。
［実施態様５２］
オブジェクトクラスが、リンパ球、腫瘍細胞、特定の組織型の細胞、特定のバイオマーカーで陽性に染色された細胞、前記細胞型のうちのいずれか一つの核のうちの一つである、実施態様４４から５１のいずれか一項に記載のシステム。
［実施態様５３］
−第１のオブジェクトフィーチャが：
ｉ．染色又はオブジェクトに結合したバイオマーカーの量と相関する、オブジェクトの強度値；
ｉｉ．オブジェクトの直径；
ｉｉｉ．オブジェクトのサイズ；
ｉｖ．形状プロパティ；
ｖ．一つのオブジェクトから次の隣接オブジェクトまでの距離；
ｖｉ．テクスチャプロパティ；
のうちの一つであり、
−第２及び／又はさらなるオブジェクトフィーチャが解析される場合、第２のオブジェクトフィーチャ又はさらなるオブジェクトフィーチャはプロパティｉからｖｉの残りのうちの一つである、
実施態様４４から５２のいずれか一項に記載のシステム。
［実施態様５４］
それぞれのクラシファイヤに入力される値を有する第１、第２及び／又はさらなるプロパティが：
−手作業により特定されるか；又は
−高度なフィーチャ発見方法によって特定されるか；又は
−最小冗長性及び最大関連性（ｍＲＭＲ）ルールによって特定される、
実施態様４４から５４のいずれか一項に記載のシステム。
［実施態様５５］
オブジェクトの第１、第２及び／又はさらなるオブジェクトフィーチャが：
−デジタル画像内のすべてのオブジェクト内で変動する、及び／又は
−スライド全体の画像である同じデジタル画像のオブジェクト内で変動する、及び／又は
−スライド全体の画像の小区画である同じデジタル画像内で変動する、及び／又は
−同じ生物体の異なる組織試料から得られた異なるデジタル画像に属するオブジェクト内で変動する；及び／又は
−同じ種の異なる個体内で変動する、
実施態様４４から５５のいずれか一項に記載のシステム。
［実施態様５６］
方法が、第１のクラシファイヤを：
−未訓練バージョンの第１のクラシファイヤにより、記憶媒体から複数のデジタル訓練画像を読むことであって、各訓練デジタル画像がそれぞれ一又は複数の異なるオブジェクトクラスのオブジェクトを表わす複数のピクセルブロブを含み、各ピクセルブロブがオブジェクトクラスのメンバー又は非メンバーとして注釈付けされる、読むこと、
−注釈付けされた各ピクセルブロブについて、前記ピクセルブロブの第１のオブジェクトフィーチャの訓練第１オブジェクトフィーチャ値を同定するために、訓練デジタル画像の各々を解析すること、
−訓練第１コンテキストフィーチャ値を計算するために、訓練デジタル画像の各々を解析することであって、訓練第１コンテキストフィーチャ値が、前記訓練デジタル画像内の複数のピクセルブロブの訓練第１オブジェクトフィーチャ値又はその他訓練オブジェクトフィーチャ値から導出されるものであるか、又は訓練画像の複数のピクセルから導出されるものである、解析すること、
−ピクセルブロブの各々について、少なくとも注釈付け、訓練第１オブジェクトフィーチャ値及び訓練第１コンテキストフィーチャ値を未訓練バージョンの第１のクラシファイヤに入力することにより、未訓練バージョンの第１のクラシファイヤを訓練することであって、それにより第１のクラシファイヤを生成し、第１のクラシファイヤは、前記オブジェクトの第１のオブジェクトフィーチャ値の、前記特定のオブジェクトクラスのメンバーであるとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性が、前記特定のオブジェクトクラスのメンバーでないとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性より高い場合に、オブジェクトが特定のオブジェクトクラスのメンバーであるより高い可能を計算するように構成されており、これにより可能性が、第１の又はその他のコンテキストフィーチャ値に含まれる画像内コンテキスト情報にさらに依存する、訓練すること
によって生成することをさらに含む、実施態様４４から５５のいずれか一項に記載のシステム。
［実施態様５７］
−第１のクラシファイヤの第１の可能性の計算が、第１のクラシファイヤにより、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のコンテキストフィーチャ値を使用することを含み、
−未訓練バージョンの第１のクラシファイヤの訓練が、第１のクラシファイヤにより、オブジェクトを分類するために第１のオブジェクトフィーチャを用いて第１のクラシファイヤの分類精度を向上させることのできる複数のプロパティのうちの一つを同定することを含み、同定されたプロパティが、分類精度を、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化することにより向上させ、訓練が、前記オブジェクトの第１のオブジェクトフィーチャ値を入力として使用することにより、同定されたプロパティについて計算された入力コンテキストフィーチャ値が、オブジェクトについて計算された可能性を調節するように、第１のクラシファイヤのクラシファイヤモデルを修正することを含む、
実施態様４４から５６のいずれか一項に記載のシステム。
［実施態様５８］
画像解析のプロセッサによって実施される、生物学的試料４４−５８のデジタル画像内の特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析方法であって：
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること（６０２）；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値（７０２）を同定するために、デジタル画像を解析すること（６０４）；
−各々が、デジタル画像中の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第１のコンテキストフィーチャ値（７０４）を計算するために、デジタル画像を解析すること（６０６）；
−デジタル画像中のオブジェクトの各々の第１のオブジェクトフィーチャ値及び前記デジタル画像の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤ（７１０）に入力すること（６０８）；
−第１のクラシファイヤを実行し、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と一又は複数の第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性（７１４）を自動的に決定するための入力として使用すること（６１０）
を含む方法。
画像間の染色のばらつき及び生物学的ばらつきは、病理組織画像の量的解析について大きな困難性を課す。画像間における染色の見た目の一貫性を向上させようとする色分布アラインメントのアプローチは、クラス間の色の差異がわずかであり；色分布の差異が染色のばらつきではなくオブジェクト分布率によって生じている場合、分類の問題に適さない。本明細書は、標準的なクラシファイヤの利用によりオブジェクトフィーチャとコンテキストフィーチャを取り込む汎用方法を記載しており、画像間のばらつきについて補償されたコンテキスト認識フィーチャを導出するために学習モデルが使用される。この方法を使用して、広範なフィーチャのばらつき問題に対処することができる。方法の有効性は、ＥＲ染色された乳がん画像の解析に関する核分類の問題において実証される。
＜さらなる実施態様＞
［実施態様１］
生物学的試料の画像（１０２、１０４、１０６、１０８）内のオブジェクトのコンテキスト認識フィーチャ（２１６、２１８、７１４、７１６）を自動的に計算する方法であって、クラシファイヤ機能（２１０、２１２、７１０、７１２）を実施するようにプログラムされた生体画像解析デバイス上において画像を解析することを含み、クラシファイヤ機能は、オブジェクトの少なくとも一つのコンテキスト認識フィーチャを：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャ（２０２、２０６、７０２、７０６）であって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャ（２０４、２０８、７０４、７０８）であって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより計算する、方法。
［実施態様２］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより同定される、実施態様１に記載の方法。
［実施態様３］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様１又は２に記載の方法。
［実施態様４］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様１から３のいずれか一項に記載の方法。
［実施態様５］
−コンテキスト認識フィーチャが、クラシファイヤ機能により生成される数値であって、オブジェクトがあるクラスに属する度合いを表す数値を表し、及び／又は
−画像が生物学的試料の画像若しくは組織スライド全体であるか、又は画像が生物学的試料の画像の小区域若しくは組織スライド全体である、
実施態様１から４のいずれか一項に記載の方法。
［実施態様６］
画像から少なくとも一つのオブジェクトフィーチャと少なくとも一つのコンテキストフィーチャとを抽出するために、画像解析デバイスにより画像を自動的に又は半自動的に解析することをさらに含む、実施態様１から５のいずれか一項に記載の方法。
［実施態様７］
少なくとも一つのコンテキスト認識フィーチャの計算が、クラシファイヤ機能により、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じるオブジェクトフィーチャのばらつきを平均化するためのコンテキストフィーチャを使用することを含む、実施態様１から６のいずれか一項に記載の方法。
［実施態様８］
さらに：
−画像を解析し、少なくとも一つのコンテキストフィーチャを、画像内の複数のオブジェクトのオブジェクトフィーチャから導出されるものとして、又は複数のオブジェクトの別のオブジェクトフィーチャから導出されるものとして、又は画像の複数のピクセルから導出されるものとして、計算すること
を含む、実施態様１から７のいずれか一項に記載の方法。
［実施態様９］
さらに：
−画像を解析してさらなるクラシファイヤ機能を実施すること
を含み、さらなるクラシファイヤ機能は、オブジェクトの少なくとも一つのさらなるコンテキスト認識フィーチャを：
−オブジェクトから、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易い少なくとも一つのさらなるオブジェクトフィーチャを抽出すること；及び
−さらなるオブジェクトフィーチャに関連付けられる少なくとも一つのさらなるコンテキストフィーチャであって、各々が、さらなるオブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示すさらなるコンテキストフィーチャを抽出すること、
−少なくとも一つのさらなるオブジェクトフィーチャと少なくとも一つのさらなるコンテキストフィーチャを組み合わせること
により計算する、実施態様１から８のいずれか一項に記載の方法。
［実施態様１０］
さらに：
−未訓練バージョンのクラシファイイング機能を、正確に一つのオブジェクトフィーチャと前記一つのオブジェクトフィーチャに関連付けられる一又は複数のコンテキストフィーチャとについて訓練することにより、前記クラシファイヤ機能を生成することであって、クラシファイヤ機能によるオブジェクトのうちの一つのコンテキスト認識フィーチャの計算が、前記オブジェクトの一つのオブジェクトフィーチャの値を使用すること、及び関連付けられたコンテキストフィーチャの各々の値を入力として使用すること、及び他のいずれのオブジェクトフィーチャの値も入力として用いないことを含む、クラシファイヤ機能を生成すること；及び／又は
−未訓練バージョンのさらなるクラシファイイング機能を、正確に一つのさらなるオブジェクトフィーチャと前記一つのさらなるオブジェクトフィーチャに関連付けられる一又は複数のさらなるコンテキストフィーチャとについて訓練することにより、前記さらなるクラシファイヤ機能を生成することであって、さらなるクラシファイヤ機能によるオブジェクトのうちの一つのさらなるコンテキスト認識フィーチャの計算が、前記オブジェクトの一つのさらなるオブジェクトフィーチャの値を使用すること、及び関連付けられたさらなるコンテキストフィーチャの各々の値を入力として使用すること、及び他のいずれのオブジェクトフィーチャの値も入力として用いないことを含む、さらなるクラシファイヤ機能を生成すること
を含む、実施態様９に記載の方法。
［実施態様１１］
−コンテキストフィーチャ値が、デジタル画像の一グループのオブジェクト又は一グループのピクセルから導出された、画像間のばらつきによって生じた画像内のオブジェクトのオブジェクトフィーチャのばらつきを補償することのできる値である、実施態様１から１０のいずれか一項に記載の方法。
［実施態様１２］
オブジェクトフィーチャが：
ｉ． オブジェクトの強度値；
ｉｉ． オブジェクトの直径；
ｉｉｉ． オブジェクトのサイズ；
ｉｖ． 形状プロパティ；
ｖ． 一つのオブジェクトから次の隣接オブジェクトまでの距離；
ｖｉ． テクスチャプロパティ
のうちの一つである、実施態様１から１１のいずれか一項に記載の方法。
［実施態様１３］
オブジェクトとコンテキストフィーチャが：
−手作業により特定されるか；又は
−高度なフィーチャ発見方法によって特定されるか；又は
−最小冗長性及び最大関連性（ｍＲＭＲ）ルールによって特定される、
実施態様１から１２のいずれか一項に記載の方法。
［実施態様１４］
−コンテキスト認識フィーチャの計算が、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じたオブジェクトフィーチャのばらつきを平均化するためのコンテキストフィーチャを使用することを含む、及び／又は、
−クラシファイヤ機能を訓練することが、オブジェクトを分類するためにオブジェクトフィーチャを使用するクラシファイヤ機能の分類精度を向上させることのできるコンテキストフィーチャを同定することを含み、同定されたコンテキストフィーチャは、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じたオブジェクトフィーチャのばらつきを平均化することにより分類精度を向上させる、
実施態様１から１３のいずれか一項に記載の方法。
［実施態様１５］
クラシファイヤ機能を事前訓練することをさらに含み、生物学的試料の複数の異なる画像に由来するオブジェクトの訓練セットを、生体画像解析デバイス上において解析することを含み、生体画像解析デバイスが、訓練セットの各オブジェクトについてオブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、クラシファイヤ訓練機能を実施するようにプログラムされ、前記可能性の計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ機能によって生成される、オブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、実施態様１から１４のいずれか一項に記載の方法。
［実施態様１６］
生体画像解析デバイスのエンドクラシファイヤ機能を訓練して画像のオブジェクトを同定することをさらに含み、生体画像解析デバイス上において複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練の各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、エンドクラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって、
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られたコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる、実施態様１から１５のいずれか一項に記載の方法。
［実施態様１７］
オブジェクトの追加フィーチャが、オブジェクトのさらなるオブジェクトフィーチャ又はオブジェクトのさらなるコンテキスト認識フィーチャであり、さらなるコンテキスト認識フィーチャが、さらなるクラシファイヤ機能により：
・画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易い、オブジェクトから抽出される少なくとも一つのさらなるオブジェクトフィーチャ；及び
・さらなるオブジェクトフィーチャに関連付けられる少なくとも一つのさらなるコンテキストフィーチャであって、各々が、さらなるオブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、少なくとも一つのさらなるコンテキストフィーチャ
を組み合わせることにより計算される、実施態様１６に記載の方法。
［実施態様１８］
エンドクラシファイヤの訓練が、複数の異なるクラシファイヤのうちそれぞれにより計算されたコンテキスト認識フィーチャを組み合わせることを含み、各クラシファイヤがそれぞれの単一のオブジェクトフィーチャと一又は複数の関連するコンテキストフィーチャとについて訓練される、実施態様１７に記載の方法。
［実施態様１９］
生物学的試料の画像のオブジェクトのコンテキスト認識フィーチャ（２０４、２０８）を計算するように生体画像解析デバイスのクラシファイヤ機能を事前訓練する方法であって、生体画像解析デバイス上において、生物学的試料の複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練セットの各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、クラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ関数によって生成される、オブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、方法。
［実施態様２０］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、実施態様１９に記載の方法。
［実施態様２１］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様１９又は２０に記載の方法。
［実施態様２２］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様１９から２１のいずれか一項に記載の方法。
［実施態様２３］
画像のオブジェクトを同定するように生体画像解析デバイスのエンドクラシファイヤ機能を訓練する方法であって、生体画像解析デバイス上において、複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練の各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、エンドクラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって：
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られたコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる、方法。
［実施態様２４］
オブジェクトの少なくとも一つの追加フィーチャが追加オブジェクトフィーチャである、実施態様２３に記載の方法。
［実施態様２５］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、実施態様２４に記載の方法。
［実施態様２６］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様２４又は２５に記載の方法。
［実施態様２７］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様２４から２６のいずれか一項に記載の方法。
［実施態様２８］
オブジェクトの少なくとも一つの追加フィーチャが追加コンテキスト認識フィーチャである、実施態様２４から２７のいずれか一項に記載の方法。
［実施態様２９］
別個のコンテキスト認識クラシファイヤが、追加コンテキスト認識フィーチャを計算するように訓練される、実施態様２８に記載の方法。
［実施態様３０］
試験画像内のオブジェクトを同定する方法であって、試験画像内のオブジェクトのコンテキスト認識フィーチャを計算するためのクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上で試験画像を解析することを含み、前記計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われる、方法。
［実施態様３１］
オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、実施態様３０に記載の方法。
［実施態様３２］
少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、実施態様３０又は３１に記載の方法。
［実施態様３３］
少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、実施態様３０から３２のいずれか一項に記載の方法。
［実施態様３４］
エンドクラシファイヤが、コンテキスト認識フィーチャと、試験画像内のオブジェクトの追加フィーチャとを組み合わせて、オブジェクトがあるクラスに属する可能性を計算する、実施態様３０から３３のいずれか一項に記載の方法。
［実施態様３５］
少なくとも一つの追加フィーチャが、オブジェクトから抽出された追加オブジェクトフィーチャである、実施態様３４に記載の方法。
［実施態様３６］
オブジェクトの少なくとも一つの追加フィーチャが追加のコンテキスト認識フィーチャである、実施態様３４又は３５に記載の方法。
［実施態様３７］
別個のコンテキスト認識クラシファイヤが、追加コンテキスト認識フィーチャを計算するように訓練される、実施態様３４から３６のいずれか一項に記載の方法。
［実施態様３８］
生物学的試料の試験画像内のオブジェクトを同定する方法であって、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することによりエンドクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上でオブジェクトを解析することを含み、上記可能性の計算が、オブジェクトのコンテキスト認識フィーチャとオブジェクトの少なくとも一つの追加フィーチャを組み合わせることにより行われ、エンドクラシファイヤ機能が、実施態様２３から２９のいずれか一項に記載の方法に従って訓練される、方法。
［実施態様３９］
事前訓練されたクラシファイヤがコンテキスト認識フィーチャを計算する、実施態様３８に記載の方法。
［実施態様４０］
生物学的試料の画像内のオブジェクを同定するためのシステムであって、生体画像解析デバイスを備え、生体画像解析デバイスが：
プロセッサ；及び
プロセッサに連結された、コンピュータで実行可能な命令を記憶するメモリであって、前記命令は、プロセッサによって実行されると、プロセッサに、実施態様１から３６のいずれか一項に記載の方法を含む工程を実施させるメモリ
を備えるシステム。
［実施態様４１］
生体画像解析デバイス又は生物学的試料の画像をデジタル方式で記憶することのできる非一時的なコンピュータ可読記憶媒体に動作可能に連結された画像化装置をさらに備える、実施態様４０に記載のシステム。
［実施態様４２］
生物学的試料の画像をデジタル方式で記憶する非一時的なコンピュータ可読記憶媒体をさらに備える、実施態様４１に記載のシステム。
［実施態様４３］
プロセッサにより実行されて、実施態様１から３９のいずれか一項に記載の方法を含む工程を実施するコンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体。
［実施態様４４］
生物学的試料のデジタル画像（１０２−１０８）内の特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析システムであって、プロセッサとメモリを備え、メモリが、プロセッサにより実行されるとき、プロセッサに、
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること（６０２）；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値（２０２、７０２）を同定するために、デジタル画像を解析すること（６０４）；
−第１のコンテキストフィーチャ値（２０４、７０４）を計算するためにデジタル画像を解析することであって、第１のコンテキストフィーチャ値が、デジタル画像内の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、デジタル画像を解析すること（６０６）；
−デジタル画像中のオブジェクトの第１のオブジェクトフィーチャ値と、前記デジタル画像の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤ（２１０、７１０）に入力すること（６０８）；
−第１のクラシファイヤを実行することであって、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性（２１６，７１４）を自動的に決定するための入力として使用する、実行すること（６１０）
を含む方法を実施させる、解釈可能な命令を含む画像解析システム。
［実施態様４５］
第１の可能性の決定が、第１のクラシファイヤにより、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じる第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のコンテキストフィーチャ値を使用することを含む、実施態様４４に記載のシステム。
［実施態様４６］
方法がさらに：
ａ）各オブジェクトについて、前記オブジェクトの第２のオブジェクトフィーチャの第２のオブジェクトフィーチャ値（２０６、７０６）を同定するために、デジタル画像を解析すること；
ｂ）各々が、デジタル画像内の複数のオブジェクトの第２のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第２のコンテキストフィーチャ値（２０８、７０８）を計算するために、デジタル画像を解析すること（７０８）；
ｃ）オブジェクトの各々の第２のオブジェクトフィーチャ値と、前記デジタル画像の第２のコンテキストフィーチャ値の両方を、第２のクラシファイヤ（２１２、７１２）に入力すること；
ｄ）オブジェクトの各々について、オブジェクトの第２のオブジェクトフィーチャ値及び一又は複数の第２のコンテキストフィーチャ値を使用することにより、オブジェクトクラスのメンバーである第２の可能性（２１８、７１６）を自動的決定するために、第２のクラシファイヤを実行すること；並びに
−オブジェクトの各々について、前記オブジェクトについて計算された第１及び第２の可能性に基づいて、オブジェクトクラスのメンバーである合成された可能性（７１８）を計算すること
を含む、実施態様４４又は４５に記載のシステム。
［実施態様４７］
オブジェクトクラスの各オブジェクトが、少なくとも一つのさらなるオブジェクトフィーチャを割り付けており、システムが、第１及び第２のクラシファイヤを備え、さらにさらなるプロパティの各々のためのさらなるクラシファイヤをさらに備え、方法がさらに：
−各オブジェクトがオブジェクトクラスのメンバーであるさらなる可能性をそれぞれ計算するために、さらなるプロパティの各々について工程ａ）からｄ）を繰り返すこと；及び
−オブジェクトの各々について、第１及び第２の可能性並びにさらなる可能性の各々に基づいてオブジェクトクラスのメンバーである合成された可能性を計算すること
を含む、実施態様４６に記載のシステム。
［実施態様４８］
−デジタル画像が生物学的試料の画像又は組織スライド全体であるか；又は
−デジタル画像が、生物学的試料の画像内部の小区域又は組織スライド全体の内部の小区域である、
実施態様４４から４７のいずれか一項に記載のシステム。
［実施態様４９］
方法が：
−プロパティのうちの一又は複数に関して、前記デジタル画像の他の小区域内のオブジェクトより不均一性の低いオブジェクトを有するデジタル画像の小区域を、自動的に又は手動で同定することにより、小区域を選択すること；及び
−同定された小区域を、第１、第２及び／又はさらなるコンテキストフィーチャ値が計算されるデジタル画像として使用すること
を含む、実施態様４８に記載のシステム。
［実施態様５０］
−第１のコンテキストフィーチャ値が、画像間のばらつきによって生じた第１のオブジェクトフィーチャ値のばらつきを示す；及び／又は
−第２のコンテキストフィーチャ値が、画像間のばらつきによって生じた第２のオブジェクトフィーチャ値のばらつきを示す；及び／又は
−さらなるコンテキストフィーチャ値の各々が、画像間のばらつきによって生じたそれぞれのさらなるオブジェクトフィーチャ値のばらつきを示す、
実施態様４４から４９のいずれか一項に記載のシステム。
［実施態様５１］
−第１のコンテキストフィーチャ値の計算が、デジタル画像内の複数のオブジェクト又はピクセルの第１のオブジェクトフィーチャ値の統計的平均を計算することを含む；及び／又は
−第２のコンテキストフィーチャ値の計算が、デジタル画像内の複数のオブジェクト又はピクセルの第２のオブジェクトフィーチャ値の統計的平均を計算することを含む；及び／又は
−さらなるコンテキストフィーチャ値の各々の計算が、デジタル画像内の複数のオブジェクト又はピクセルのさらなるオブジェクトフィーチャ値それぞれの統計的平均を計算することを含む、
実施態様４４から５０のいずれか一項に記載のシステム。
［実施態様５２］
オブジェクトクラスが、リンパ球、腫瘍細胞、特定の組織型の細胞、特定のバイオマーカーで陽性に染色された細胞、前記細胞型のうちのいずれか一つの核のうちの一つである、実施態様４４から５１のいずれか一項に記載のシステム。
［実施態様５３］
−第１のオブジェクトフィーチャが：
ｉ．染色又はオブジェクトに結合したバイオマーカーの量と相関する、オブジェクトの強度値；
ｉｉ．オブジェクトの直径；
ｉｉｉ．オブジェクトのサイズ；
ｉｖ．形状プロパティ；
ｖ．一つのオブジェクトから次の隣接オブジェクトまでの距離；
ｖｉ．テクスチャプロパティ；
のうちの一つであり、
−第２及び／又はさらなるオブジェクトフィーチャが解析される場合、第２のオブジェクトフィーチャ又はさらなるオブジェクトフィーチャはプロパティｉからｖｉの残りのうちの一つである、
実施態様４４から５２のいずれか一項に記載のシステム。
［実施態様５４］
それぞれのクラシファイヤに入力される値を有する第１、第２及び／又はさらなるプロパティが：
−手作業により特定されるか；又は
−高度なフィーチャ発見方法によって特定されるか；又は
−最小冗長性及び最大関連性（ｍＲＭＲ）ルールによって特定される、
実施態様４４から５４のいずれか一項に記載のシステム。
［実施態様５５］
オブジェクトの第１、第２及び／又はさらなるオブジェクトフィーチャが：
−デジタル画像内のすべてのオブジェクト内で変動する、及び／又は
−スライド全体の画像である同じデジタル画像のオブジェクト内で変動する、及び／又は
−スライド全体の画像の小区画である同じデジタル画像内で変動する、及び／又は
−同じ生物体の異なる組織試料から得られた異なるデジタル画像に属するオブジェクト内で変動する；及び／又は
−同じ種の異なる個体内で変動する、
実施態様４４から５５のいずれか一項に記載のシステム。
［実施態様５６］
方法が、第１のクラシファイヤを：
−未訓練バージョンの第１のクラシファイヤにより、記憶媒体から複数のデジタル訓練画像を読むことであって、各訓練デジタル画像がそれぞれ一又は複数の異なるオブジェクトクラスのオブジェクトを表わす複数のピクセルブロブを含み、各ピクセルブロブがオブジェクトクラスのメンバー又は非メンバーとして注釈付けされる、読むこと、
−注釈付けされた各ピクセルブロブについて、前記ピクセルブロブの第１のオブジェクトフィーチャの訓練第１オブジェクトフィーチャ値を同定するために、訓練デジタル画像の各々を解析すること、
−訓練第１コンテキストフィーチャ値を計算するために、訓練デジタル画像の各々を解析することであって、訓練第１コンテキストフィーチャ値が、前記訓練デジタル画像内の複数のピクセルブロブの訓練第１オブジェクトフィーチャ値又はその他訓練オブジェクトフィーチャ値から導出されるものであるか、又は訓練画像の複数のピクセルから導出されるものである、解析すること、
−ピクセルブロブの各々について、少なくとも注釈付け、訓練第１オブジェクトフィーチャ値及び訓練第１コンテキストフィーチャ値を未訓練バージョンの第１のクラシファイヤに入力することにより、未訓練バージョンの第１のクラシファイヤを訓練することであって、それにより第１のクラシファイヤを生成し、第１のクラシファイヤは、前記オブジェクトの第１のオブジェクトフィーチャ値の、前記特定のオブジェクトクラスのメンバーであるとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性が、前記特定のオブジェクトクラスのメンバーでないとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性より高い場合に、オブジェクトが特定のオブジェクトクラスのメンバーであるより高い可能を計算するように構成されており、これにより可能性が、第１の又はその他のコンテキストフィーチャ値に含まれる画像内コンテキスト情報にさらに依存する、訓練すること
によって生成することをさらに含む、実施態様４４から５５のいずれか一項に記載のシステム。
［実施態様５７］
−第１のクラシファイヤの第１の可能性の計算が、第１のクラシファイヤにより、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のコンテキストフィーチャ値を使用することを含み、
−未訓練バージョンの第１のクラシファイヤの訓練が、第１のクラシファイヤにより、オブジェクトを分類するために第１のオブジェクトフィーチャを用いて第１のクラシファイヤの分類精度を向上させることのできる複数のプロパティのうちの一つを同定することを含み、同定されたプロパティが、分類精度を、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化することにより向上させ、訓練が、前記オブジェクトの第１のオブジェクトフィーチャ値を入力として使用することにより、同定されたプロパティについて計算された入力コンテキストフィーチャ値が、オブジェクトについて計算された可能性を調節するように、第１のクラシファイヤのクラシファイヤモデルを修正することを含む、
実施態様４４から５６のいずれか一項に記載のシステム。
［実施態様５８］
画像解析のプロセッサによって実施される、生物学的試料４４−５８のデジタル画像内の特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析方法であって：
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること（６０２）；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値（７０２）を同定するために、デジタル画像を解析すること（６０４）；
−各々が、デジタル画像中の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第１のコンテキストフィーチャ値（７０４）を計算するために、デジタル画像を解析すること（６０６）；
−デジタル画像中のオブジェクトの各々の第１のオブジェクトフィーチャ値及び前記デジタル画像の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤ（７１０）に入力すること（６０８）；
−第１のクラシファイヤを実行し、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と一又は複数の第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性（７１４）を自動的に決定するための入力として使用すること（６１０）
を含む方法。
Claims (58)
- 生物学的試料の画像（１０２、１０４、１０６、１０８）内のオブジェクトのコンテキスト認識フィーチャ（２１６、２１８、７１４、７１６）を自動的に計算する方法であって、クラシファイヤ機能（２１０、２１２、７１０、７１２）を実施するようにプログラムされた生体画像解析デバイス上において画像を解析することを含み、クラシファイヤ機能は、オブジェクトの少なくとも一つのコンテキスト認識フィーチャを：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャ（２０２、２０６、７０２、７０６）であって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャ（２０４、２０８、７０４、７０８）であって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより計算する、方法。 - オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより同定される、請求項１に記載の方法。
- 少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、請求項１又は２に記載の方法。
- 少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、請求項１から３のいずれか一項に記載の方法。
- −コンテキスト認識フィーチャが、クラシファイヤ機能により生成される数値であって、オブジェクトがあるクラスに属する度合いを表す数値を表し、及び／又は
−画像が生物学的試料の画像若しくは組織スライド全体であるか、又は画像が生物学的試料の画像の小区域若しくは組織スライド全体である、
請求項１から４のいずれか一項に記載の方法。 - 画像から少なくとも一つのオブジェクトフィーチャと少なくとも一つのコンテキストフィーチャとを抽出するために、画像解析デバイスにより画像を自動的に又は半自動的に解析することをさらに含む、請求項１から５のいずれか一項に記載の方法。
- 少なくとも一つのコンテキスト認識フィーチャの計算が、クラシファイヤ機能により、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じるオブジェクトフィーチャのばらつきを平均化するためのコンテキストフィーチャを使用することを含む、請求項１から６のいずれか一項に記載の方法。
- さらに：
−画像を解析し、少なくとも一つのコンテキストフィーチャを、画像内の複数のオブジェクトのオブジェクトフィーチャから導出されるものとして、又は複数のオブジェクトの別のオブジェクトフィーチャから導出されるものとして、又は画像の複数のピクセルから導出されるものとして、計算すること
を含む、請求項１から７のいずれか一項に記載の方法。 - さらに：
−画像を解析してさらなるクラシファイヤ機能を実施すること
を含み、さらなるクラシファイヤ機能は、オブジェクトの少なくとも一つのさらなるコンテキスト認識フィーチャを：
−オブジェクトから、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易い少なくとも一つのさらなるオブジェクトフィーチャを抽出すること；及び
−さらなるオブジェクトフィーチャに関連付けられる少なくとも一つのさらなるコンテキストフィーチャであって、各々が、さらなるオブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示すさらなるコンテキストフィーチャを抽出すること、
−少なくとも一つのさらなるオブジェクトフィーチャと少なくとも一つのさらなるコンテキストフィーチャを組み合わせること
により計算する、請求項１から８のいずれか一項に記載の方法。 - さらに：
−未訓練バージョンのクラシファイイング機能を、正確に一つのオブジェクトフィーチャと前記一つのオブジェクトフィーチャに関連付けられる一又は複数のコンテキストフィーチャとについて訓練することにより、前記クラシファイヤ機能を生成することであって、クラシファイヤ機能によるオブジェクトのうちの一つのコンテキスト認識フィーチャの計算が、前記オブジェクトの一つのオブジェクトフィーチャの値を使用すること、及び関連付けられたコンテキストフィーチャの各々の値を入力として使用すること、及び他のいずれのオブジェクトフィーチャの値も入力として用いないことを含む、クラシファイヤ機能を生成すること；及び／又は
−未訓練バージョンのさらなるクラシファイイング機能を、正確に一つのさらなるオブジェクトフィーチャと前記一つのさらなるオブジェクトフィーチャに関連付けられる一又は複数のさらなるコンテキストフィーチャとについて訓練することにより、前記さらなるクラシファイヤ機能を生成することであって、さらなるクラシファイヤ機能によるオブジェクトのうちの一つのさらなるコンテキスト認識フィーチャの計算が、前記オブジェクトの一つのさらなるオブジェクトフィーチャの値を使用すること、及び関連付けられたさらなるコンテキストフィーチャの各々の値を入力として使用すること、及び他のいずれのオブジェクトフィーチャの値も入力として用いないことを含む、さらなるクラシファイヤ機能を生成すること
を含む、請求項９に記載の方法。 - −コンテキストフィーチャ値が、デジタル画像の一グループのオブジェクト又は一グループのピクセルから導出された、画像間のばらつきによって生じた画像内のオブジェクトのオブジェクトフィーチャのばらつきを補償することのできる値である、請求項１から１０のいずれか一項に記載の方法。
- オブジェクトフィーチャが：
ｉ． オブジェクトの強度値；
ｉｉ． オブジェクトの直径；
ｉｉｉ． オブジェクトのサイズ；
ｉｖ． 形状プロパティ；
ｖ． 一つのオブジェクトから次の隣接オブジェクトまでの距離；
ｖｉ． テクスチャプロパティ
のうちの一つである、請求項１から１１のいずれか一項に記載の方法。 - オブジェクトとコンテキストフィーチャが：
−手作業により特定されるか；又は
−高度なフィーチャ発見方法によって特定されるか；又は
−最小冗長性及び最大関連性（ｍＲＭＲ）ルールによって特定される、
請求項１から１２のいずれか一項に記載の方法。 - −コンテキスト認識フィーチャの計算が、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じたオブジェクトフィーチャのばらつきを平均化するためのコンテキストフィーチャを使用することを含む、及び／又は、
−クラシファイヤ機能を訓練することが、オブジェクトを分類するためにオブジェクトフィーチャを使用するクラシファイヤ機能の分類精度を向上させることのできるコンテキストフィーチャを同定することを含み、同定されたコンテキストフィーチャは、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じたオブジェクトフィーチャのばらつきを平均化することにより分類精度を向上させる、
請求項１から１３のいずれか一項に記載の方法。 - クラシファイヤ機能を事前訓練することをさらに含み、生物学的試料の複数の異なる画像に由来するオブジェクトの訓練セットを、生体画像解析デバイス上において解析することを含み、生体画像解析デバイスが、訓練セットの各オブジェクトについてオブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、クラシファイヤ訓練機能を実施するようにプログラムされ、前記可能性の計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ機能によって生成される、オブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、請求項１から１４のいずれか一項に記載の方法。 - 生体画像解析デバイスのエンドクラシファイヤ機能を訓練して画像のオブジェクトを同定することをさらに含み、生体画像解析デバイス上において複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練の各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、エンドクラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって、
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られたコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる、請求項１から１５のいずれか一項に記載の方法。 - オブジェクトの追加フィーチャが、オブジェクトのさらなるオブジェクトフィーチャ又はオブジェクトのさらなるコンテキスト認識フィーチャであり、さらなるコンテキスト認識フィーチャが、さらなるクラシファイヤ機能により：
・画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易い、オブジェクトから抽出される少なくとも一つのさらなるオブジェクトフィーチャ；及び
・さらなるオブジェクトフィーチャに関連付けられる少なくとも一つのさらなるコンテキストフィーチャであって、各々が、さらなるオブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、少なくとも一つのさらなるコンテキストフィーチャ
を組み合わせることにより計算される、請求項１６に記載の方法。 - エンドクラシファイヤの訓練が、複数の異なるクラシファイヤのうちそれぞれにより計算されたコンテキスト認識フィーチャを組み合わせることを含み、各クラシファイヤがそれぞれの単一のオブジェクトフィーチャと一又は複数の関連するコンテキストフィーチャとについて訓練される、請求項１７に記載の方法。
- 生物学的試料の画像のオブジェクトのコンテキスト認識フィーチャ（２０４、２０８）を計算するように生体画像解析デバイスのクラシファイヤ機能を事前訓練する方法であって、生体画像解析デバイス上において、生物学的試料の複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練セットの各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、クラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われ、
事前訓練されたクラシファイヤ関数によって生成される、オブジェクトがオブジェクトのあるクラスに属する可能性が、コンテキスト認識フィーチャである、方法。 - オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、請求項１９に記載の方法。
- 少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、請求項１９又は２０に記載の方法。
- 少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、請求項１９から２１のいずれか一項に記載の方法。
- 画像のオブジェクトを同定するように生体画像解析デバイスのエンドクラシファイヤ機能を訓練する方法であって、生体画像解析デバイス上において、複数の異なる画像由来のオブジェクトの訓練セットを解析することを含み、生体画像解析デバイスは、訓練の各オブジェクトについて、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することにより、エンドクラシファイヤ訓練機能を実施するようにプログラムされており、前記可能性の計算が：
−オブジェクトの少なくとも一つのコンテキスト認識フィーチャであって：
・オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
・オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより得られたコンテキスト認識フィーチャ、並びに
−オブジェクトの追加フィーチャ
を組み合わせることにより行われる、方法。 - オブジェクトの少なくとも一つの追加フィーチャが追加オブジェクトフィーチャである、請求項２３に記載の方法。
- オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、請求項２４に記載の方法。
- 少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、請求項２４又は２５に記載の方法。
- 少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、請求項２４から２６のいずれか一項に記載の方法。
- オブジェクトの少なくとも一つの追加フィーチャが追加コンテキスト認識フィーチャである、請求項２４から２７のいずれか一項に記載の方法。
- 別個のコンテキスト認識クラシファイヤが、追加コンテキスト認識フィーチャを計算するように訓練される、請求項２８に記載の方法。
- 試験画像内のオブジェクトを同定する方法であって、試験画像内のオブジェクトのコンテキスト認識フィーチャを計算するためのクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上で試験画像を解析することを含み、前記計算が：
−オブジェクトから抽出された少なくとも一つのオブジェクトフィーチャであって、画像のコンテキストにおいてオブジェクトの特徴を示し、かつ画像間のばらつきの影響を受け易いオブジェクトフィーチャと；
−オブジェクトフィーチャに関連付けられる少なくとも一つのコンテキストフィーチャであって、各々が、オブジェクトフィーチャが抽出された画像内部の一グループのオブジェクト又はピクセルの特徴を示す、コンテキストフィーチャと
を組み合わせることにより行われる、方法。 - オブジェクトフィーチャが、経験的に、又は高度なフィーチャ発見方法により、又は最小冗長性及び最大関連性（ｍＲＭＲ）ルールにより、同定される、請求項３０に記載の方法。
- 少なくとも一つのコンテキストフィーチャは、異なる画像における同じオブジェクトフィーチャの画像間のばらつきを取り込むことができる、請求項３０又は３１に記載の方法。
- 少なくとも一つのコンテキストフィーチャがオブジェクトフィーチャのグループ統計である、請求項３０から３２のいずれか一項に記載の方法。
- エンドクラシファイヤが、コンテキスト認識フィーチャと、試験画像内のオブジェクトの追加フィーチャとを組み合わせて、オブジェクトがあるクラスに属する可能性を計算する、請求項３０から３３のいずれか一項に記載の方法。
- 少なくとも一つの追加フィーチャが、オブジェクトから抽出された追加オブジェクトフィーチャである、請求項３４に記載の方法。
- オブジェクトの少なくとも一つの追加フィーチャが追加のコンテキスト認識フィーチャである、請求項３４又は３５に記載の方法。
- 別個のコンテキスト認識クラシファイヤが、追加コンテキスト認識フィーチャを計算するように訓練される、請求項３４から３６のいずれか一項に記載の方法。
- 生物学的試料の試験画像内のオブジェクトを同定する方法であって、オブジェクトがオブジェクトのあるクラスに属する可能性を計算することによりエンドクラシファイヤ機能を実施するようにプログラムされた生体画像解析デバイス上でオブジェクトを解析することを含み、上記可能性の計算が、オブジェクトのコンテキスト認識フィーチャとオブジェクトの少なくとも一つの追加フィーチャを組み合わせることにより行われ、エンドクラシファイヤ機能が、請求項２３から２９のいずれか一項に記載の方法に従って訓練される、方法。
- 事前訓練されたクラシファイヤがコンテキスト認識フィーチャを計算する、請求項３８に記載の方法。
- 生物学的試料の画像内のオブジェクを同定するためのシステムであって、生体画像解析デバイスを備え、生体画像解析デバイスが：
プロセッサ；及び
プロセッサに連結された、コンピュータで実行可能な命令を記憶するメモリであって、前記命令は、プロセッサによって実行されると、プロセッサに、請求項１から３６のいずれか一項に記載の方法を含む工程を実施させるメモリ
を備えるシステム。 - 生体画像解析デバイス又は生物学的試料の画像をデジタル方式で記憶することのできる非一時的なコンピュータ可読記憶媒体に動作可能に連結された画像化装置をさらに備える、請求項４０に記載のシステム。
- 生物学的試料の画像をデジタル方式で記憶する非一時的なコンピュータ可読記憶媒体をさらに備える、請求項４１に記載のシステム。
- プロセッサにより実行されて、請求項１から３９のいずれか一項に記載の方法を含む工程を実施するコンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体。
- 生物学的試料のデジタル画像（１０２−１０８）内の特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析システムであって、プロセッサとメモリを備え、メモリが、プロセッサにより実行されるとき、プロセッサに、
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること（６０２）；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値（２０２、７０２）を同定するために、デジタル画像を解析すること（６０４）；
−第１のコンテキストフィーチャ値（２０４、７０４）を計算するためにデジタル画像を解析することであって、第１のコンテキストフィーチャ値が、デジタル画像内の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、デジタル画像を解析すること（６０６）；
−デジタル画像中のオブジェクトの第１のオブジェクトフィーチャ値と、前記デジタル画像の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤ（２１０、７１０）に入力すること（６０８）；
−第１のクラシファイヤを実行することであって、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性（２１６，７１４）を自動的に決定するための入力として使用する、実行すること（６１０）
を含む方法を実施させる、解釈可能な命令を含む画像解析システム。 - 第１の可能性の決定が、第１のクラシファイヤにより、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じる第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のコンテキストフィーチャ値を使用することを含む、請求項４４に記載のシステム。
- 方法がさらに：
ａ）各オブジェクトについて、前記オブジェクトの第２のオブジェクトフィーチャの第２のオブジェクトフィーチャ値（２０６、７０６）を同定するために、デジタル画像を解析すること；
ｂ）各々が、デジタル画像内の複数のオブジェクトの第２のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第２のコンテキストフィーチャ値（２０８、７０８）を計算するために、デジタル画像を解析すること（７０８）；
ｃ）オブジェクトの各々の第２のオブジェクトフィーチャ値と、前記デジタル画像の第２のコンテキストフィーチャ値の両方を、第２のクラシファイヤ（２１２、７１２）に入力すること；
ｄ）オブジェクトの各々について、オブジェクトの第２のオブジェクトフィーチャ値及び一又は複数の第２のコンテキストフィーチャ値を使用することにより、オブジェクトクラスのメンバーである第２の可能性（２１８、７１６）を自動的決定するために、第２のクラシファイヤを実行すること；並びに
−オブジェクトの各々について、前記オブジェクトについて計算された第１及び第２の可能性に基づいて、オブジェクトクラスのメンバーである合成された可能性（７１８）を計算すること
を含む、請求項４４又は４５に記載のシステム。 - オブジェクトクラスの各オブジェクトが、少なくとも一つのさらなるオブジェクトフィーチャを割り付けており、システムが、第１及び第２のクラシファイヤを備え、さらにさらなるプロパティの各々のためのさらなるクラシファイヤをさらに備え、方法がさらに：
−各オブジェクトがオブジェクトクラスのメンバーであるさらなる可能性をそれぞれ計算するために、さらなるプロパティの各々について工程ａ）からｄ）を繰り返すこと；及び
−オブジェクトの各々について、第１及び第２の可能性並びにさらなる可能性の各々に基づいてオブジェクトクラスのメンバーである合成された可能性を計算すること
を含む、請求項４６に記載のシステム。 - −デジタル画像が生物学的試料の画像又は組織スライド全体であるか；又は
−デジタル画像が、生物学的試料の画像内部の小区域又は組織スライド全体の内部の小区域である、
請求項４４から４７のいずれか一項に記載のシステム。 - 方法が：
−プロパティのうちの一又は複数に関して、前記デジタル画像の他の小区域内のオブジェクトより不均一性の低いオブジェクトを有するデジタル画像の小区域を、自動的に又は手動で同定することにより、小区域を選択すること；及び
−同定された小区域を、第１、第２及び／又はさらなるコンテキストフィーチャ値が計算されるデジタル画像として使用すること
を含む、請求項４８に記載のシステム。 - −第１のコンテキストフィーチャ値が、画像間のばらつきによって生じた第１のオブジェクトフィーチャ値のばらつきを示す；及び／又は
−第２のコンテキストフィーチャ値が、画像間のばらつきによって生じた第２のオブジェクトフィーチャ値のばらつきを示す；及び／又は
−さらなるコンテキストフィーチャ値の各々が、画像間のばらつきによって生じたそれぞれのさらなるオブジェクトフィーチャ値のばらつきを示す、
請求項４４から４９のいずれか一項に記載のシステム。 - −第１のコンテキストフィーチャ値の計算が、デジタル画像内の複数のオブジェクト又はピクセルの第１のオブジェクトフィーチャ値の統計的平均を計算することを含む；及び／又は
−第２のコンテキストフィーチャ値の計算が、デジタル画像内の複数のオブジェクト又はピクセルの第２のオブジェクトフィーチャ値の統計的平均を計算することを含む；及び／又は
−さらなるコンテキストフィーチャ値の各々の計算が、デジタル画像内の複数のオブジェクト又はピクセルのさらなるオブジェクトフィーチャ値それぞれの統計的平均を計算することを含む、
請求項４４から５０のいずれか一項に記載のシステム。 - オブジェクトクラスが、リンパ球、腫瘍細胞、特定の組織型の細胞、特定のバイオマーカーで陽性に染色された細胞、前記細胞型のうちのいずれか一つの核のうちの一つである、請求項４４から５１のいずれか一項に記載のシステム。
- −第１のオブジェクトフィーチャが：
ｉ．染色又はオブジェクトに結合したバイオマーカーの量と相関する、オブジェクトの強度値；
ｉｉ．オブジェクトの直径；
ｉｉｉ．オブジェクトのサイズ；
ｉｖ．形状プロパティ；
ｖ．一つのオブジェクトから次の隣接オブジェクトまでの距離；
ｖｉ．テクスチャプロパティ；
のうちの一つであり、
−第２及び／又はさらなるオブジェクトフィーチャが解析される場合、第２のオブジェクトフィーチャ又はさらなるオブジェクトフィーチャはプロパティｉからｖｉの残りのうちの一つである、
請求項４４から５２のいずれか一項に記載のシステム。 - それぞれのクラシファイヤに入力される値を有する第１、第２及び／又はさらなるプロパティが：
−手作業により特定されるか；又は
−高度なフィーチャ発見方法によって特定されるか；又は
−最小冗長性及び最大関連性（ｍＲＭＲ）ルールによって特定される、
請求項４４から５４のいずれか一項に記載のシステム。 - オブジェクトの第１、第２及び／又はさらなるオブジェクトフィーチャが：
−デジタル画像内のすべてのオブジェクト内で変動する、及び／又は
−スライド全体の画像である同じデジタル画像のオブジェクト内で変動する、及び／又は
−スライド全体の画像の小区画である同じデジタル画像内で変動する、及び／又は
−同じ生物体の異なる組織試料から得られた異なるデジタル画像に属するオブジェクト内で変動する；及び／又は
−同じ種の異なる個体内で変動する、
請求項４４から５５のいずれか一項に記載のシステム。 - 方法が、第１のクラシファイヤを：
−未訓練バージョンの第１のクラシファイヤにより、記憶媒体から複数のデジタル訓練画像を読むことであって、各訓練デジタル画像がそれぞれ一又は複数の異なるオブジェクトクラスのオブジェクトを表わす複数のピクセルブロブを含み、各ピクセルブロブがオブジェクトクラスのメンバー又は非メンバーとして注釈付けされる、読むこと、
−注釈付けされた各ピクセルブロブについて、前記ピクセルブロブの第１のオブジェクトフィーチャの訓練第１オブジェクトフィーチャ値を同定するために、訓練デジタル画像の各々を解析すること、
−訓練第１コンテキストフィーチャ値を計算するために、訓練デジタル画像の各々を解析することであって、訓練第１コンテキストフィーチャ値が、前記訓練デジタル画像内の複数のピクセルブロブの訓練第１オブジェクトフィーチャ値又はその他訓練オブジェクトフィーチャ値から導出されるものであるか、又は訓練画像の複数のピクセルから導出されるものである、解析すること、
−ピクセルブロブの各々について、少なくとも注釈付け、訓練第１オブジェクトフィーチャ値及び訓練第１コンテキストフィーチャ値を未訓練バージョンの第１のクラシファイヤに入力することにより、未訓練バージョンの第１のクラシファイヤを訓練することであって、それにより第１のクラシファイヤを生成し、第１のクラシファイヤは、前記オブジェクトの第１のオブジェクトフィーチャ値の、前記特定のオブジェクトクラスのメンバーであるとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性が、前記特定のオブジェクトクラスのメンバーでないとして注釈付けされたピクセルブロブの訓練第１オブジェクトフィーチャ値に対する類似性より高い場合に、オブジェクトが特定のオブジェクトクラスのメンバーであるより高い可能を計算するように構成されており、これにより可能性が、第１の又はその他のコンテキストフィーチャ値に含まれる画像内コンテキスト情報にさらに依存する、訓練すること
によって生成することをさらに含む、請求項４４から５５のいずれか一項に記載のシステム。 - −第１のクラシファイヤの第１の可能性の計算が、第１のクラシファイヤにより、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化するために、第１のコンテキストフィーチャ値を使用することを含み、
−未訓練バージョンの第１のクラシファイヤの訓練が、第１のクラシファイヤにより、オブジェクトを分類するために第１のオブジェクトフィーチャを用いて第１のクラシファイヤの分類精度を向上させることのできる複数のプロパティのうちの一つを同定することを含み、同定されたプロパティが、分類精度を、複数のオブジェクトクラスのうちの一つに対するオブジェクトのメンバーシップ以外の要因により生じた第１のオブジェクトフィーチャ値のばらつきを平均化することにより向上させ、訓練が、前記オブジェクトの第１のオブジェクトフィーチャ値を入力として使用することにより、同定されたプロパティについて計算された入力コンテキストフィーチャ値が、オブジェクトについて計算された可能性を調節するように、第１のクラシファイヤのクラシファイヤモデルを修正することを含む、
請求項４４から５６のいずれか一項に記載のシステム。 - 画像解析のプロセッサによって実施される、生物学的試料４４−５８のデジタル画像内の特定のオブジェクトクラスに属するオブジェクトを同定するための画像解析方法であって：
−デジタル画像中のオブジェクトを自動的に又は半自動的に同定するためにデジタル画像を解析すること（６０２）；
−各オブジェクトについて、前記オブジェクトの第１のオブジェクトフィーチャの第１のオブジェクトフィーチャ値（７０２）を同定するために、デジタル画像を解析すること（６０４）；
−各々が、デジタル画像中の複数のオブジェクトの第１のオブジェクトフィーチャ値又はその他のオブジェクトフィーチャ値から導出されるものであるか、又はデジタル画像の複数のピクセルから導出されるものである、一又は複数の第１のコンテキストフィーチャ値（７０４）を計算するために、デジタル画像を解析すること（６０６）；
−デジタル画像中のオブジェクトの各々の第１のオブジェクトフィーチャ値及び前記デジタル画像の第１のコンテキストフィーチャ値の両方を、第１のクラシファイヤ（７１０）に入力すること（６０８）；
−第１のクラシファイヤを実行し、それにより第１のクラシファイヤが各オブジェクトの第１のオブジェクトフィーチャ値と一又は複数の第１のコンテキストフィーチャ値とを、前記オブジェクトについて、前記オブジェクトがオブジェクトクラスのメンバーである第１の可能性（７１４）を自動的に決定するための入力として使用すること（６１０）
を含む方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022162165A JP7466606B2 (ja) | 2014-08-04 | 2022-10-07 | コンテキストフィーチャを用いた画像解析システム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462032897P | 2014-08-04 | 2014-08-04 | |
| US62/032,897 | 2014-08-04 | ||
| JP2017506348A JP2017524196A (ja) | 2014-08-04 | 2015-08-04 | コンテキストフィーチャを用いた画像解析システム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017506348A Division JP2017524196A (ja) | 2014-08-04 | 2015-08-04 | コンテキストフィーチャを用いた画像解析システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022162165A Division JP7466606B2 (ja) | 2014-08-04 | 2022-10-07 | コンテキストフィーチャを用いた画像解析システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020205063A true JP2020205063A (ja) | 2020-12-24 |
| JP7335855B2 JP7335855B2 (ja) | 2023-08-30 |
Family
ID=53800969
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017506348A Withdrawn JP2017524196A (ja) | 2014-08-04 | 2015-08-04 | コンテキストフィーチャを用いた画像解析システム |
| JP2020136840A Active JP7335855B2 (ja) | 2014-08-04 | 2020-08-13 | コンテキストフィーチャを用いた画像解析システム |
| JP2022162165A Active JP7466606B2 (ja) | 2014-08-04 | 2022-10-07 | コンテキストフィーチャを用いた画像解析システム |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017506348A Withdrawn JP2017524196A (ja) | 2014-08-04 | 2015-08-04 | コンテキストフィーチャを用いた画像解析システム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022162165A Active JP7466606B2 (ja) | 2014-08-04 | 2022-10-07 | コンテキストフィーチャを用いた画像解析システム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10565429B2 (ja) |
| EP (2) | EP3178035B1 (ja) |
| JP (3) | JP2017524196A (ja) |
| AU (1) | AU2015299073A1 (ja) |
| CA (1) | CA2951600C (ja) |
| WO (1) | WO2016020391A2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10410096B2 (en) * | 2015-07-09 | 2019-09-10 | Qualcomm Incorporated | Context-based priors for object detection in images |
| EP3136289A1 (en) * | 2015-08-28 | 2017-03-01 | Thomson Licensing | Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium |
| US10108779B2 (en) * | 2015-12-15 | 2018-10-23 | Leica Biosystems Imaging, Inc. | Automatic nuclear segmentation |
| US10055669B2 (en) * | 2016-08-12 | 2018-08-21 | Qualcomm Incorporated | Methods and systems of determining a minimum blob size in video analytics |
| CN107786867A (zh) * | 2016-08-26 | 2018-03-09 | 原相科技股份有限公司 | 基于深度学习架构的图像辨识方法及系统 |
| US10726573B2 (en) | 2016-08-26 | 2020-07-28 | Pixart Imaging Inc. | Object detection method and system based on machine learning |
| CN107785016A (zh) * | 2016-08-31 | 2018-03-09 | 株式会社东芝 | 训练神经网络辅助模型的方法和装置及语音识别方法和装置 |
| JPWO2018128091A1 (ja) * | 2017-01-05 | 2019-11-07 | コニカミノルタ株式会社 | 画像解析プログラム及び画像解析方法 |
| KR102535909B1 (ko) * | 2017-03-12 | 2023-05-23 | 일리티카 엘엘씨 | 디지털 분자 분석 |
| JP6862538B2 (ja) * | 2017-04-14 | 2021-04-21 | 株式会社日立ハイテク | 撮像装置および形態特徴データ表示方法 |
| US11443179B2 (en) * | 2017-05-19 | 2022-09-13 | Tata Consultancy Services Limited | Simultaneous multi-class learning for data classification |
| US11410073B1 (en) * | 2017-05-31 | 2022-08-09 | The Mathworks, Inc. | Systems and methods for robust feature selection |
| WO2019079526A1 (en) * | 2017-10-17 | 2019-04-25 | Gnommme Llc | IMAGE SELECTION BASED ON THE CONTEXT |
| WO2019102042A1 (en) * | 2017-11-27 | 2019-05-31 | Deciphex | Automated screening of histopathology tissue samples via classifier performance metrics |
| ES2684373B2 (es) * | 2017-12-19 | 2019-05-27 | Univ Leon | Procedimiento y sistema de vision artificial para la descripcion y clasificacion automatica de tejidos no patologicos del sistema cardiovascular humano |
| WO2019169157A1 (en) * | 2018-02-28 | 2019-09-06 | Visiongate, Inc. | Morphometric detection of malignancy associated change |
| EP3844771A1 (en) | 2018-08-31 | 2021-07-07 | Ventana Medical Systems, Inc. | Contextually adaptive digital pathology interface |
| US10769432B2 (en) * | 2018-10-10 | 2020-09-08 | Drvision Technologies Llc | Automated parameterization image pattern recognition method |
| GB2582644A (en) * | 2019-03-29 | 2020-09-30 | Symetrica Ltd | Nuclear radiation monitoring apparatus and method |
| CN114521268A (zh) * | 2019-10-07 | 2022-05-20 | 松下知识产权经营株式会社 | 分类系统、分类方法以及程序 |
| US12079950B2 (en) * | 2020-02-14 | 2024-09-03 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, smart microscope, readable storage medium and device |
| US11379697B2 (en) | 2020-05-20 | 2022-07-05 | Bank Of America Corporation | Field programmable gate array architecture for image analysis |
| US11295430B2 (en) | 2020-05-20 | 2022-04-05 | Bank Of America Corporation | Image analysis architecture employing logical operations |
| KR20230027164A (ko) * | 2020-06-19 | 2023-02-27 | 페이지.에이아이, 인크. | 조직 맵 시각화를 생성하기 위해 전자 이미지를 처리하는 시스템 및 방법 |
| CN113050594B (zh) * | 2021-03-11 | 2022-04-19 | 北京航空航天大学 | 一种矢量喷管控制系统的多信息融合故障诊断方法及系统 |
| US11960576B2 (en) * | 2021-07-20 | 2024-04-16 | Inception Institute of Artificial Intelligence Ltd | Activity recognition in dark video based on both audio and video content |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004042392A1 (ja) * | 2002-11-07 | 2004-05-21 | Fujitsu Limited | 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2200457C (en) * | 1994-09-20 | 2001-08-14 | Shih-Jong J. Lee | Biological analysis system self-calibration apparatus |
| US8542899B2 (en) * | 2006-11-30 | 2013-09-24 | Definiens Ag | Automatic image analysis and quantification for fluorescence in situ hybridization |
| US7958068B2 (en) * | 2007-12-12 | 2011-06-07 | International Business Machines Corporation | Method and apparatus for model-shared subspace boosting for multi-label classification |
| US10013638B2 (en) * | 2008-08-14 | 2018-07-03 | Ping Zhang | Cancer diagnostic method and system |
| US20170105668A1 (en) * | 2010-06-07 | 2017-04-20 | Affectiva, Inc. | Image analysis for data collected from a remote computing device |
| WO2013106842A2 (en) * | 2012-01-13 | 2013-07-18 | The Charles Stark Draper Laboratory, Inc. | Stem cell bioinformatics |
| US20140036054A1 (en) * | 2012-03-28 | 2014-02-06 | George Zouridakis | Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases |
| JP5984559B2 (ja) * | 2012-07-31 | 2016-09-06 | オリンパス株式会社 | 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム |
| JP5668090B2 (ja) * | 2013-01-09 | 2015-02-12 | キヤノン株式会社 | 医療診断支援装置及び医療診断支援方法 |
| JP5907125B2 (ja) * | 2013-07-25 | 2016-04-20 | 富士ゼロックス株式会社 | 画像処理装置、プログラム及び画像処理システム |
| WO2015054666A1 (en) * | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
| US9002085B1 (en) * | 2013-10-22 | 2015-04-07 | Eyenuk, Inc. | Systems and methods for automatically generating descriptions of retinal images |
| ES2701092T5 (es) | 2014-02-24 | 2022-05-12 | Ventana Med Syst Inc | Procedimientos, kits y sistemas para puntuar la respuesta inmunitaria al cáncer por detección simultánea de CD3, CD8, CD20 y FOXP3 |
| US9922433B2 (en) * | 2015-05-29 | 2018-03-20 | Moira F. Schieke | Method and system for identifying biomarkers using a probability map |
| WO2017031099A1 (en) * | 2015-08-20 | 2017-02-23 | Ohio University | Devices and methods for classifying diabetic and macular degeneration |
-
2015
- 2015-08-04 AU AU2015299073A patent/AU2015299073A1/en not_active Abandoned
- 2015-08-04 CA CA2951600A patent/CA2951600C/en active Active
- 2015-08-04 EP EP15748219.1A patent/EP3178035B1/en active Active
- 2015-08-04 WO PCT/EP2015/067972 patent/WO2016020391A2/en active Application Filing
- 2015-08-04 JP JP2017506348A patent/JP2017524196A/ja not_active Withdrawn
- 2015-08-04 EP EP20197555.4A patent/EP3779779A1/en active Pending
-
2017
- 2017-02-06 US US15/425,894 patent/US10565429B2/en active Active
-
2020
- 2020-08-13 JP JP2020136840A patent/JP7335855B2/ja active Active
-
2022
- 2022-10-07 JP JP2022162165A patent/JP7466606B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004042392A1 (ja) * | 2002-11-07 | 2004-05-21 | Fujitsu Limited | 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置 |
Non-Patent Citations (1)
| Title |
|---|
| MAREK KOWEL, PAWEL FILIPCZUK: "Nuclei Segmentaion for Computer-Aided Diagnosis of Breast Cancer", INTERNATIONAL JOURNAL OF APPLIED MATHEMATICS AND COMPUTER SCIENCE, vol. 24, no. 1, JPN7021004349, 2014, pages 13 - 31, XP055224554, ISSN: 0004919073, DOI: 10.2478/amcs-2014-0002 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3779779A1 (en) | 2021-02-17 |
| WO2016020391A2 (en) | 2016-02-11 |
| JP7335855B2 (ja) | 2023-08-30 |
| JP7466606B2 (ja) | 2024-04-12 |
| US20170243051A1 (en) | 2017-08-24 |
| CA2951600A1 (en) | 2016-02-11 |
| EP3178035A2 (en) | 2017-06-14 |
| WO2016020391A3 (en) | 2016-03-31 |
| CA2951600C (en) | 2022-12-06 |
| US10565429B2 (en) | 2020-02-18 |
| EP3178035B1 (en) | 2020-09-23 |
| JP2023024969A (ja) | 2023-02-21 |
| AU2015299073A1 (en) | 2016-12-15 |
| JP2017524196A (ja) | 2017-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7335855B2 (ja) | コンテキストフィーチャを用いた画像解析システム | |
| CN113454733B (zh) | 用于预后组织模式识别的多实例学习器 | |
| US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| US20200342597A1 (en) | Deep-learning systems and methods for joint cell and region classification in biological images | |
| Swiderska-Chadaj et al. | Impact of rescanning and normalization on convolutional neural network performance in multi-center, whole-slide classification of prostate cancer | |
| US10489904B2 (en) | Assessing risk of breast cancer recurrence | |
| Campanella et al. | Towards machine learned quality control: A benchmark for sharpness quantification in digital pathology | |
| JP2023512560A (ja) | 機械学習アルゴリズムを訓練し、患者のプライバシーを維持するための連合学習システム | |
| CN112703531A (zh) | 生成组织图像的注释数据 | |
| Sikpa et al. | Automated detection and quantification of breast cancer brain metastases in an animal model using democratized machine learning tools | |
| US20240087122A1 (en) | Detecting tertiary lymphoid structures in digital pathology images | |
| Marcuzzo et al. | Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging | |
| Salvi et al. | cyto‐Knet: An instance segmentation approach for multiple myeloma plasma cells using conditional kernels | |
| Perlo et al. | Dysplasia grading of colorectal polyps through convolutional neural network analysis of whole slide images | |
| Guachi-Guachi et al. | Convolutional neural networks applied to microtomy: Identifying the trimming-end cutting routine on paraffin-embedded tissue blocks | |
| US20220358650A1 (en) | Systems and methods to process electronic images to provide localized semantic analysis of whole slide images | |
| Roszkowiak et al. | System for quantitative evaluation of DAB&H-stained breast cancer biopsy digital images (CHISEL) | |
| Selcuk et al. | Automated HER2 Scoring in Breast Cancer Images Using Deep Learning and Pyramid Sampling | |
| Davidson et al. | Grey Level Texture Features for Segmentation of Chromogenic Dye RNAscope from Breast Cancer Tissue | |
| Polejowska et al. | Impact of Visual Image Quality on Lymphocyte Detection Using YOLOv5 and RetinaNet Algorithms | |
| US20230230242A1 (en) | Correcting differences in multi-scanners for digital pathology images using deep learning | |
| Walkowski | Transfer Learning and Cloud Computing Used for Nervous System Tumors Detection. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221007 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221019 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221025 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20221118 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20221122 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230110 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230221 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20230314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230818 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7335855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |