JP2022553446A - 一般化疾患検出のために電子画像を処理するためのシステムおよび方法 - Google Patents
一般化疾患検出のために電子画像を処理するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2022553446A JP2022553446A JP2022540708A JP2022540708A JP2022553446A JP 2022553446 A JP2022553446 A JP 2022553446A JP 2022540708 A JP2022540708 A JP 2022540708A JP 2022540708 A JP2022540708 A JP 2022540708A JP 2022553446 A JP2022553446 A JP 2022553446A
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning model
- target
- training images
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title claims description 13
- 201000010099 disease Diseases 0.000 title description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 305
- 238000012549 training Methods 0.000 claims abstract description 172
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 110
- 201000011510 cancer Diseases 0.000 claims abstract description 94
- 230000007170 pathology Effects 0.000 claims description 47
- 239000000090 biomarker Substances 0.000 claims description 46
- 239000003814 drug Substances 0.000 claims description 22
- 229940079593 drug Drugs 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 17
- 238000003745 diagnosis Methods 0.000 claims description 15
- 238000012512 characterization method Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 238000003364 immunohistochemistry Methods 0.000 claims description 10
- 230000001988 toxicity Effects 0.000 claims description 7
- 231100000419 toxicity Toxicity 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 83
- 239000000523 sample Substances 0.000 description 66
- 238000003860 storage Methods 0.000 description 23
- 241001465754 Metazoa Species 0.000 description 16
- 230000005856 abnormality Effects 0.000 description 12
- 238000011160 research Methods 0.000 description 12
- 238000011282 treatment Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 8
- 108090000623 proteins and genes Proteins 0.000 description 8
- 208000035977 Rare disease Diseases 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 description 6
- 206010070863 Toxicity to various agents Diseases 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000975 dye Substances 0.000 description 5
- 238000009533 lab test Methods 0.000 description 5
- 206010005003 Bladder cancer Diseases 0.000 description 4
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000013481 data capture Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007901 in situ hybridization Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 201000005112 urinary bladder cancer Diseases 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000000890 drug combination Substances 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010166 immunofluorescence Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010603 microCT Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 238000011275 oncology therapy Methods 0.000 description 2
- 230000002018 overexpression Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 231100001271 preclinical toxicology Toxicity 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013517 stratification Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 108010019670 Chimeric Antigen Receptors Proteins 0.000 description 1
- 230000004544 DNA amplification Effects 0.000 description 1
- 239000003298 DNA probe Substances 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 108020004518 RNA Probes Proteins 0.000 description 1
- 239000003391 RNA probe Substances 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003560 cancer drug Substances 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002648 combination therapy Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 230000001900 immune effect Effects 0.000 description 1
- 230000001024 immunotherapeutic effect Effects 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000009522 phase III clinical trial Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測し、複数の第２の訓練画像を受信し、第１の訓練画像および第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を含み、複数の第２の訓練画像の個別の第２の訓練画像に関連する複数の標的特殊化属性を受信し、複数の第２の訓練画像および標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させ、標的試料に対応する標的画像を受信し、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも１つの特性を決定し、標的画像の特性を出力することによって、特殊化機械学習モデルを発生させるためのシステムおよび方法が、開示される。
Description
（関連出願）
本願は、その全開示が、参照することによってその全体として本明細書に組み込まれる、２０２０年１月３日に出願された米国仮出願第６２／９５６，８７６号の優先権を主張する。
本願は、その全開示が、参照することによってその全体として本明細書に組み込まれる、２０２０年１月３日に出願された米国仮出願第６２／９５６，８７６号の優先権を主張する。
本開示の種々の実施形態は、概して、画像ベースの試料分類および関連画像処理方法に関する。より具体的には、本開示の特定の実施形態は、臨床および前臨床研究におけるバイオマーカの開発のための一般化汎癌機械学習モデルを開発するために画像を処理するためのシステムおよび方法に関する。
腫瘍学研究では、個人化された療法方略を開発する、腫瘍進行を測定する、および／または療法の効能を評価するために、異なる患者群を階層化することが、ますます重要になっている。そのような階層化に関する現在の実践は、殆どの機械学習システムの必要性と比較して比較的に小さい臨床治験サンプルを使用することである。例えば、多くの第ＩＩＩ相臨床治験は、５，０００人よりも少ない患者を登録し、第Ｉ相および第ＩＩ相臨床治験は、さらにより少ない患者を登録する（例えば、第１相は、概して、１００人未満の患者を登録し、第２相は、概して、３００人未満の患者を登録する）。深層学習および多くの他のエンドツーエンド機械学習技法をこれらの小さいデータセットと併用することは、過剰適合に起因して困難であり、これは、モデルが不正確な予測を行うことをもたらす。
故に、深層学習および他のエンドツーエンド機械学習技法に関する機械学習技術を、臨床治験を介して提供されるもの等の小さいデータセットとともに適用することが、有益であろう。
前述の一般的説明および以下の詳細な説明は、例示的および説明的にすぎず、本開示の制限ではない。本明細書に提供される背景説明は、概して、本開示の文脈を提示する目的のためのものである。本明細書に別様に示されない限り、本節に説明される資料は、本願における請求項の従来技術ではなく、本節における含有によって、従来技術である、または従来技術の示唆と認められるものではない。
本開示のある側面によると、試料タイプまたは試料性質を組織試料の画像分析から識別または照合するためのシステムおよび方法が、開示される。
特殊化機械学習モデルを発生させるための方法は、複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測するステップと、複数の第２の訓練画像を受信するステップであって、第１の訓練画像および第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第２の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも１つの特性を決定するステップと、標的画像の少なくとも１つの特性を出力するステップとを含む。
特殊化機械学習モデルを発生させるためのシステムは、命令を記憶する、メモリと、複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測するステップと、複数の第２の訓練画像を受信するステップであって、第１の訓練画像および第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第２の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも１つの特性を決定するステップと、標的画像の少なくとも１つの特性を出力するステップとを含む、プロセスを実施するために、命令を実行する、プロセッサとを含む。
プロセッサによって実行されると、プロセッサに、特殊化機械学習モデルを発生させるための方法を実施させる、命令を記憶する、非一過性コンピュータ可読媒体であって、本方法は、複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測するステップと、複数の第２の訓練画像を受信するステップであって、第１の訓練画像および第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第２の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも１つの特性を決定するステップと、標的画像の少なくとも１つの特性を出力するステップとを含む。前述の一般的説明および以下の詳細な説明が両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本明細書内に組み込まれ、その一部を成す、付随の図面は、種々の例示的実施形態を図示し、説明とともに、開示される実施形態の原理を解説する役割を果たす。
実施形態の説明
ここで、本開示の例示的実施形態が、詳細に参照され、その実施例は、付随の図面に図示される。可能であるときは常に、同一の参照番号が、同一または同様の部分を指すために、図面全体を通して使用されるであろう。本明細書に使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。また、用語「ａ」および「ａｎ」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの１つまたはそれを上回るものの存在を示す。続く議論では、「約」、「実質的に」、「およそ」等の相対的用語は、記載される値、数値、またはその他の±１０％またはそれを下回る可能性として考えられる変動を示すために使用される。
ここで、本開示の例示的実施形態が、詳細に参照され、その実施例は、付随の図面に図示される。可能であるときは常に、同一の参照番号が、同一または同様の部分を指すために、図面全体を通して使用されるであろう。本明細書に使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。また、用語「ａ」および「ａｎ」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの１つまたはそれを上回るものの存在を示す。続く議論では、「約」、「実質的に」、「およそ」等の相対的用語は、記載される値、数値、またはその他の±１０％またはそれを下回る可能性として考えられる変動を示すために使用される。
本明細書に開示されるシステム、デバイス、および方法は、実施例として、図を参照して詳細に説明される。本明細書に議論される実施例は、実施例にすぎず、本明細書に説明される装置、デバイス、システム、および方法の解説を補助するために提供される。図面に示される、または下記に議論される、特徴またはコンポーネントのいずれも、必須として具体的に指定されない限り、これらのデバイス、システム、または方法のうちのいずれかの任意の具体的実装のために必須なものとして捉えられるべきではない。
また、説明される任意の方法に関して、方法が、フロー図と併せて説明されるかどうかにかかわらず、文脈によって別様に規定または要求されない限り、方法の実行において実施されるステップの任意の明示的または暗示的順序付けは、それらのステップが、提示される順序で実施されなければならないことを含意するものではなく、代わりに、異なる順序において、または並行して実施され得ることを理解されたい。
本明細書に使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。また、用語「ａ」および「ａｎ」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの１つまたはそれを上回るものの存在を示す。
病理学は、疾患の研究を指す。より具体的には、病理学は、疾患を診断するために使用される、試験および分析を実施することを指す。例えば、組織サンプルが、病理学者（例えば、組織サンプルを分析し、任意の異常が存在するかどうかを決定することにおける専門家である、医師）によって、顕微鏡下で視認されるために、スライド上に設置されてもよい。すなわち、病理学試料は、複数の切片に切断され、染色され、病理学者が検査し、診断を与えるためのスライドとして調製され得る。診断の不確実性が、スライド上で見出されるとき、病理学者は、より多くの情報を組織から集めるために、付加的切断レベル、染色、または他の試験を指示し得る。技師は、次いで、新しいスライドを作成し得、これは、病理学者が診断を行う際に使用するための付加的情報を含有し得る。付加的スライドを作成する本プロセスは、これが組織の塊を採取し、これを切断し、新しいスライドを作製し、次いで、スライドを染色するステップを伴い得るためだけではなく、また、これが複数の指示のために一括化され得るため、時間がかかり得る。これは、病理学者が与える、最終診断を有意に遅延させ得る。加えて、遅延後でも、依然として、新しいスライドが診断を与えるために十分な情報を有するであろう保証がない場合がある。
病理学者は、分離して、癌および他の疾患病理学スライドを評価し得る。本開示は、癌および他の疾患の診断を改良するための統合されたワークフローを提示する。ワークフローは、例えば、スライド評価、タスク、画像分析および癌検出人工知能（ＡＩ）、注釈、コンサルテーション、および推奨を１つのワークステーション内に統合し得る。特に、本開示は、病理学者の作業を促し、改良するためにワークフローの中に統合され得る、種々の例示的ＡＩツールを説明する。
例えば、コンピュータが、組織サンプルの画像を分析し、付加的情報が特定の組織サンプルについて必要とされ得るかどうかを迅速に識別する、および／または病理学者がより詳しく調べるべき面積を強調するために使用されてもよい。本明細書に説明されるように、本分析は、臨床治験等の特殊化タスクまたは潜在的に希少な疾患を有する患者に対して行われ、分析を促進するためにＡＩ技術を使用することをより困難にし得る。したがって、付加的に染色されたスライドおよび試験を取得するプロセスは、病理学者によって精査される前に、自動的に行われてもよい。自動スライド区画化および染色機械および特殊化機械学習モデルと対合されるとき、これは、完全に自動化されたスライド調製パイプラインを提供し得る。本自動化は、少なくとも、（１）病理学者が（例えば、過剰補正に起因して）効果的ではない機械学習モデルを使用することによってスライドの所見を決定することによって浪費される時間量を最小限にする、（２）手動分析または疑わしい機械学習分析を行う付加的時間を回避することによって、試料入手から診断までの（平均総）時間を最小限にする、（３）手動の繰り返されるスライド調製の間に浪費／廃棄される組織物質の量を低減させる、（４）手技を部分的または完全に自動化することによってスライド調製の費用を低減させる、（５）病理学者にとっての付加的試験を要求する諸経費を低減させることによって、それらが特殊化機械学習モデルによって同一の時間に分析されるようにより大量のスライドが組織塊あたりに発生されることを可能にし、より情報が多い／精密な診断に寄与する、および／または（６）デジタル病理学画像の正しい性質（例えば、試料タイプに関する）を識別または照合する等の利益を有する。
病理学者を補助するためにコンピュータを使用するプロセスは、算出病理学と呼ばれる。算出病理学のために使用されるコンピューティング方法は、限定ではないが、統計的分析、自律的または機械学習、およびＡＩを含んでもよい。ＡＩは、限定ではないが、深層学習、ニューラルネットワーク、分類、クラスタ化、および回帰アルゴリズムを含んでもよい。算出病理学を使用することによって、病理学者が、その診断正確度、信頼性、効率、およびアクセス性を改良することに役立てることによって、命が救われ得る。例えば、算出病理学は、癌が疑われるスライドを検出することを補助し、それによって、病理学者が、最終診断を与える前に、その初期査定をチェックおよび確認することを可能にするために使用されてもよい。
組織病理学は、スライド上に設置されている試料の研究を指す。例えば、デジタル病理学画像が、試料（例えば、塗抹標本）を含有する、顕微鏡スライドのデジタル化された画像から成ってもよい。病理学者がスライド上の画像を分析するために使用し得る、１つの方法は、核を識別し、核が正常（例えば、良性）または異常（例えば、悪性）であるかどうかを分類することである。病理学者が核を識別および分類することを補助するために、組織学的染色が、細胞を可視化するために使用されてもよい。多くの色素ベースの染色システムが、開発されており、過ヨウ素酸シッフ反応、マッソントリクローム、ニッスルおよびメチレンブルー、およびヘマトキシリンおよびエオジン（Ｈ＆Ｅ）を含む。医療診断のために、Ｈ＆Ｅは、広く使用される色素ベースの方法であり、ヘマトキシリンは、細胞核を青色に染色し、エオジンは、細胞質および細胞外マトリクスを桃色に染色し、他の組織領域は、これらの色の変動を帯びる。しかしながら、多くの場合、Ｈ＆Ｅ染色による組織学的調製は、病理学者が、診断を支援する、または治療を誘導し得る、バイオマーカを視覚的に識別するための十分な情報を提供しない。本状況では、免疫組織化学（ＩＨＣ）、免疫蛍光、原位置ハイブリダイゼーション（ＩＳＨ）、または蛍光原位置ハイブリダイゼーション（ＦＩＳＨ）等の技法が、使用されてもよい。ＩＨＣおよび免疫蛍光は、例えば、組織内の具体的抗原に結合し、具体的着目タンパク質を発現する細胞の視覚的検出を可能にする、抗体の使用を伴い、これは、Ｈ＆Ｅ染色スライドの分析に基づいて、訓練された病理学者に確実に識別可能ではない、バイオマーカを明らかにし得る。ＩＳＨおよびＦＩＳＨは、採用されるプローブのタイプ（例えば、遺伝子コピー数のためのＤＮＡプローブおよびＲＮＡ発現の査定のためのＲＮＡプローブ）に応じて、遺伝子のコピーの数または具体的ＲＮＡ分子の存在量を査定するために採用されてもよい。これらの方法もまた、いくつかのバイオマーカを検出するために十分な情報を提供することができない場合、組織の遺伝子試験が、バイオマーカ（例えば、腫瘍内の具体的タンパク質または遺伝子産物の過剰発現、癌内の所与の遺伝子の増幅）が存在するかどうかを確認するために使用されてもよい。
デジタル化された画像は、染色された顕微鏡スライドを示すように調製されてもよく、これは、病理学者が、スライド上の画像を手動で視認し、画像内の染色された異常細胞の数を推定することを可能にし得る。しかしながら、本プロセスは、いくつかの異常が検出することが困難であるため、時間がかかり得、異常を識別する際の誤差につながり得る。機械学習モデルおよびデバイスを使用する算出プロセスが、病理学者が、そうでなければ検出することが困難であり得る、異常を検出することを補助するために使用されてもよい。例えば、ＡＩが、Ｈ＆Ｅおよび他の色素ベースの方法を使用して染色された組織のデジタル画像内の顕著な領域からバイオマーカ（タンパク質および／または遺伝子産物の過剰発現、具体的遺伝子の増幅または変異等）を予測するために使用されてもよい。組織の画像は、全スライド画像（ＷＳＩ）、マイクロアレイ内の組織コアの画像、または組織切片内の選択された着目面積であり得る。Ｈ＆Ｅのような染色方法を使用すると、これらのバイオマーカは、人間が付加的試験の支援を伴わずに視覚的に検出または定量化することが困難であり得る。ＡＩを使用し、これらのバイオマーカを組織のデジタル画像から推測することは、患者処置を改良する一方、また、より高速かつより安価となる潜在性を有する。
特殊化機械学習モデルによって検出されたバイオマーカが、次いで、患者を治療するために使用されるべき具体的癌薬物または薬物組み合わせ療法を推奨するために使用され得、ＡＩは、検出されたバイオマーカを治療選択肢のデータベースと相関させることによって、成功する可能性が低い、薬物または薬物組み合わせを識別し得る。これは、患者の具体的癌を標的するための免疫療法薬物の自動推奨を促進するために使用されることができる。さらに、これは、患者の具体的サブセットおよび／またはより希少な癌タイプのための個人化された癌治療を可能にするために使用され得る。
上記に説明されるように、本開示の算出病理学プロセスおよびデバイスは、統合されたプラットフォームを提供し、実験室情報システム（ＬＩＳ）と統合しながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取込、処理、および視認を含む、完全に自動化されたプロセスを可能にし得る。さらに、臨床情報が、患者データのクラウドベースのデータ分析を使用して集約されてもよい。データは、病院、診療所、現場研究者等に由来してもよく、機械学習、コンピュータビジョン、自然言語処理、および／または統計的アルゴリズムによって分析され、複数の地理的特異性レベルにおいて、健康パターンのリアルタイム監視および予想を行ってもよい。
上記に説明されるＡＩおよび機械学習技法は、限定された訓練データセットが利用可能である実装に適用されてもよい。限定された訓練データセットは、小規模な研究、臨床治験、および／または希少な疾患に対応し得、したがって、利用可能な訓練データの量は、そのように行うことが、過剰適合をもたらし、結果として、モデルが不正確な予測を行うことをもたらすであろうため、非初期機械学習モデルを訓練するために十分ではない。開示される主題の実装によると、小さいデータセットの限界は、交差する組織タイプを横断して腫瘍特性、形態、および腫瘍微小環境を学習するように構成される一般化機械学習モデル（例えば、汎癌検出モデル）を使用することによって軽減され得る。一般化機械学習モデルは、複数の異なる癌タイプに基づいて、かつ組織学者、ゲノム入力、放射線画像、実験室試験、患者特性、および同等物、またはそれらの組み合わせを含む、複数の異なる入力に基づいて訓練されてもよい。一般化機械学習モデルは、データの小さいセットが利用可能である、小規模な研究、臨床治験等の特殊化タスクのために、または希少な疾患のために予測を行うためにより良好に適した特殊化機械学習モデルを訓練するために使用されてもよい。
一般化機械学習モデルは、これが患者特有入力を受信し、癌特性を出力するように構成されるように、画像および他の入力の第１のセットに基づいて訓練されてもよい。癌特性は、癌診断、腫瘍特性評価、バイオマーカ検出、または同等物であってもよい。
一般化機械学習モデルは、ローショット学習技法を使用して、特殊化機械学習モデルを発生させるように最適化されてもよい。ローショット学習技法は、一般化機械学習モデルを修正し、より小さいデータセットに関する特殊化バイオマーカ、薬物応答予測、および／または癌転帰予測を開発するために使用されてもよい。より小さいデータセットは、例えば、十分な訓練データを収集するために大規模な臨床治験を行うことが不可能または困難であり得る、小規模な研究、臨床治験からのものである、または希少な疾患に関するものであり得る。故に、開示される主題は、臨床および前臨床研究におけるバイオマーカの開発のために、腫瘍特性、形態、および微小環境を使用する一般化癌機械学習モデルを活用する。
本明細書にさらに開示されるように、病理学試料（例えば、組織学、細胞学、免疫組織化学等、またはそれらの組み合わせ）のデジタル画像および任意の関連付けられる情報（例えば、ゲノム、実験室試験、放射線医学、患者特性等）が、受信および記憶されてもよい。各病理学試料は、関連付けられる情報および個別の疾患存在、転帰ステータス（応答、再発等）、および／または任意のバイオマーカの存在についての疾患情報にリンクされてもよい。
一般化機械学習モデルは、深層学習を使用してインスタンス化されてもよく、関連付けられる情報および疾患情報にリンクされる大量（例えば、５，０００個以上、１０，０００個以上、１００，０００個以上、１，０００，０００以上等）の病理学試料を使用して訓練されてもよい。一般化機械学習モデルは、複数の組織タイプから、癌診断および治療に関連する疾患、バイオマーカ、および／または他の属性を予測するように訓練されてもよい。訓練に基づいて、一般化機械学習モデルは、一般化機械学習モデルの層が、腫瘍特性および正常および異常な組織形態を識別するように調整されるように、多様な異なる組織タイプを横断して癌および／またはバイオマーカの存在を検出してもよい。一般化機械学習モデルは、下流の機械学習アルゴリズムと併用され得る診断特徴を抽出するために使用されてもよい、またはこれは、新しいタスクのために微調整されることができる。
特殊化機械学習モデルは、より大きいデータサンプルが取得されることができない、または取得することが困難である、臨床治験（例えば、第１相、第２相、第３相）等の小規模な研究（例えば、１，０００個未満のサンプル、３，０００個未満のサンプル、４，０００個未満のサンプル、５，０００個未満のサンプル等）および／または希少な疾患に関する研究を伴う用途のために発生されてもよい。特殊化機械学習モデルは、一般化機械学習モデルが訓練された訓練データセットと異なる特殊化訓練データセットに基づいて、一般化機械学習モデルを修正することによって発生されてもよい。特殊化訓練データセットは、小規模な研究からのものである、または別様に小さいデータセットを伴う特殊化タスクに関連してもよい。一般化機械学習モデルは、規定された機械学習モデルが、一般化機械学習モデルの１つまたはそれを上回る層を活用し、小規模な研究の属性に適合するように１つまたはそれを上回る他の層を調整または置換し得るように、特殊化機械学習モデルを発生させるために修正されてもよい。より具体的には、特殊化機械学習モデルは、一般化機械学習モデルの癌検出、腫瘍特性評価、および／またはバイオマーカ検出能力を活用し、小規模な研究のために構成される特殊化モデルを構築してもよい。
図１Ａは、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのシステムおよびネットワークのブロック図を図示する。本明細書にさらに開示されるように、図１Ａのシステムおよびネットワークは、一般化機械学習モデルまたは特殊化機械学習モデルと併用されてもよい。
具体的には、図１Ａは、病院、実験室、および／または医師のオフィス等におけるサーバに接続され得る、電子ネットワーク１２０を図示する。例えば、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５等がそれぞれ、１つまたはそれを上回るコンピュータ、サーバ、および／またはハンドヘルドモバイルデバイスを通して、インターネット等の電子ネットワーク１２０に接続されてもよい。ある実装によると、電子ネットワーク１２０はまた、サーバシステム１１０に接続されてもよく、これは、開示される主題の例示的実施形態による、機械学習モデル１００を実装するように構成される、処理デバイスを含んでもよい。
医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、患者の細胞学試料、組織病理学試料、細胞学試料のスライド、組織学、免疫組織化学、組織病理学試料のスライドのデジタル化された画像、またはそれらの任意の組み合わせを含む、病理学試料の１つまたはそれを上回るカテゴリの画像を作成または別様に取得してもよい。医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５はまた、年齢、医療既往歴、癌治療既往歴、家族歴、過去の生検、または細胞学情報等の患者特有の情報の任意の組み合わせを取得してもよい。医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、電子ネットワーク１２０を経由して、デジタル化されたスライド画像および／または患者特有の情報をサーバシステム１１０に伝送してもよい。サーバシステム１１０は、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの少なくとも１つから受信される画像およびデータを記憶するための１つまたはそれを上回る記憶デバイス１０９を含んでもよい。サーバシステム１１０はまた、記憶デバイス１０９内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム１１０はさらに、機械学習モデル１００を介した１つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。例えば、処理デバイスは、一実施形態による、機械学習モデル１００として示されるような一般化機械学習モデルまたは特殊化機械学習モデルを含んでもよい。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施されてもよい。
医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、スライドの画像を精査するために、病理学者によって使用されるシステムを指す。病院設定では、組織タイプ情報は、ＬＩＳ１２５内に記憶されてもよい。
図１Ｂは、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するための機械学習モデル１００の例示的ブロック図を図示する。
具体的には、図１Ｂは、一実施形態による、機械学習モデル１００のコンポーネントを描写する。例えば、機械学習モデル１００は、試料特性評価ツール１０１と、データ取込ツール１０２と、スライド取入ツール１０３と、スライド走査装置１０４と、スライドマネージャ１０５と、記憶装置１０６と、視認アプリケーションツール１０８とを含んでもよい。明確化のために、図１Ａおよび１Ｂに示される機械学習モデル１００は、以前に訓練および発生された機械学習モデル（例えば、一般化機械学習モデル、特殊化機械学習モデル等）である。付加的開示が、機械学習モデル１００として使用され得る異なるタイプの機械学習モデルを訓練および発生させるために本明細書に提供される。
試料特性評価ツール１０１は、本明細書に説明されるように、一般化機械学習モデルまたは特殊化機械学習モデル等の機械学習モデルを使用して、デジタル病理学画像に関する試料性質または画像性質等の特性（例えば、癌特性）を決定するためのプロセスおよびシステムを指す。
データ取込ツール１０２は、例示的実施形態による、デジタル病理学画像を特性評価および処理するために使用される、機械学習モデル１００の種々のツール、モジュール、コンポーネント、およびデバイスへのデジタル病理学画像の転送を促進するためのプロセスおよびシステムを指す。
スライド取入ツール１０３は、例示的実施形態による、病理学画像を走査し、それらをデジタル形態に変換するためのプロセスおよびシステムを指す。スライドは、スライド走査装置１０４を用いて走査されてもよく、スライドマネージャ１０５は、スライド上の画像をデジタル化された病理学画像に処理し、デジタル化された画像を記憶装置１０６内に記憶してもよい。
視認アプリケーションツール１０８は、例示的実施形態による、ユーザ（例えば、病理学者）に、デジタル病理学画像に関する特性評価または画像性質情報を提供するためのプロセスおよびシステムを指す。情報は、種々の出力インターフェース（例えば、画面、モニタ、記憶デバイス、および／またはウェブブラウザ等）を通して提供されてもよい。実施例として、視認アプリケーションツール１０８は、デジタル病理学画像にわたってオーバーレイ層を適用してもよく、オーバーレイ層は、重要な考慮する面積を強調してもよい。オーバーレイ層は、機械学習モデル１００の試料特性評価ツール１０１の出力であってもよい、またはそれに基づいてもよい。
試料特性評価ツール１０１およびそのコンポーネントはそれぞれ、ネットワーク１２０を経由して、デジタル化されたスライド画像および／または患者情報を、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５に伝送し、および／またはそこから受信してもよい。さらに、サーバシステム１１０は、試料特性評価ツール１０１、データ取込ツール１０２、スライド取入ツール１０３、スライド走査装置１０４、スライドマネージャ１０５、および視認アプリケーションツール１０８のうちの少なくとも１つから受信される画像およびデータを記憶するための記憶デバイスを含んでもよい。サーバシステム１１０はまた、記憶デバイス内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム１１０はさらに、例えば、処理デバイスに起因して、１つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施されてもよい。
試料特性評価ツール１０１は、機械学習モデル１００の出力（例えば、一般化機械学習モデル、特殊化機械学習モデル等）を提供してもよい。実施例として、スライド取入ツール１０３およびデータ取込ツール１０２は、一般化機械学習モデルまたは特殊化機械学習モデルへの入力を受信してもよく、試料特性評価ツールは、データに基づいてスライド内のバイオマーカを識別し、視認アプリケーションツール１０８を介してバイオマーカを強調する画像を出力してもよい。
上記のデバイス、ツール、およびモジュールのうちのいずれかは、１つまたはそれを上回るコンピュータ、サーバ、および／またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク１２０に接続され得る、デバイス上に位置してもよい。
図２は、開示される主題の例示的実装による、特殊化標的画像の少なくとも１つの特性を出力するためのフローチャート２００を示す。図２の２０２において、一般化機械学習モデルが、発生されてもよい。一般化機械学習モデルは、診断、組織特性評価、バイオマーカ検出、または同等物等の少なくとも１つの癌特性を予測するために発生されてもよい。一般化機械学習モデルは、ヒト組織、動物組織、または任意の適用可能な組織等の組織試料の画像および／またはヒト組織、動物組織、または任意の他の適用可能な組織を複製するようにアルゴリズム的に発生される画像に基づいて、異なる癌タイプに関する予測（例えば、バイオマーカ検出）を行ってもよい。組織試料は、単一の組織試料または複数の組織試料からのものであってもよい。２０４において、一般化機械学習モデルは、本明細書にさらに開示されるように、図３の訓練モジュール３００等の訓練モジュールにおいて受信される、決定される、および／または位置してもよい。２０６において、ヒト組織、動物組織、または任意の適用可能な組織の複数の特殊化訓練画像および／またはヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像が、受信されてもよい。複数の特殊化訓練画像は、限定された量のデータのみが利用可能である、小規模な研究（例えば、臨床治験、希少な疾患等）に対応してもよい。特殊化訓練画像は全て、本明細書に開示されるように、同一のカテゴリの病理学試料に対応してもよい。２０８において、個別の特殊化訓練画像にそれぞれ関連する複数の標的特殊化属性が、受信されてもよい。属性は、特殊化訓練画像が発生される患者に基づいて、個別の患者に関連してもよく、個別の手技、個別の治療、および／または他の個別の属性に基づいてもよい。２１０において、特殊化機械学習モデルが、２０６において受信された複数の特殊化画像および２０８において受信された標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって発生されてもよい。２１０において発生される特殊化機械学習モデルは、図１Ａの機械学習モデル１００に対応してもよい。
特殊化機械学習モデルを使用して分析されるべき標的画像が、２１２において受信される。標的画像は、２０６において受信された複数の特殊化訓練画像によって表される特殊化訓練データセットに基づいて分析されるべき画像に対応してもよい。２１４において、特殊化機械学習モデルは、標的画像の少なくとも１つの特性を決定するために、標的画像に適用されてもよい。標的画像の少なくとも１つの特性は、本明細書にさらに議論されるように、例えば、報告、表示、または任意の他の適用可能な出力を介して出力されてもよい。
図２の２０２において発生される一般化機械学習モデルは、深層学習を使用してインスタンス化され得る、エンドツーエンド機械学習モジュールであってもよい。一般化機械学習モデルは、１つを上回る組織タイプを横断する癌の存在または不在（例えば、前立腺癌、乳癌、膀胱癌等）を検出してもよい。これはまた、付加的バイオマーカまたは病期分類のために重要な情報を検出してもよい。例えば、膀胱癌に関して、一般化機械学習モデルは、膀胱癌病期分類のために検出される必要がある筋肉である、固有筋層の存在または不在を出力してもよい。一般化機械学習モデルは、複数の組織タイプから癌治療に関連する疾患、バイオマーカ、または他の属性を予測するために、大量のデータを用いて訓練されてもよい。本プロセスを通して、これは、その層が、腫瘍特性および正常および異常な組織形態を理解した上で構築されるように、多様な異なる組織タイプを横断して癌および／またはバイオマーカの存在を検出してもよい。本明細書にさらに開示されるように、一般化機械学習モデルは、下流の機械学習アルゴリズムと併用され得る診断特徴を抽出するために使用されてもよい、またはこれは、新しいタスクのために「微調整」されることができる。
２０２において一般化機械学習モデルを発生させるために、病理学試料（例えば、組織学、細胞学、免疫組織化学等）の多数のデジタル画像を含む患者データセットが、受信されてもよい。病理学試料は、本明細書に開示されるように、物理的生検サンプルに基づいて発生されるデジタル画像であってもよい、または、例えば、レンダリングシステムまたは生成的敵対的モデルによってヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像であってもよい。患者関連付け情報（ゲノム情報、実験室試験、放射線医学、患者特性、患者情報、治療情報等）もまた、患者データセットの一部として受信されてもよい。加えて、機械学習モデルの訓練の一部として、各患者データセットは、疾患存在／不在、病期分類変数の存在（例えば、膀胱癌に関する固有筋層）、癌の形態の分類（例えば、乳癌に関する小葉または乳管）、および異なる癌タイプに関する他の関連する変数、転帰ステータス（例えば、応答、再発等）、および／または任意のバイオマーカの存在等の癌特性出力（例えば、バイオマーカ）についての情報またはインジケーションと対合されてもよい。
患者データセット、患者関連付け情報、および／または癌特性出力は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちのいずれか１つまたは任意の組み合わせから受信されてもよい。訓練のために使用される画像は、現実の源（例えば、ヒト、動物等）に由来してもよい、または合成ソース（例えば、グラフィックスレンダリングエンジン、３Ｄモデル等）に由来してもよい。デジタル病理学画像の実施例は、（ａ）（限定ではないが）Ｈ＆Ｅ、ヘマトキシリンのみ、ＩＨＣ、分子病理学等の種々の染料で染色されたデジタル化されたスライドおよび／または（ｂ）マイクロＣＴ等の３Ｄ撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
一般化機械学習モデルは、癌特性出力と対合される患者データセットおよび患者関連付け情報を機械学習アルゴリズムに適用することに基づいて発生されてもよい。機械学習アルゴリズムは、入力として、病理学試料、患者関連付け情報、および癌特性出力を受け取り、１つまたはそれを上回る技法を使用して訓練を実装してもよい。例えば、一般化機械学習モデルは、１つまたはそれを上回る畳み込みニューラルネットワーク（ＣＮＮ）、複数インスタンス学習またはマルチラベル複数インスタンス学習を伴うＣＮＮ、リカレントニューラルネットワーク（ＲＮＮ）、長短期記憶ＲＮＮ（ＬＳＴＭ）、ゲート付き回帰型ユニットＲＮＮ（ＧＲＵ）、グラフ畳み込みネットワーク、または同等物、またはそれらの組み合わせにおいて訓練されてもよい。畳み込みニューラルネットワークは、直接、特性を判別するために必要な画像特徴表現を学習することができ、これは、試料毎に訓練するべき大量のデータが存在するとき、非常に良好に機能することができる一方、他の方法は、従来的なコンピュータビジョン特徴、例えば、ＳＵＲＦまたはＳＩＦＴのいずれかまたは訓練された畳み込みニューラルネットワークによって生成される学習された埋込（例えば、記述子）と併用されることができ、これは、訓練するべき少量のデータのみが存在するとき、利点をもたらすことができる。訓練された機械学習モデルは、患者データおよび患者関連付け情報に基づいて、出力として癌特性を提供するように構成されてもよい。
一般化機械学習モデルは、患者データセット（例えば、病理学試料（例えば、組織学、細胞学、免疫組織化学等）の１つまたはそれを上回るデジタル画像）および患者関連付け情報（ゲノム、実験室試験、放射線医学、患者特性等）を受信してもよい。一般化機械学習モデルの訓練されたアルゴリズムは、患者データセットおよび患者関連付け情報に適用され、デジタル画像内の癌の１つまたはそれを上回る領域等の１つまたはそれを上回る癌特性を決定してもよい。癌特性は、存在する場合、一般化機械学習モデルが、癌タイプを横断して癌特性を提供し得るように、癌特有ではない場合がある。癌特性は、１つまたはそれを上回るデジタルスライドを横断して空間的に変動している場合がある。
一般化機械学習モデルの出力（すなわち、存在する場合、１つまたはそれを上回る癌特性）は、記憶コンポーネント（例えば、クラウド記憶装置、ハードドライブ、ネットワークドライブ等）に提供されてもよい。空間的に変動する決定が、行われる場合、対応する癌特性は、例えば、座標、ビットマスク、オーバーレイ、または同等物、またはそれらの組み合わせとしてデジタル表示のために提供されてもよい。
図３は、本明細書にさらに開示されるように、一般化機械学習モデルまたは特殊化機械学習モデルのいずれかを訓練するための例示的訓練モジュール３００を示す。図３に示されるように、訓練データ３０２は、病理学画像３０４（例えば、生検画像のデジタル表現）、患者データ３０６（例えば、患者データセット）、および患者データ３０６に関連する既知の転帰３０８（例えば、癌特性）のうちの１つまたはそれを上回るものを含んでもよい。訓練データ３０２および訓練アルゴリズム３１０は、機械学習モデルを発生させるために、訓練アルゴリズム３１０に訓練データ３０２を適用し得る訓練コンポーネント３２０に提供されてもよい。
図２の２０６において、ヒト組織、動物組織、または任意の適用可能な組織の複数の標的特殊化訓練画像および／またはヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像が、提供されてもよい。標的特殊化訓練画像は、小規模研究において発生される画像に対応してもよく、具体的癌ベースの実装を対象としてもよい。病理学試料は、本明細書に開示されるように、物理的生検サンプルに基づいて発生されるデジタル画像であってもよい、または、例えば、レンダリングシステムまたは生成的敵対的モデルによってヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像であってもよい。
標的特殊化タスク（例えば、希少な疾患、小規模な研究、臨床治験等に対応する）に関する標的特殊化訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちのいずれか１つまたは任意の組み合わせから受信されてもよい。訓練のために使用される画像は、現実の源（例えば、ヒト、動物等）に由来してもよい、または合成ソース（例えば、グラフィックスレンダリングエンジン、３Ｄモデル等）に由来してもよい。そのようなデジタル病理学画像の実施例は、（ａ）（限定ではないが）Ｈ＆Ｅ、ヘマトキシリンのみ、ＩＨＣ、分子病理学等の種々の染料で染色されたデジタル化されたスライドおよび／または（ｂ）マイクロＣＴ等の３Ｄ撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
一般化機械学習モデルの訓練データセットの一部として受信される画像と比較して、特殊化機械学習モデルを訓練するための標的特殊化訓練画像の数は、（例えば、１または２のマグニチュードだけ）実質的に少なくあり得る。より少ない数の標的特殊化訓練画像は、より多数の訓練データが利用可能ではない、小規模な研究、臨床治験、または希少な疾患に関する標的特殊化タスクに対応する標的特殊化訓練画像の結果であり得る。
２０８において、個別の特殊化訓練画像に関連する複数の標的特殊化属性が、受信されてもよい。標的特殊化属性は、訓練画像と対合されてもよく、患者関連付け情報（ゲノム情報、実験室試験、放射線医学、患者特性、患者情報、治療情報等）を含んでもよい。加えて、標的特殊化属性は、疾患存在／不在、病期分類変数の存在、薬物応答、毒性、癌の形態の分類、および異なる癌タイプに関する他の関連する変数、転帰ステータス、および／または任意のバイオマーカの存在等の癌特性出力（例えば、バイオマーカ）についての情報またはインジケーションを含んでもよい。
図２の２１０において、特殊化機械学習モデルが、標的特殊化タスクに関して発生されてもよい。特殊化機械学習モデルは、最初に、標的特殊化タスクに関する適切な出力を有するように一般化機械学習モデルを修正することによって、一般化機械学習モデルを修正することによって発生されてもよい。一般化機械学習モデルは、種々の癌タイプおよび他の出力標的（例えば、癌の重症度、存在する変異等）と関連付けられるデータを利用して訓練されてもよい。一般化機械学習モデルは、対応する組織が関連付けられる癌タイプを具体的に提供することなく、異なるタイプの癌タイプに関する腫瘍領域／特性を認識することが可能であり得る。異なるタイプの癌に関する領域／特性を認識するそのような能力は、一般化機械学習モデルに、より少ないデータが存在する他のタスクに関して効果的に機能する内部表現（例えば、パラメータ、層、層と関連付けられる加重、関係等）を提供する。ある実装によると、バイオマーカ検出システム（例えば、特殊化機械学習モデル）が、一般化機械学習モデルのパラメータを用いて初期化され、例えば、出力層は、ニューラルネットワークの形態において実装される場合、バイオマーカタスクを推測するように微調整されるように再初期化される。訓練の微調整は、次いで、勾配降下を用いて行われることができる。随意に、本プロセスは、ネットワークが過剰適合する能力を限定するために、ネットワークの最後のＭ個の層のみを訓練する、またはＬ２－ＳＰ等の方法を使用することによって、抑制されることができる。加えて、特殊化機械学習モデルは、２０６の複数の特殊化訓練画像および２０８の複数の標的特殊化属性を使用して、一般化機械学習モデルを修正することによって発生されてもよい。一般化機械学習モデルは、バイオマーカ検出タスクに関する適切な出力を有するように修正されてもよい。加えて、または代替として、一般化機械学習モデルは、特殊化機械学習モデルとの併用のために、サンプルから特徴を抽出するように修正されてもよい。
特殊化機械学習モデルは、特殊化タスクおよび関連資料（例えば、特殊化訓練画像、標的特殊化属性等）を使用して、一般化機械学習モデルの１つまたはそれを上回る層を微調整（例えば、再訓練）することによって一般化機械学習モデルを修正することによって、少量のデータを使用して発生されてもよい。微調整は、Ｌ２－ＳＰ、深層学習転移（ＤＥＬＴＡ）（例えば、特徴マップを使用する）、および／または一般化を改良するように設計される１つまたはそれを上回る他のアプローチを使用して行われてもよい。代替として、または加えて、特殊化機械学習モデルは、一般化を改良するために、一般化機械学習モデルの上に構築される大マージン法を使用して発生されてもよい。代替として、または加えて、特殊化機械学習モデルは、ローショット学習に関する方法を使用して発生されてもよい。代替として、または加えて、特殊化機械学習モデルは、一般化機械学習モデルを使用して、特徴を抽出し、次いで、それらの特徴に基づいてモデルを訓練して（例えば、最近傍、ランダムフォレスト、サポートベクターマシン、ニューラルネットワーク等）発生されてもよい。
特殊化機械学習モデルは、一般化機械学習モデルを使用して、深層学習において転移学習を実施することによって発生されてもよい。転移学習は、加重初期化スキームまたは特徴抽出方法のいずれかとして、特殊化機械学習モデルの訓練を加速させるために使用されてもよい。十分に多数のインスタンスを伴う訓練データセットによって事前訓練される一般化機械学習モデルの加重は、ランダムな初期化よりも、標的特殊化タスクベースの特殊化機械学習モデルに関してより良好な初期化を提供し得る。
加重初期化スキームによると、下位畳み込み層における加重は、固定されてもよく、上位層における加重は、標的タスクおよびその関連資料（例えば、特殊化訓練画像、標的特殊化属性等）からのデータを使用して再訓練されてもよい。再使用される層における加重は、訓練プロセスのための出発点として使用され、標的タスクに応答して適合されてもよい。本加重初期化スキームは、転移学習をあるタイプの加重初期化スキームとして扱ってもよい。
代替として、特徴抽出スキームによると、一般化機械学習ネットワークの加重は、再使用される層の後の新しい層のみが、それらの出力を解釈するように訓練され得るように、標的タスクに応答して、特殊化機械学習ネットワークを訓練するときに適合されなくてもよい。
故に、一般化機械学習モデルおよび特殊化機械学習モデルは、１つまたはそれを上回る層を共有してもよく、相互と異なる少なくとも１つの層を有してもよい。実施例として、一般化機械学習モデルの出力層は、特殊化機械学習モデルにおいて入力として受信された標的画像が、同一の標的画像が一般化機械学習モデルにおいて入力として受信された場合と異なる結果を提供するように、図２の２１０において修正されてもよい。
図２の２１０において、特殊化機械学習モデルは、一般化機械学習モデルを訓練するための本明細書に説明されるものに類似する様式で図３の訓練モジュール３００を使用して訓練されてもよい。図３に示されるように、訓練データ３０２は、病理学画像３０４（例えば、生検画像のデジタル表現）、患者データ３０６（例えば、患者データセット）、および患者データ３０６に関連する既知の転帰３０８（例えば、癌特性）のうちの１つまたはそれを上回るものを含んでもよい。病理学画像３０４は、図２の２０６の特殊化訓練画像を含んでもよい。既知の転帰３０８は、図２の２０８の標的特殊化属性を含んでもよい。訓練データ３０２および訓練アルゴリズム３１０は、特殊化機械学習モデルを発生させるために、訓練アルゴリズム３１０に訓練データ３０２を適用し得る訓練コンポーネント３２０に提供されてもよい。
図４は、一般化機械学習モデル４００および特殊化機械学習モデル４２０を示す、略図である。一般化機械学習モデルは、いくつかの内側層４０２および第１の外側層４０４および第２の外側層４０６を有してもよい。ある実施例によると、外側層は、内側層と比較して、機械学習モデルの訓練において後で形成される層であってもよい。別の実施例によると、外側層は、より一般的である内側層と比較して、より具体的であってもよい。一般化機械学習モデル４００は、本明細書に開示されるように、異なる癌タイプを横断して癌特性を出力するために、大量の訓練データを使用して発生されてもよい。一般化機械学習モデル４００は、図２の２０６の特殊化訓練画像および標的特殊化属性２０８とともに、訓練モジュール３００に提供されてもよい。
訓練モジュール３００は、一般化機械学習モデルの内側層４０２を維持し、第１の外側層４０４および第２の外側層４０６を第１の外側層４２４および第２の外側層４２６に修正することによって、特殊化機械学習モデル４２０を発生させるように構成されてもよい。特殊化機械学習モデル４２０の訓練は、内側層４０２に基づいて初期化されてもよく、訓練モジュール３００は、図２の２０６の特殊化訓練画像および標的特殊化属性２０８に基づいて、第１の外側層４０４および第２の外側層４０６を置換、修正、または微調整してもよい。故に、特殊化機械学習モデル４２０は、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデル４００の以前に訓練された内側層４０２を活用してもよい。一般化機械学習モデル４００が、癌特性を識別するように訓練されるため、内側層４０２は、内側層４０２を伴わずに特殊化機械学習モデル４２０を初期化するよりも、特殊化機械学習モデル４２０に関してより適用可能な初期化を提供し得る。
第１の外側層４０４および第２の外側層４０６が、修正されるように示されるが、一般化機械学習モデル４００における層の合計数を下回る任意の数の層が、特殊化機械学習モデル４２０を発生させるために修正され得ることを理解されたい。実施例として、第２の外側層４０６は、出力層であってもよく、一般化機械学習モデルの出力層のみが、特殊化機械学習モデル４２０を発生させるときに修正されてもよい。加えて、一般化機械学習モデル４００の内側層４０２が、特殊化機械学習モデル４２０を訓練するときに維持されるが、開示される主題の実装が、内側層に限定されないことを理解されたい。一般化機械学習モデル４００の任意の適用可能な層が、特殊化機械学習モデル４２０を発生させるために維持または修正／置換されてもよい。
特殊化機械学習モデルは、癌タイプを横断した１つまたはそれを上回るバイオマーカを決定する等のために、予測を行うために使用されてもよい。特殊化機械学習モデルは、１つまたはそれを上回るスライド画像内の１つまたはそれを上回るバイオマーカの存在または不在を決定してもよい。本決定は、スライドの異なる領域内の異なる腫瘍が、異なるバイオマーカの存在または不在を有するように決定されるように、標的画像（例えば、デジタル病理学スライド）を横断して空間的に変動している場合がある。
２１０において発生される機械学習モデルは、図１Ａの機械学習モデル１００と同一である、またはそれに類似し得、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５等のうちの１つまたはそれを上回るものから標的画像および患者情報を受信してもよい。２１２において、標的試料に対応する標的画像が、受信されてもよい。２１４において、特殊化機械学習モデルは、標的画像の少なくとも１つの特性を決定するために、標的画像に適用されてもよい。少なくとも１つの特性は、発生された特殊化機械学習モデルに基づく標的特殊化タスクと関連付けられる癌特性であってもよい。２１６において、標的画像の少なくとも１つの特性は、１つまたはそれを上回る出力インターフェース（例えば、画面、モニタ、記憶デバイス、および／またはウェブブラウザ等）を介して出力されてもよい。出力される特性は、試料タイプ（例えば、癌予測、薬物応答、癌再発率、毒性、組織異常等）であってもよい。故に、２１６における出力は、２１２において受信された標的画像に基づく試料タイプの予測であってもよい。実施例として、図１Ａの視認アプリケーションツール１０８は、デジタル病理学画像にわたってオーバーレイ層を適用してもよく、オーバーレイ層は、重要な考慮する面積を強調してもよい。出力は、座標、ビットマスク、オーバーレイ、または同等物、またはそれらの組み合わせとして提供されてもよい。
特殊化機械学習モデルは、限定ではないが、臨床治験における患者階層化のための薬物応答予測、癌再発予測、薬物毒性または異常予測、または同等物等のいくつかの実装のために使用されてもよい。
図５は、薬物応答予測のために、一般化機械モデルを使用して発生される、特殊化機械学習モデルの例示的実装を示す。治験薬物に関するバイオマーカの開発は、従来的に、サンプルサイズが、典型的には、５，０００人未満の患者である臨床研究を通して行われる。そのような小さいデータセットでは、原因となる疾患機構を完全に理解し、治療に関する患者特性を予測することは、困難である。腫瘍のその形態を完全に特性評価する一般化機械学習モデルを含む、本明細書に開示される技法は、臨床治験において治療に応答するであろう患者および応答の内容を識別するためのバイオマーカを検出するための初期化ステップとして使用されることができる。図５に示されるように、５０２において、一般化機械学習モデルが、５０２において受信されてもよい。一般化機械学習モデルは、５０４において薬物応答予測出力を有するように調節されてもよい。調節は、一般化機械学習モデルの１つまたはそれを上回る層における加重および／または一般化機械学習モデルの出力層の加重を調節する、および／または一般化機械学習モデルの出力の属性を修正することによって行われてもよい。
調節された機械学習モデルは、訓練モジュール３００に提供されてもよい。訓練モジュール３００は、一般化機械学習モデルの１つまたはそれを上回る層（例えば、内側層）を維持し、機械学習モデルの１つまたはそれを上回る層（例えば、外側層）を修正することによって、５１０において、特殊化機械学習モデルを発生させるように構成されてもよい。特殊化機械学習モデルは、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデルの以前に訓練された層を活用してもよい。特殊化機械学習モデルは、標的薬物を提供された患者に関する病理学画像および対応する患者データを提供することによって訓練されてもよい。加えて、標的薬物の既知の転帰もまた、特殊化機械学習モデルを訓練するために、訓練モジュール３００に提供されてもよい。
５１０において、特殊化機械学習モデルは、５２０において受信された一般化機械学習モデルを修正し、標的薬物を提供される患者からの特殊化訓練画像および薬物に対するそれらの既知の応答に基づいて訓練することに基づいて発生されてもよい。５１０において発生された特殊化機械学習モデルは、１つまたはそれを上回る標的画像に基づいて、薬物応答転帰を予測するために使用されてもよい。図５は、図２のステップ２１２、２１４、および２１６を示し、これらのステップに関連する開示は、簡潔にするためにここでは繰り返されない。２１２において、標的試料に対応する標的画像が、受信されてもよい。２１４において、５１０において発生された特殊化機械学習モデルが、標的画像の特性を決定するために、標的画像に適用されてもよい。図５に提供される実装では、標的画像の特性は、標的画像が捕捉された患者が標的薬物に対して有し得る応答（例えば、肯定的、否定的、中性、問題の予測等）であってもよい。２１６において、特性は、本明細書に提供される開示に従って、出力されてもよい。
ある実装によると、図５（すなわち、５０２において）、図６（すなわち、６０２において）、および図７（すなわち、７０２において）において提供される例示的実装において受信される一般化機械学習モデルは、同一の一般化機械学習モデルであってもよい。５１０、６１０、および７１０において発生される個別の特殊化機械学習モデルはそれぞれ、一般化機械学習モデルからの層の全てまたはいくつかを使用して初期化されてもよい。しかしながら、５１０、６１０、および７１０において発生される個別の特殊化機械学習モデルはそれぞれ、それらがそれらの具体的特殊化タスクのそれぞれに調整されるように、異なってもよい。故に、５１０、６１０、および７１０において発生される特殊化機械学習モデルのそれぞれに提供される所与の入力画像は、５１０、６１０、および７１０において発生される特殊化機械学習モデルの間の差異に基づいて、異なる出力をもたらし得る。
図６は、癌再発予測のために、一般化機械モデルを使用して発生される、特殊化機械学習モデルの例示的実装を示す。癌の再発は、治療（例えば、成功または失敗した治療）後に癌が再発するときに起こり得る。癌が再発するであろうかどうかを把握することは、より良好な治療計画を可能にし得る。例えば、１つまたはそれを上回る所与の治療（例えば、免疫療法、キメラ抗原受容体Ｔ（ＣＡＲＴ－Ｔ）細胞ベースの療法等）に基づく潜在的再発確率を把握することは、患者毎の治療のカスタマイズまたは調整を可能にし得る。加えて、より新しい治療機構は、後期の腫瘍の再発に影響を及ぼし得、そのような後期の再発と関連付けられる確率を把握することは、再発率を軽減することに役立ち得る。しかしながら、従来的研究から直接癌再発を査定するための機械学習モデルを構築することは、限定された数のデータセットに起因して、困難である。腫瘍のその形態を特性評価する一般化機械学習モデルを含む、本明細書に開示される技法は、限定されたデータセットを伴う研究において癌再発を予測するための特殊化機械学習モデルを開始するために使用されることができる。図６に示されるように、６０２において、一般化機械学習モデルが、６０２において受信されてもよい。一般化機械学習モデルは、６０４において癌再発予測出力を有するように調節されてもよい。調節は、一般化機械学習モデルの１つまたはそれを上回る層における加重および／または一般化機械学習モデルの出力層の加重を調節する、および／または一般化機械学習モデルの出力の属性を修正することによって行われてもよい。
調節された機械学習モデルは、訓練モジュール３００に提供されてもよい。訓練モジュール３００は、一般化機械学習モデルの１つまたはそれを上回る層（例えば、内側層）を維持し、機械学習モデルの１つまたはそれを上回る層（例えば、外側層）を修正することによって、６１０において、特殊化機械学習モデルを発生させるように構成されてもよい。特殊化機械学習モデルは、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデルの以前に訓練された層を活用してもよい。特殊化機械学習モデルは、癌再発を呈したか、または癌再発を呈さなかったかのいずれかの患者に関する病理学画像および対応する患者データを提供することによって訓練されてもよい。加えて、癌再発または再発の欠如の既知の転帰もまた、特殊化機械学習モデルを訓練するために、訓練モジュール３００に提供されてもよい。
６１０において、特殊化機械学習モデルは、６２０において受信された一般化機械学習モデルを修正し、癌再発を呈した、または呈さなかった患者からの特殊化訓練画像および薬物に対するそれらの既知の応答に基づいて訓練することに基づいて発生されてもよい。６１０において発生された特殊化機械学習モデルは、１つまたはそれを上回る標的画像に基づいて、癌再発転帰を予測するために使用されてもよい。図６は、図２のステップ２１２、２１４、および２１６を示し、これらのステップに関連する開示は、簡潔にするためにここでは繰り返されない。２１２において、標的試料に対応する標的画像が、受信されてもよい。２１４において、６１０において発生された特殊化機械学習モデルが、標的画像の特性を決定するために、標的画像に適用されてもよい。図６に提供される実装では、標的画像の特性は、標的画像が捕捉された患者が癌再発を呈し得る確率であってもよい。代替として、または加えて、特性は、標的画像が捕捉された患者が呈し得る癌再発の程度であってもよい。２１６において、特性は、本明細書に提供される開示に従って、出力されてもよい。
図７は、薬物毒性または組織異常予測のために、一般化機械モデルを使用して発生される、特殊化機械学習モデルの例示的実装を示す。薬物開発サイクルでは、潜在的化合物が、動物において、次いで、ヒトにおいて安全性研究を繰り返される。例えば、現在の実践に基づいて、毒性の査定は、動物組織における病理学試験を介して手動で行われる。毒性前臨床研究における動物の数は、非常に限定されており、新しい分子実体の複数の用量の試験を要求し得る。学習された腫瘍形態に基づいて加重される、種々のヒト組織、動物組織、または任意の適用可能な組織に対して訓練された一般化機械学習モデルを含む、本明細書に開示される技法は、前臨床毒性研究に関する予測を行うときに組織（例えば、動物組織）における異常を検出するための初期化ステップとして使用されることができる。図７に示されるように、７０２において、一般化機械学習モデルが、７０２において受信されてもよい。一般化機械学習モデルは、７０４において薬物毒性または組織異常予測出力を有するように調節されてもよい。調節は、一般化機械学習モデルの１つまたはそれを上回る層における加重および／または一般化機械学習モデルの出力層の加重を調節する、および／または一般化機械学習モデルの出力の属性を修正することによって行われてもよい。
調節された機械学習モデルは、訓練モジュール３００に提供されてもよい。訓練モジュール３００は、一般化機械学習モデルの１つまたはそれを上回る層（例えば、内側層）を維持し、機械学習モデルの１つまたはそれを上回る層（例えば、外側層）を修正することによって、７１０において、特殊化機械学習モデルを発生させるように構成されてもよい。特殊化機械学習モデルは、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデルの以前に訓練された層を活用してもよい。特殊化機械学習モデルは、標的薬物を提供された患者（例えば、ヒトおよび／または動物）に関する病理学画像および対応する患者データを提供することによって訓練されてもよい。加えて、標的薬物の毒性または結果として生じる組織異常の既知の転帰もまた、特殊化機械学習モデルを訓練するために、訓練モジュール３００に提供されてもよい。
７１０において、特殊化機械学習モデルは、７２０において受信された一般化機械学習モデルを修正し、標的薬物を提供される患者からの特殊化訓練画像および薬物からのそれらの既知の毒性または組織異常に基づいて訓練することに基づいて発生されてもよい。７１０において発生された特殊化機械学習モデルは、１つまたはそれを上回る標的画像に基づいて、薬物毒性または組織異常転帰を予測するために使用されてもよい。図７は、図２のステップ２１２、２１４、および２１６を示し、これらのステップに関連する開示は、簡潔にするためにここでは繰り返されない。２１２において、標的試料に対応する標的画像が、受信されてもよい。２１４において、７１０において発生された特殊化機械学習モデルが、標的画像の特性を決定するために、標的画像に適用されてもよい。図７に提供される実装では、標的画像の特性は、標的画像が捕捉された患者が標的薬物に対して有し得る、毒性または組織異常の存在または不在、または程度であってもよい。２１６において、特性は、本明細書に提供される開示に従って、出力されてもよい。
図８に示されるように、デバイス８００は、中央処理ユニット（ＣＰＵ）８２０を含んでもよい。ＣＰＵ８２０は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであってもよい。当業者によって理解されるであろうように、ＣＰＵ８２０はまた、マルチコア／マルチプロセッサシステム内の単一プロセッサであってもよく、そのようなシステムは、単独で、またはクラスタまたはサーバファーム内で動作するコンピューティングデバイスのクラスタ内で動作する。ＣＰＵ８２０は、データ通信インフラストラクチャ８１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ通過スキームに接続されてもよい。
デバイス８００はまた、主要メモリ８４０、例えば、ランダムアクセスメモリ（ＲＡＭ）を含んでもよく、また、二次メモリ８３０を含んでもよい。二次メモリ８３０、例えば、読取専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたはリムーバブル記憶ドライブであってもよい。そのようなリムーバブル記憶ドライブは、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同等物を備えてもよい。リムーバブル記憶ドライブは、本実施例では、周知の様式において、リムーバブル記憶ユニットから読み取る、および／またはそれに書き込む。リムーバブル記憶ユニットは、フロッピー（登録商標）ディスク、磁気テープ、光ディスク等を備えてもよく、これは、リムーバブル記憶ドライブによって読み取られ、それに書き込まれる。当業者によって理解されるであろうように、そのようなリムーバブル記憶ユニットは、概して、その中に記憶されるコンピュータソフトウェアおよび／またはデータを有する、コンピュータ使用可能記憶媒体を含む。
代替実装では、二次メモリ８３０は、コンピュータプログラムまたは他の命令がデバイス８００の中にロードされることを可能にするための他の類似する手段を含んでもよい。そのような手段の実施例は、プログラムカートリッジおよびカートリッジインターフェース（ビデオゲームデバイスに見出されるもの等）、リムーバブルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭ等）および関連付けられるソケット、および他のリムーバブル記憶ユニットおよびインターフェースを含んでもよく、これは、ソフトウェアおよびデータが、リムーバブル記憶ユニットからデバイス８００に転送されることを可能にする。
デバイス８００はまた、通信インターフェース（「ＣＯＭ」）８６０を含んでもよい。通信インターフェース８６０は、ソフトウェアおよびデータが、デバイス８００と外部デバイスとの間で転送されることを可能にする。通信インターフェース８６０は、モデム、ネットワークインターフェース（イーサネット（登録商標）カード等）、通信ポート、ＰＣＭＣＩＡスロットおよびカード、または同等物を含んでもよい。通信インターフェース８６０を介して転送される、ソフトウェアおよびデータは、信号の形態であってもよく、これは、通信インターフェース８６０によって受信されることが可能な電子、電磁、光学、または他の信号であってもよい。これらの信号は、デバイス８００の通信経路を介して、通信インターフェース８６０に提供されてもよく、これは、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話リンク、ＲＦリンク、または他の通信チャネルを使用して実装されてもよい。
ハードウェア要素、オペレーティングシステム、およびそのような機器のプログラミング言語は、性質上、従来的であり、当業者が、それに適正に精通していることが想定される。デバイス８００はまた、入力および出力ポート８５０を含み、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入力および出力デバイスと接続してもよい。当然ながら、種々のサーバ機能は、いくつかの類似するプラットフォーム上に分散方式で実装され、処理負荷を分散させてもよい。代替として、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。
本開示全体を通して、コンポーネントまたはモジュールの言及は、概して、論理的に、機能または関連機能の群を実施するためにともに群化され得る、アイテムを指す。同様の参照番号は、概して、同一または類似するコンポーネントを指すことを意図している。コンポーネントおよびモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせにおいて実装されることができる。
上記に説明されるツール、モジュール、および機能は、１つまたはそれを上回るプロセッサによって実施されてもよい。「記憶」タイプ媒体は、随時、ソフトウェアプログラミングのための非一過性記憶装置を提供し得る、種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のコンピュータ、プロセッサまたは同等物、またはその関連付けられるモジュールの有形メモリのうちのいずれかまたは全てを含んでもよい。
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信されてもよい。例えば、通信は、ソフトウェアを１つのコンピュータまたはプロセッサから別のものの中にロードすることを可能にし得る。本明細書に使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のための命令をプロセッサに提供することに関与する任意の媒体を指す。
前述の一般的説明は、例示的および説明的にすぎず、本開示の制限ではない。本発明の他の実施形態は、本明細書の考慮および本明細書に開示される本発明の実践から当業者に明白となるであろう。本明細書および実施例は、例示的にすぎないと見なされることが意図されている。
プロセッサによって実行されると、プロセッサに、特殊化機械学習モデルを発生させるための方法を実施させる、命令を記憶する、非一過性コンピュータ可読媒体であって、本方法は、複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測するステップと、複数の第２の訓練画像を受信するステップであって、第１の訓練画像および第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第２の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも１つの特性を決定するステップと、標的画像の少なくとも１つの特性を出力するステップとを含む。前述の一般的説明および以下の詳細な説明が両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本発明は、例えば、以下を提供する。
（項目１）
電子画像を処理するためのコンピュータ実装方法であって、上記方法は、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、上記第１の訓練画像および上記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第２の訓練画像および個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも１つの特性を決定することと、
上記標的画像の少なくとも１つの特性を出力することと
を含む、方法。
（項目２）
上記標的画像の少なくとも１つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
をさらに含む、項目１に記載のコンピュータ実装方法。
（項目３）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１に記載のコンピュータ実装方法。
（項目４）
上記一般化機械学習モデルは、複数の層を備え、上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの１つまたはそれを上回る外側層を修正することを含む、項目１に記載のコンピュータ実装方法。
（項目５）
上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの出力層を除去することを含む、項目１に記載のコンピュータ実装方法。
（項目６）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１に記載のコンピュータ実装方法。
（項目７）
上記複数の標的特殊化属性は、薬物応答情報、癌再発予測情報、または毒性査定情報のうちの少なくとも１つに基づく、項目１に記載のコンピュータ実装方法。
（項目８）
第２の訓練画像はそれぞれ、同一のカテゴリの病理学試料に基づいて発生される、項目１に記載のコンピュータ実装方法。
（項目９）
病理学試料のカテゴリは、組織学、細胞学、免疫組織化学、またはそれらの組み合わせから選択される、項目８に記載のコンピュータ実装方法。
（項目１０）
一般化機械学習モデルを修正することはさらに、上記標的特殊化属性に基づく出力を有するように上記一般化機械学習モデルを調節することを含む、項目１に記載のコンピュータ実装方法。
（項目１１）
上記複数の第１の訓練画像は、複数の癌タイプに対応する画像を備える、項目１に記載のコンピュータ実装方法。
（項目１２）
上記少なくとも１つの癌特性は、癌診断、腫瘍特性評価、またはバイオマーカ検出のうちの１つである、項目１に記載のコンピュータ実装方法。
（項目１３）
電子画像を処理するためのシステムであって、上記システムは、
命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサであって、上記少なくとも１つのプロセッサは、上記命令を実行し、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、上記第１の訓練画像および上記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第２の訓練画像および上記個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも１つの特性を決定することと、
上記標的画像の少なくとも１つの特性を出力することと
を含む動作を実施する、少なくとも１つのプロセッサと
を備える、システム。
（項目１４）
上記動作はさらに、
上記標的画像の少なくとも１つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
を含む、項目１３に記載のシステム。
（項目１５）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１３に記載のシステム。
（項目１６）
上記一般化機械学習モデルは、複数の層を備え、上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの１つまたはそれを上回る外側層を修正することを含む、項目１３に記載のシステム。
（項目１７）
上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの出力層を除去することを含む、項目１３に記載のシステム。
（項目１８）
非一過性コンピュータ可読媒体であって、上記非一過性コンピュータ可読媒体は、命令を記憶しており、上記命令は、プロセッサによって実行されると、上記プロセッサに、電子画像を処理するための動作を実施させ、上記動作は、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、上記第１の訓練画像および上記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第２の訓練画像および上記個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも１つの特性を決定することと、
上記標的画像の少なくとも１つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。
（項目１９）
上記動作はさらに、
上記標的画像の少なくとも１つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
を含む、項目１８に記載の非一過性コンピュータ可読媒体。
（項目２０）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１８に記載の非一過性コンピュータ可読媒体。
本発明は、例えば、以下を提供する。
（項目１）
電子画像を処理するためのコンピュータ実装方法であって、上記方法は、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、上記第１の訓練画像および上記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第２の訓練画像および個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも１つの特性を決定することと、
上記標的画像の少なくとも１つの特性を出力することと
を含む、方法。
（項目２）
上記標的画像の少なくとも１つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
をさらに含む、項目１に記載のコンピュータ実装方法。
（項目３）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１に記載のコンピュータ実装方法。
（項目４）
上記一般化機械学習モデルは、複数の層を備え、上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの１つまたはそれを上回る外側層を修正することを含む、項目１に記載のコンピュータ実装方法。
（項目５）
上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの出力層を除去することを含む、項目１に記載のコンピュータ実装方法。
（項目６）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１に記載のコンピュータ実装方法。
（項目７）
上記複数の標的特殊化属性は、薬物応答情報、癌再発予測情報、または毒性査定情報のうちの少なくとも１つに基づく、項目１に記載のコンピュータ実装方法。
（項目８）
第２の訓練画像はそれぞれ、同一のカテゴリの病理学試料に基づいて発生される、項目１に記載のコンピュータ実装方法。
（項目９）
病理学試料のカテゴリは、組織学、細胞学、免疫組織化学、またはそれらの組み合わせから選択される、項目８に記載のコンピュータ実装方法。
（項目１０）
一般化機械学習モデルを修正することはさらに、上記標的特殊化属性に基づく出力を有するように上記一般化機械学習モデルを調節することを含む、項目１に記載のコンピュータ実装方法。
（項目１１）
上記複数の第１の訓練画像は、複数の癌タイプに対応する画像を備える、項目１に記載のコンピュータ実装方法。
（項目１２）
上記少なくとも１つの癌特性は、癌診断、腫瘍特性評価、またはバイオマーカ検出のうちの１つである、項目１に記載のコンピュータ実装方法。
（項目１３）
電子画像を処理するためのシステムであって、上記システムは、
命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサであって、上記少なくとも１つのプロセッサは、上記命令を実行し、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、上記第１の訓練画像および上記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第２の訓練画像および上記個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも１つの特性を決定することと、
上記標的画像の少なくとも１つの特性を出力することと
を含む動作を実施する、少なくとも１つのプロセッサと
を備える、システム。
（項目１４）
上記動作はさらに、
上記標的画像の少なくとも１つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
を含む、項目１３に記載のシステム。
（項目１５）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１３に記載のシステム。
（項目１６）
上記一般化機械学習モデルは、複数の層を備え、上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの１つまたはそれを上回る外側層を修正することを含む、項目１３に記載のシステム。
（項目１７）
上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの出力層を除去することを含む、項目１３に記載のシステム。
（項目１８）
非一過性コンピュータ可読媒体であって、上記非一過性コンピュータ可読媒体は、命令を記憶しており、上記命令は、プロセッサによって実行されると、上記プロセッサに、電子画像を処理するための動作を実施させ、上記動作は、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、上記第１の訓練画像および上記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第２の訓練画像および上記個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも１つの特性を決定することと、
上記標的画像の少なくとも１つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。
（項目１９）
上記動作はさらに、
上記標的画像の少なくとも１つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
を含む、項目１８に記載の非一過性コンピュータ可読媒体。
（項目２０）
上記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、項目１８に記載の非一過性コンピュータ可読媒体。
Claims (20)
- 電子画像を処理するためのコンピュータ実装方法であって、前記方法は、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、前記第１の訓練画像および前記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
前記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第２の訓練画像および個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも１つの特性を決定することと、
前記標的画像の少なくとも１つの特性を出力することと
を含む、方法。 - 前記標的画像の少なくとも１つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項１に記載のコンピュータ実装方法。 - 前記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、請求項１に記載のコンピュータ実装方法。
- 前記一般化機械学習モデルは、複数の層を備え、前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの１つまたはそれを上回る外側層を修正することを含む、請求項１に記載のコンピュータ実装方法。
- 前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの出力層を除去することを含む、請求項１に記載のコンピュータ実装方法。
- 前記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、請求項１に記載のコンピュータ実装方法。
- 前記複数の標的特殊化属性は、薬物応答情報、癌再発予測情報、または毒性査定情報のうちの少なくとも１つに基づく、請求項１に記載のコンピュータ実装方法。
- 第２の訓練画像はそれぞれ、同一のカテゴリの病理学試料に基づいて発生される、請求項１に記載のコンピュータ実装方法。
- 病理学試料のカテゴリは、組織学、細胞学、免疫組織化学、またはそれらの組み合わせから選択される、請求項８に記載のコンピュータ実装方法。
- 一般化機械学習モデルを修正することはさらに、前記標的特殊化属性に基づく出力を有するように前記一般化機械学習モデルを調節することを含む、請求項１に記載のコンピュータ実装方法。
- 前記複数の第１の訓練画像は、複数の癌タイプに対応する画像を備える、請求項１に記載のコンピュータ実装方法。
- 前記少なくとも１つの癌特性は、癌診断、腫瘍特性評価、またはバイオマーカ検出のうちの１つである、請求項１に記載のコンピュータ実装方法。
- 電子画像を処理するためのシステムであって、前記システムは、
命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、前記命令を実行し、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、前記第１の訓練画像および前記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
前記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第２の訓練画像および前記個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも１つの特性を決定することと、
前記標的画像の少なくとも１つの特性を出力することと
を含む動作を実施する、少なくとも１つのプロセッサと
を備える、システム。 - 前記動作はさらに、
前記標的画像の少なくとも１つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
を含む、請求項１３に記載のシステム。 - 前記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、請求項１３に記載のシステム。
- 前記一般化機械学習モデルは、複数の層を備え、前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの１つまたはそれを上回る外側層を修正することを含む、請求項１３に記載のシステム。
- 前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの出力層を除去することを含む、請求項１３に記載のシステム。
- 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、プロセッサによって実行されると、前記プロセッサに、電子画像を処理するための動作を実施させ、前記動作は、
複数の第１の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも１つの癌特性を予測することと、
複数の第２の訓練画像を受信することであって、前記第１の訓練画像および前記第２の訓練画像は、組織試料の画像および／または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
前記複数の第２の訓練画像の個別の第２の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第２の訓練画像および前記個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも１つの特性を決定することと、
前記標的画像の少なくとも１つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。 - 前記動作はさらに、
前記標的画像の少なくとも１つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
を含む、請求項１８に記載の非一過性コンピュータ可読媒体。 - 前記複数の標的特殊化属性は、各個別の第２の訓練画像内に存在する１つまたはそれを上回るバイオマーカである、請求項１８に記載の非一過性コンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062956876P | 2020-01-03 | 2020-01-03 | |
| US62/956,876 | 2020-01-03 | ||
| PCT/US2020/066045 WO2021138087A1 (en) | 2020-01-03 | 2020-12-18 | Systems and methods for processing electronic images for generalized disease detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022553446A true JP2022553446A (ja) | 2022-12-22 |
| JP7260119B2 JP7260119B2 (ja) | 2023-04-18 |
Family
ID=74554206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022540708A Active JP7260119B2 (ja) | 2020-01-03 | 2020-12-18 | 一般化疾患検出のために電子画像を処理するためのシステムおよび方法 |
Country Status (9)
| Country | Link |
|---|---|
| US (4) | US11107573B2 (ja) |
| EP (1) | EP4085377A1 (ja) |
| JP (1) | JP7260119B2 (ja) |
| KR (2) | KR20230118198A (ja) |
| CN (1) | CN115210772B (ja) |
| AU (1) | AU2020417728B2 (ja) |
| BR (1) | BR112022013000B1 (ja) |
| CA (1) | CA3162254A1 (ja) |
| WO (1) | WO2021138087A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11663838B2 (en) * | 2020-10-29 | 2023-05-30 | PAIGE.AI, Inc. | Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens |
| WO2023107989A1 (en) * | 2021-12-07 | 2023-06-15 | PAIGE.AI, Inc. | Systems and methods for processing electronic images to visualize combinations of semantic pathology features |
| WO2023218240A1 (en) * | 2022-05-11 | 2023-11-16 | Agendia NV | Digital pathology system |
| CN116580037B (zh) * | 2023-07-10 | 2023-10-13 | 天津医科大学第二医院 | 一种基于深度学习的鼻咽癌图像分割方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017055412A1 (en) * | 2015-09-30 | 2017-04-06 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
| CN109308495A (zh) * | 2018-07-05 | 2019-02-05 | 北京昆仑医云科技有限公司 | 从患者的医学图像自动预测生理状况的装置和系统 |
| US20190050982A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a physiological condition from a medical image of a patient |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11129577B2 (en) * | 2015-02-17 | 2021-09-28 | Telebyte, Inc. | Optical cancer detector using deep optical scanning and multi layer neural network |
| FR3041292B1 (fr) * | 2015-09-21 | 2017-10-27 | Touti Terre | Siege ergonomique basculant entre deux configurations |
| WO2017061548A1 (ja) * | 2015-10-06 | 2017-04-13 | 株式会社カネカ | ポリマー材料、フィルム、円偏光板、画像表示装置及びフィルムの製造方法 |
| US10282588B2 (en) * | 2016-06-09 | 2019-05-07 | Siemens Healthcare Gmbh | Image-based tumor phenotyping with machine learning from synthetic data |
| US10127659B2 (en) * | 2016-11-23 | 2018-11-13 | General Electric Company | Deep learning medical systems and methods for image acquisition |
| EP3923237A1 (en) * | 2017-02-22 | 2021-12-15 | The United States of America as represented by The Secretary Department of Health and Human Services | Detection of prostate cancer in multi-parametric mri using random forest |
| WO2018165103A1 (en) * | 2017-03-06 | 2018-09-13 | University Of Southern California | Machine learning for digital pathology |
| CN107330954A (zh) * | 2017-07-14 | 2017-11-07 | 深圳市唯特视科技有限公司 | 一种基于衰减网络通过滑动属性操纵图像的方法 |
| US10650286B2 (en) * | 2017-09-07 | 2020-05-12 | International Business Machines Corporation | Classifying medical images using deep convolution neural network (CNN) architecture |
| US20200210767A1 (en) * | 2017-09-08 | 2020-07-02 | The General Hospital Corporation | Method and systems for analyzing medical image data using machine learning |
| GB2567155B (en) * | 2017-10-02 | 2022-03-02 | Room4 Group Ltd | Histopathological image analysis |
| US11636288B2 (en) * | 2017-11-06 | 2023-04-25 | University Health Network | Platform, device and process for annotation and classification of tissue specimens using convolutional neural network |
| US10748040B2 (en) * | 2017-11-20 | 2020-08-18 | Kavya Venkata Kota Sai KOPPARAPU | System and method for automatic assessment of cancer |
| WO2019104217A1 (en) * | 2017-11-22 | 2019-05-31 | The Trustees Of Columbia University In The City Of New York | System method and computer-accessible medium for classifying breast tissue using a convolutional neural network |
| CN107995428B (zh) * | 2017-12-21 | 2020-02-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置及存储介质和移动终端 |
| US20210042916A1 (en) * | 2018-02-07 | 2021-02-11 | Ai Technologies Inc. | Deep learning-based diagnosis and referral of diseases and disorders |
| US20190277854A1 (en) * | 2018-03-06 | 2019-09-12 | Jessika Baral | System and method for cancer detection |
| US11741365B2 (en) * | 2018-05-14 | 2023-08-29 | Tempus Labs, Inc. | Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images |
| EP3570288A1 (en) * | 2018-05-16 | 2019-11-20 | Siemens Healthcare GmbH | Method for obtaining at least one feature of interest |
| US11508168B2 (en) * | 2018-10-15 | 2022-11-22 | Upmc | Systems and methods for specimen interpretation |
| KR102057649B1 (ko) * | 2018-12-13 | 2019-12-19 | 주식회사 알고리고 | 상위계층 인공신경망을 이용한 전기차 충전소 점유 예측 장치 및 방법 |
| US11631171B2 (en) * | 2019-01-10 | 2023-04-18 | Regents Of The University Of Minnesota | Automated detection and annotation of prostate cancer on histopathology slides |
| US10936160B2 (en) * | 2019-01-11 | 2021-03-02 | Google Llc | System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications |
| CN110599451B (zh) * | 2019-08-05 | 2023-01-20 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
-
2020
- 2020-12-18 JP JP2022540708A patent/JP7260119B2/ja active Active
- 2020-12-18 KR KR1020237026019A patent/KR20230118198A/ko active Application Filing
- 2020-12-18 KR KR1020227026407A patent/KR102562708B1/ko active IP Right Grant
- 2020-12-18 AU AU2020417728A patent/AU2020417728B2/en active Active
- 2020-12-18 EP EP20851263.2A patent/EP4085377A1/en active Pending
- 2020-12-18 US US17/126,865 patent/US11107573B2/en active Active
- 2020-12-18 CN CN202080097975.4A patent/CN115210772B/zh active Active
- 2020-12-18 CA CA3162254A patent/CA3162254A1/en active Pending
- 2020-12-18 WO PCT/US2020/066045 patent/WO2021138087A1/en unknown
- 2020-12-18 BR BR112022013000-7A patent/BR112022013000B1/pt active IP Right Grant
-
2021
- 2021-07-20 US US17/380,595 patent/US11322246B2/en active Active
-
2022
- 2022-03-31 US US17/710,613 patent/US11823436B2/en active Active
-
2023
- 2023-10-17 US US18/488,364 patent/US20240046615A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017055412A1 (en) * | 2015-09-30 | 2017-04-06 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
| US20190050982A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a physiological condition from a medical image of a patient |
| CN109308495A (zh) * | 2018-07-05 | 2019-02-05 | 北京昆仑医云科技有限公司 | 从患者的医学图像自动预测生理状况的装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2020417728A1 (en) | 2022-08-18 |
| BR112022013000A2 (pt) | 2022-09-06 |
| EP4085377A1 (en) | 2022-11-09 |
| JP7260119B2 (ja) | 2023-04-18 |
| KR20230118198A (ko) | 2023-08-10 |
| WO2021138087A1 (en) | 2021-07-08 |
| CN115210772A (zh) | 2022-10-18 |
| US20210210195A1 (en) | 2021-07-08 |
| CN115210772B (zh) | 2023-07-18 |
| US20240046615A1 (en) | 2024-02-08 |
| US20210350907A1 (en) | 2021-11-11 |
| BR112022013000B1 (pt) | 2024-01-30 |
| US11322246B2 (en) | 2022-05-03 |
| KR20220113547A (ko) | 2022-08-12 |
| CA3162254A1 (en) | 2021-07-08 |
| US11823436B2 (en) | 2023-11-21 |
| US20220230734A1 (en) | 2022-07-21 |
| KR102562708B1 (ko) | 2023-08-03 |
| US11107573B2 (en) | 2021-08-31 |
| AU2020417728B2 (en) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114072879B (zh) | 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法 | |
| JP7260119B2 (ja) | 一般化疾患検出のために電子画像を処理するためのシステムおよび方法 | |
| AU2021213131B2 (en) | Systems and methods for processing electronic images for biomarker localization | |
| JP7212339B1 (ja) | 品質制御のために電子画像を分析するためのシステムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220815 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230328 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7260119 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |