CN115867936A - 处理电子图像以产生组织图可视化的系统和方法 - Google Patents
处理电子图像以产生组织图可视化的系统和方法 Download PDFInfo
- Publication number
- CN115867936A CN115867936A CN202180050611.5A CN202180050611A CN115867936A CN 115867936 A CN115867936 A CN 115867936A CN 202180050611 A CN202180050611 A CN 202180050611A CN 115867936 A CN115867936 A CN 115867936A
- Authority
- CN
- China
- Prior art keywords
- significant
- digitized image
- pixel
- tissue
- overlay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012800 visualization Methods 0.000 title claims description 88
- 238000012545 processing Methods 0.000 title claims description 19
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 55
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 47
- 201000011510 cancer Diseases 0.000 claims abstract description 43
- 230000007170 pathology Effects 0.000 claims abstract description 25
- 239000000090 biomarker Substances 0.000 claims abstract description 14
- 244000045947 parasite Species 0.000 claims abstract description 11
- 206010061218 Inflammation Diseases 0.000 claims abstract description 10
- 230000004054 inflammatory process Effects 0.000 claims abstract description 10
- 231100000419 toxicity Toxicity 0.000 claims abstract description 10
- 230000001988 toxicity Effects 0.000 claims abstract description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 210000001519 tissue Anatomy 0.000 description 81
- 238000004891 communication Methods 0.000 description 11
- 201000010099 disease Diseases 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000011160 research Methods 0.000 description 8
- 238000001574 biopsy Methods 0.000 description 5
- 206010006256 Breast hyperplasia Diseases 0.000 description 4
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 description 4
- 210000000481 breast Anatomy 0.000 description 4
- 230000002380 cytological effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 241000233866 Fungi Species 0.000 description 3
- 208000030852 Parasitic disease Diseases 0.000 description 3
- 230000037406 food intake Effects 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000000771 oncological effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 206010046798 Uterine leiomyoma Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 201000010260 leiomyoma Diseases 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 231100000331 toxic Toxicity 0.000 description 2
- 230000002588 toxic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 206010005003 Bladder cancer Diseases 0.000 description 1
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 1
- 206010061217 Infestation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 241000588769 Proteus <enterobacteria> Species 0.000 description 1
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 1
- 206010070863 Toxicity to various agents Diseases 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000016356 hereditary diffuse gastric adenocarcinoma Diseases 0.000 description 1
- 230000007768 histopathological growth pattern Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 231100001271 preclinical toxicology Toxicity 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 201000005112 urinary bladder cancer Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
公开了用于分析对应于标本的切片的图像的系统和方法,所述方法包括:接收病理标本的至少一个数字化图像;在人工智能(AI)系统处使用数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型;在AI系统处确定数字化图像的显着部位覆盖层,其中AI系统指示每个像素的值;以及基于每个像素的值,抑制数字化图像的一个或多个非显着部位。
Description
相关申请
本申请要求于2020年6月19日提交的美国临时申请号63/041,778的优先权,所述临时申请的全部公开内容据此全文通过引用并入本文。
技术领域
本公开的各种实施方案整体涉及基于图像的组织可视化和相关图像处理方法。更具体地,本公开的特定实施方案涉及用于基于处理组织标本的图像进行组织可视化的系统和方法。
背景技术
病理学是一门高度可视化的学科,其需要对形态学和组织学模式进行识别和专业解释。病理标本的全切片图像由病理医师所须检查的数十万个像素构成。为了帮助病理医师,可以创建人工智能(AI)系统,其示出热图覆盖层以向病理医师指示显着图像部位,例如,肿瘤。然而,热图覆盖层可能掩盖组织并阻碍病理医师研究所述部位的能力。
本文提供的背景描述是为了一般性地呈现本公开的上下文。除非本文另有说明,否则本章节中描述的材料不是本申请中权利要求的现有技术,并且不因包括在本章节中而被承认为现有技术或现有技术的建议。
发明内容
根据本公开的某些方面,公开了用于分析对应于标本的切片的图像的系统和方法。
一种用于分析对应于标本的切片的图像的方法,所述方法包括:接收病理标本的至少一个数字化图像;在AI系统处使用数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型;在AI系统处确定数字化图像的显着部位覆盖层,其中AI系统指示每个像素的值;以及基于每个像素的值,抑制数字化图像的一个或多个非显着部位。
一种用于分析对应于标本的切片的图像的系统包括:存储器,其存储指令;以及至少一个处理器,其执行指令以执行过程,所述过程包括:接收病理标本的至少一个数字化图像;在AI系统处使用数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型;在AI系统处确定数字化图像的显着部位覆盖层,其中AI系统指示每个像素的值;以及基于每个像素的值,抑制数字化图像的一个或多个非显着部位。
一种存储指令的非暂时性计算机可读介质,所述指令当由处理器执行时,使处理器执行用于分析对应于标本的切片的图像的方法,所述方法包括:接收病理标本的至少一个数字化图像;在AI系统处使用数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型;在AI系统处确定数字化图像的显着部位覆盖层,其中AI系统指示每个像素的值;以及基于每个像素的值,抑制数字化图像的一个或多个非显着部位。
应理解,前文的一般描述和下文的详细描述都只是示例性和说明性的,且不是对要求保护的所公开的实施方案的限制。
附图说明
并入本说明书并且构成本说明书的一部分的附图示出了各种示例性实施方案,并且连同说明书一起用来解释所公开的实施方案的原理。
图1是指示活检切片中存在疾病的示例性热图。
图2A示出了根据本公开的示例性实施方案的用于图像的组织可视化的系统和网络的示例性框图。
图2B示出了根据本公开的示例性实施方案的疾病检测平台200的示例性框图。
图3示出了根据本公开的示例性实施方案的被AI检测为具有诊断价值、抑制了没有诊断价值的区域的可视化的特定部位的示例性可视化。
图4示出了根据本公开的示例性实施方案的基于特征的特定部位的示例性可视化。
图5是根据本公开的示例性实施方案的用于提供数字化病理图像的组织可视化的示例性方法的流程图。
图6A是指示存在疾病的示例性热图,其中供检查的组织被掩盖。
图6B示出了根据本公开的示例性实施方案的具有疾病的部位的示例性可视化,其中没有掩盖供检查的组织。
图7描绘了可以执行本文提出的技术的示例性系统。
具体实施方式
现在将详细参考本公开的示例性实施方案,其示例在附图中示出。在可能的情况下,将在整个附图中使用相同的附图标记来指代相同或相似的部分。
通过示例并参考附图对本文公开的系统、装置和方法进行详细描述。本文论述的示例仅是示例并且被提供来帮助说明本文描述的设备、装置、系统和方法。除非明确指定为强制性的,否则附图中所示或下文论述的任何特征或部件均不应被视为对这些装置、系统或方法中的任一者的任何特定具体实施是强制性的。
此外,对于所描述的任何方法,无论是否结合流程图对所述方法进行描述,都应理解,除非上下文另有规定或要求,否则在执行方法时所执行的步骤的任何显式或隐式排序不暗示这些步骤必须按照给出的次序执行,而是可以按不同的次序或并行地执行。
如本文所用,术语“示例性”是在“示例”而非“理想”的意义上使用的。此外,本文的术语“一个”和“一种”并不表示数量限制,而是表示存在一个或多个所引用的物品。
随着AI变得越来越多地与病理医师的诊断和研究工作流程相结合,AI技术结果的可解释性和利用AI进行工作时的用户体验对于病理医师有效利用所述技术的能力至关重要。在一种技术中,AI可以用作将预测可视化覆盖在图像上的后处理机制。然而,这可能妨碍病理医师访问和理解结果。
当病理医师识别出感兴趣区域(例如,肿瘤、感兴趣形态学发现和/或需要咨询或检查的事物等),他们可以用记号笔在部位周围(例如直接在载玻片上)绘制边界。基于AI的图像分析可用于在数字化病理图像上覆盖热图。在一种技术中,对重要的区域而非对不重要的区域提供覆盖层。覆盖层可以是表示由算法生成的概率图的梯度。
但是,使用上述方法,在相关区域上可能存在干扰覆盖层。由于热图可显示在数字图像的顶部上,病理医师可能被迫反复打开和关闭覆盖层,以便他们可以将AI所指出的内容与位于下方的实际组织进行比较。
AI系统可以生成每个像素的相对于目标问题(例如,“是否存在癌症?”、“是否是高级癌症?”等)分析的分数和/或概率,并且这些分数可以创建热图(例如,图1)。对于某些用例,这种可视化可能是有用的,但对于病理医师来说,所述可视化可能不利于呈现最终解释的过程。事实上,在病理医师试图确定与组织的形态相关的热图的颜色的含义时,这可能使他或她感到困惑。例如,AI可能将前列腺穿刺活检切片的第一部位预测为比Gleason 3级的第二部位更可能是Gleason 3级(例如,热图可以描述这一点)。然而,对于病理医师来说,知道一个部位被预测为比另一个部位更可能是Gleason 3级可能没有帮助,因为病理医师做出了最终决定。
图1是指示活检切片(例如,前列腺穿刺活检切片)中存在癌症或其他疾病的示例性热图。如图1所示,感兴趣区域1具有带热图11的组织10。热图11可能掩盖组织10并暗示与不同颜色的潜在误导性诊断相关性。另外,二进制位图可用于标记被预测为具有高于预先指定的阈值的某个分数(例如,概率)的像素,以指示显着部位。
本公开使病理医师能够将其注意力集中在多个显着图像部位上,而无需这些感兴趣区域上方的干扰覆盖层。这种类型的可视化通过以下优化了病理医师的数字病理工作流程:使其能够更轻松地识别、解释、研究AI结果。
本公开提供了一种组织可视化,其不掩盖切片上被识别为对病理医师进行检查具有重要意义的部位。因此,解释和工作流程更加高效(例如,无需打开和关闭输出),从而实现更快、更准确的诊断。此外,解释输出对于病理医师来说更容易。
本公开可以使用AI技术来检测感兴趣特征(例如,生物标志物、癌症、癌症等级、寄生物、毒性、炎症、癌症亚型等),这些特征对于病理评估和治疗决策可能是必需的。AI可以生成显着部位覆盖层,并且可以将显着部位覆盖层转换为抑制不相关图像部位的可视化或被确定为不具有超过预定阈值的诊断价值的任何图像部位。
可以向用户(例如,病理医师)显示和突出显示全切片图像上的重要部位(需要极少的视觉和可用性开销),以帮助他们完成诊断过程中的特定任务(例如,癌症检测、分级等)。一个或多个实施方案可以包括:在医院、实验室、医疗中心等,在临床工作流程内向用户提供组织可视化,作为网页应用程序(例如,基于云的和/或本地部署的)、移动应用程序、交互式报告、静态报告和/或控制面板中的至少一者。
为了提高可用性和/或效率,一个或多个确定的区域可以被组织成具有概览信息的报告。此外,可以在查看数字化图像期间向用户提供交互式检查/编辑。可以将多个特征可视化在单个全切片图像上。
根据一个或多个实施方案的技术工作流程可以如下:可以创建数字化全切片图像。可以生成和/或确定可从医院和/或硬件数据库获得的元数据。可以将图像和对应的数据提供给基于AI的系统,并且可以生成输出。可以将一些输出馈送到一个或多个系统中,这些系统生成可视化(例如,一个或多个点或部位)和/或向用户(例如,病理医师)显示所述可视化。可以基于感兴趣查询(例如,癌症、核特征、细胞计数等)生成分析和/或显示。
另外,可以针对预筛选(即,在病理医师查看图像之前)和/或在已经做出诊断(例如,质量保证)之后使用本公开的一个或多个实施方案。
图2A示出了根据本公开的示例性实施方案的用于图像的组织可视化的系统和网络的示例性框图。
具体地,图2A示出了可以连接到医院、实验室和/或医生办公室等处的服务器的电子网络220。例如,医师服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225等可以通过一个或多个计算机、服务器和/或手持移动装置各自连接到电子网络220(诸如因特网)并经由所述电子网络进行通信。根据本申请的示例性实施方案,电子网络220还可以连接到服务器系统210,所述服务器系统可以包括被配置为实现疾病检测平台200的处理装置,所述疾病检测平台包括根据本公开的示例性实施方案的用于使用机器学习来对一个或多个数字病理图像产生组织可视化的组织可视化工具201。示例性机器学习模型可以包括但不限于神经网络、卷积神经网络、随机森林、逻辑回归和/或最近邻中的任一者或其任意组合。
医师服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225可以创建或以其他方式获得以下项的图像:一个或多个患者的一个或多个细胞学标本、一个或多个肿瘤学标本、一个或多个细胞学/肿瘤学标本的一个或多个切片、一个或多个细胞学/肿瘤学标本的一个或多个切片的数字化图像或其任意组合。医师服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225还可以获得诸如以下的患者特定信息的任意组合:年龄、病史、癌症治疗史、家族史、过去的活检或细胞学信息等。医师服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225可以通过电子网络220向服务器系统210传输数字化切片图像和/或患者特定信息。服务器系统210可以包括一个或多个存储装置209,用于存储从医师服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225中的至少一者接收的图像和/或数据。服务器系统210还可以包括处理装置,用于处理存储在存储装置209中的图像和/或数据。服务器系统210还可以包括一个或多个机器学习工具或能力。例如,根据一个实施方案,处理装置可以包括用于疾病检测平台200的机器学习工具。替代地或除此之外,本公开(或本公开的系统和方法的部分)可以在本地处理装置(例如,膝上型计算机)上执行。
医师服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225是指可以由病理医师用来查看切片的图像的系统。在医院环境中,组织类型信息可以存储在实验室信息系统225中。
图2B示出了用于使用机器学习来对一个或多个数字病理图像产生组织可视化的疾病检测平台200的示例性框图。
具体地,图2B描绘了根据一个实施方案的疾病检测平台200的部件。例如,疾病检测平台200可以包括组织可视化工具201、数据引入工具202、切片摄取工具203、切片扫描仪204、切片管理器205、存储件206和/或查看应用工具208。
根据示例性实施方案,如下文所描述,组织可视化工具201是指用于使用机器学习来产生关于一个或多个数字病理图像的组织可视化的过程和系统。
根据示例性实施方案,数据引入工具202是指用于促进数字病理图像到用于分类和/或处理数字病理图像的各种工具、模块、部件和/或装置的传输的过程和系统。
根据示例性实施方案,切片摄取工具203是指用于扫描病理图像并将其转换为数字形式的过程和系统。切片可以用切片扫描仪204扫描,切片管理器205可以将切片上的图像处理为数字化病理图像并将数字化图像存储在存储件(诸如存储件206和/或存储装置209)中。
根据示例性实施方案,查看应用工具208是指用于为用户(例如,病理医师)提供关于一个或多个数字病理图像的标本属性或图像属性信息的过程和系统。可以通过各种输出界面(例如,屏幕、监视器、存储装置和/或网页浏览器等)提供信息。
组织可视化工具201及其每个部件可以通过电子网络220向服务器系统210、医师服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225传输和/或从其接收数字化切片图像和/或患者信息。此外,服务器系统210可以包括存储装置,用于存储从组织可视化工具201、数据引入工具202、切片摄取工具203、切片扫描仪204、切片管理器205和/或查看应用工具208中的至少一者接收的图像和/或数据。服务器系统210还可以包括处理装置,用于处理存储在存储装置中的图像和/或数据。服务器系统210还可以例如因处理装置而包括一个或多个机器学习工具或能力。替代地或除此之外,本公开(或本公开的系统和方法的部分)可以在本地处理装置(例如,膝上型计算机)上执行。
任何上述装置、工具和/或模块可以位于可以通过一个或多个计算机、服务器和/或手持移动装置连接到电子网络220(诸如互联网或云服务提供商)的装置上。
图3示出了被AI检测为具有诊断价值的特定部位(诸如癌症)的示例性可视化,其中根据本文论述的技术对非患病部位或缺乏诊断价值的其他区域进行可视化。在感兴趣区域1中,组织10的非患病部位12与具有诊断价值的特定部位13相比受到抑制。可视化中还可以包括显示图标14。
图4示出了基于特征(例如,癌症等级)的特定部位的示例性可视化,其中根据本文论述的技术对非患病部位或相对于所述特征缺乏诊断价值的其他区域进行可视化。在感兴趣区域1中,组织10的非患病部位12与具有诊断价值的特定部位13相比受到抑制。可视化中还可以包括显示图标14。
图5是示出根据本公开的示例性实施方案的用于提供数字化病理图像的组织可视化的示例性方法的流程图。例如,示例性方法500(例如,步骤502至508)可以由组织可视化工具201自动地执行或响应于来自用户(例如,病理医师、患者、肿瘤医师等)的请求而执行。
用于开发组织可视化工具的示例性方法500可以包括以下步骤中的一个或多个步骤。在步骤502中,方法可以包括:接收病理标本(例如,组织学)的至少一个数字化图像,其还可以包括相关病例和患者信息(例如,标本类型、病例与患者ID、病例内的部分、总体描述等)和/或来自临床系统的信息(例如,分配的病理医师、可用于测试的标本等)。方法可以包括:开发对经处理的图像和/或预期患者数据进行归档的流水线。另外,数据可以存储到数字存储装置(例如,硬盘驱动器、网络驱动器、云存储件、RAM等)中。
在步骤504中,方法可以包括:在AI系统处使用数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型。
在步骤506中,方法可以包括:在AI系统处确定数字化图像的显着部位覆盖层,其中AI系统指示每个像素的值。AI系统输出可以是针对数字输入图像的显着部位覆盖层M,其指示每个像素的值。AI可以按多种方式表示M。例如,M可以由以下表示:(1)热图,其指示显着特征的每个像素存在或不存在的分数或概率;(2)一组超像素,其具有与特征存在或不存的分数或概率相关联的分数或概率;(3)组织的二进制分割,其指示每个像素是否具有存在的显着特征;和/或(4)图像的语义分割,其指示每个像素的分数或概率。另外,可以将显着部位覆盖层的大小调整为与数字图像相同的大小。
在步骤508中,方法可以包括:基于每个像素的值,抑制数字化图像的一个或多个非显着部位。显着部位覆盖层可以经处理(例如,后处理)并且可以被归一化以获得S(例如,归一化显着部位覆盖层)。例如,对于二进制M,M可以保持不变,即,S=M。又如,使用针对二进制或连续M的图像处理技术,方法可以包括:(1)设定S=M;(2)对S应用平滑操作,例如,高斯模糊或中值模糊;(3)如果S不在0到1的范围内,将S归一化到这个范围,例如,使用线性对比度扩展;(4)如果S具有连续值,则对S进行阈值处理,使得高于阈值的所有值均被设定到1,低于阈值的所有值都被设定到0;和/或(5)用形态学算子(例如,闭合、侵蚀、扩张)对S进行后处理,以提高可视化。又如,使用具有连续分数或概率的针对M的分割,方法可以包括:(1)对M运行分割算法,诸如聚类方法(例如,k均值)、区域生长方法、基于图形的方法和/或其他分割方法;(2)基于属于每个分段的像素的分数/概率,为每个分段分配某个值,这可以通过多种方式完成,例如,取底层像素的最大分数/概率、中值、平均值和/或广义平均值;和/或(3)从分割和计算出的分段值获得S,将值高于预定阈值的每个分段的所有值设定到1,并将低于阈值的所有值设定到0。
图6A是指示存在癌症的示例性热图,其中组织被掩盖。如上文所论述,热图可能掩盖与由病理医师做出的诊断相关的组织。
相对于图5以及在本文别处论述的技术可以用于生成图6B的可视化。在可视化中可以容易地看到具有癌症或其他可诊断问题的部位,而不会对供检查的组织造成任何掩盖。与诊断无关的部位(诸如非显着部位)可以被掩盖或以其他方式被抑制。
当生成可视化和/或报告时,用户(例如,病理医师、肿瘤医师、患者等)可以经通知获知结果可用。可以为用户提供查看可视化和/或报告的选项。替代地,可以自动地提供可视化和报告。如果用户选择查看可视化或者如果系统被设定为自动地显示所述可视化,则组织图可以使用S来抑制像素z,其中S中的所述像素(即,S(z))的值为0,这表明AI不会将其解释为对感兴趣临床特征(非显着)具有诊断意义。这种抑制可以通过以下中的至少一种方式来完成:“熄灭”这些像素;使其部分透明;改变其亮度;和/或其他视觉区分方法。
用户可以基于目标输出自定义组织可视化所示出的内容(目标输出可包括:由用户或其他用户标记的部位、形态学特征、未由任何人基于跟踪软件来查看的区域等)。组织图可用于使单个切片上的多个M(显着部位覆盖层)可视化。如果一个切片具有多个M,则用户可以选择一次显示哪些M(例如,一个或多个M)。用户可以基于其专家评估在S内添加或删除区域。例如,用户可以使用其鼠标或输入装置来修改可视化(例如,包括更多组织),并且任何对应的细节也将被调节(例如,随着更多肿瘤被识别,针对肿瘤量化的显示值将相应地调节)。可以重设任何更改,以便用户可以返回到原始预测和可视化。
可以移动用户的视野以按优先级、级别的次序和/或其他优先次序来关注每个识别的感兴趣部位(例如,感兴趣部位可以是组织图上由AI或由用户识别为需要进一步调查的区域的任何部位)。输出和/或可视化部位可以作为病历的一部分记录在临床报告系统中。
示例性癌症检测工具:根据一个实施方案,一种方法包括识别具有癌症的组织部位。组织图帮助用户(例如,病理医师)更快地识别患有癌症或疑似患有癌症的组织部位。使用产生指示哪些组织部位患有癌症或疑似患有癌症的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。本公开提供了用于修改组织图(例如目标自定义、编辑能力、视野和/或记录/报告目的)的系统和方法。用户可以基于目标输出的定义来自定义组织图所示出的内容。例如,如果组织可视化显示被检测为具有癌性的所有区域,则用户可以自定义输出,以便其考虑或不考虑癌性类别中的某些特征(例如,一些医院将非典型导管增生(ADH)视为具有癌性而其他医院则不会)。因此,来自医院A的用户可以在乳房活检切片上看到所有癌性区域,包括ADH,而来自医院B的用户可以在乳房活检切片上看到所有癌性区域,不包括ADH。用户可以与可视化交互和/或对其进行编辑和/或调整可视化,使得更多的组织可见(例如,在他们不同意结果并认为更多的区域具有癌性情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域不具有癌性的情况下)。可以移动用户的视野以按照优先级、级别的次序或其他优先次序来关注每个感兴趣部位。输出和/或可视化部位可以作为病历的一部分记录在临床报告系统中。
示例性癌症分级工具:根据一个实施方案,一种方法包括使用组织图来表征具有癌症的组织部位。示例性系统和方法可以产生指示哪些组织部位具有某些等级的癌症的显着部位覆盖层M,并且可以使用相对于图5描述的步骤来创建组织可视化。用户可以基于目标输出的定义来自定义组织可视化所示出的内容。例如,癌症分级准则会随着时间而改变。如果用户期望看到在不同时间点将如何对其进行评估,则所述准则可以相应地调节。用户可以与可视化交互和/或对其进行编辑。用户可以调节可视化,使得更多的组织可见(例如,在他们不同意结果并认为某个区域为癌症和3级的情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域不具有癌性也不是3级的情况下)。可以移动用户的视野以按照优先级、级别的次序或其他优先次序来关注每个感兴趣部位。输出和/或可视化部位可以作为病历的一部分记录在临床报告系统中。
示例性癌症类型或癌前病变工具:根据一个实施方案,一种方法包括组织可视化,其中可发生多种形式的癌症(例如,小叶型乳腺癌和/或导管型乳腺癌)。使用产生指示哪些组织部位为某些类型的癌症的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。用户可以基于目标输出的定义来自定义组织可视化所示出的内容。例如,一些用户可能更愿意在切片上看到所有潜在的癌前病变和癌性病变,而其他用户可能只希望报告一些重要的癌前病变或非典型病变。用户可以与可视化交互和/或对其进行编辑。用户可以调节可视化,使得更多的组织可见(例如,在他们不同意结果并认为某个区域为癌症且为导管型的情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域不具有癌性也不是导管型的情况下)。可以移动用户的视野以按照优先级、级别的次序和/或其他优先次序来关注每个感兴趣部位。输出和/或可视化部位可以作为病历的一部分记录在临床报告系统中。
示例性非癌性特征工具:根据一个实施方案,一种方法包括识别其他非癌症特征(例如,皮肤病理学样本中的真菌、结肠样本中的细菌、乳腺样本的异型、许多组织类型中的炎症等)。使用产生指示哪些组织部位包含不同生物特征的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。用户可以与可视化交互和/或对其进行编辑。用户可以调节可视化,使得更多的组织可见(例如,在他们不同意结果并认为某个区域为真菌的情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域不为真菌的情况下)。可以移动用户的视野以按照优先级、级别的次序或其他优先次序来关注每个感兴趣部位。输出和/或可视化部位可以作为病历的一部分记录在临床报告系统中。
示例性侵入工具:根据一个实施方案,一种方法包括确定存在侵入(例如,乳腺癌中的微侵入、膀胱癌中的固有肌层侵入、前列腺癌中的神经周围侵入等)。使用产生指示哪些组织部位包含侵入性癌症的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。用户可以基于目标输出的定义来自定义组织可视化所示出的内容。用户可以与可视化交互和/或对其进行编辑。用户可以调节可视化,使得更多的组织可见(例如,在他们不同意结果并认为某个区域具有侵入性的情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域不具有侵入性的情况下)。可以移动用户的视野以按照优先级、级别的次序和/或其他优先次序来关注每个感兴趣部位。另外,输出和/或可视化部位可以作为病历的一部分记录在临床报告系统中。
示例性鉴别诊断工具:根据一个实施方案,一种方法包括区分鉴别诊断(例如,皮肤病理学标本中的皮肤纤维瘤和平滑肌瘤)。使用产生指示哪些组织部位包含侵入性癌症的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。用户可以与可视化交互和/或对其进行编辑。用户可以调节可视化,使得更多的组织可见(例如,在他们不同意结果并认为某个区域具有侵入性的情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域不具有侵入性的情况下)。可以移动用户的视野以按照优先级、级别的次序或其他优先次序来关注每个感兴趣部位。输出和/或可视化部位可以作为病历的一部分记录在临床报告系统中。另外,用户可以利用多个用户的鉴别诊断来标记组织部位。
示例性临床前毒性检测工具:根据一个实施方案,一种方法包括用于临床前药物开发的显着组织可视化,其中动物被给予药物,然后其器官由病理医师评估以确定是否存在任何毒性。使用产生指示哪些组织部位包含毒性症状的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。用户可以与可视化交互和/或对其进行编辑。用户可以调节可视化,使得更多的组织可见(例如,在他们不同意结果并认为某个区域表现出毒性的情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域未显现出毒性的情况下)。可以移动用户的视野以按照优先级、级别的次序或其他优先次序来关注每个感兴趣部位。用户可以利用多个用户的鉴别诊断来标记组织部位。输出和/或可视化部位被记录和/或被存储(例如,到磁盘、到云、到实验室信息系统等)。
示例性寄生物侵扰预测工具:根据一个实施方案,一种方法包括全切片图像中寄生物的AI检测的可视化。可要求病理医师诊断寄生物感染,例如原虫引起的疾病和蠕虫引起的疾病。例如,福氏耐格里变形虫(俗称“食脑变形虫”)的诊断可以通过脑组织的病理检查来确诊。使用产生指示哪些组织部位包含寄生物感染症状的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。用户可以与可视化交互和/或对其进行编辑。用户可以调节可视化,使得更多的组织可见(例如,在他们不同意结果的情况下)或更少的组织可见(例如,在他们不同意结果并认为所识别的区域不为寄生物感染的情况下)。可以移动用户的视野以按照优先级、级别的次序或其他优先次序来关注每个感兴趣部位。用户可以利用多个用户的鉴别诊断来标记组织部位。输出和/或可视化部位可被记录和/或被存储(例如,磁盘、云、实验室信息系统等)。
示例性生物标志物工具:根据一个实施方案,一种方法包括使用AI来表征和/或识别不同的生物标志物。在癌症病理学中,病理医师的一个任务是利用附加测试(例如,免疫组织化学、测序等)来表征和/或识别不同的生物标志物。这些可适用于所有组织类型(例如,针对肺、乳腺、结肠的HER2)。使用产生指示哪些组织部位包含侵入性癌症的显着部位覆盖层M的AI,可以利用相对于图5描述的步骤来创建组织可视化。用户可以基于目标输出的定义来自定义组织可视化所示出的内容。例如,一些用户可能更愿意看到所有存在的生物标志物,而其他用户可能只希望利用可用的临床可操作步骤(例如,药物或治疗途径)看到存在的生物标志物。可以移动用户的视野以按照优先级、级别的次序或其他优先次序来关注每个感兴趣部位。输出和/或可视化部位作为病历的一部分记录在临床报告系统中。用户可以利用多个用户的鉴别诊断来标记组织部位。
图7描绘了可以执行本文提出的技术的示例性装置700。替代地,多个装置700可以执行本文中提出的技术。装置700可以包括中央处理单元(CPU)720。CPU720可以是任何类型的处理器装置,包括例如任何类型的专用或通用微处理器装置。如相关领域的技术人员将理解的那样,CPU 720还可以是多核/多处理器系统中的单个处理器,此类系统单独运行,或者在集群或服务器群中操作的计算装置集群中操作。CPU 720可以连接到数据通信基础设施710,例如,总线、消息队列、网络或多核消息传递方案。
装置700还可以包括主存储器740,例如随机存取存储器(RAM),并且还可以包括辅助存储器730。辅助存储器730(例如,只读存储器(ROM))可以是例如硬盘驱动器或可移动存储驱动器。这种可移动储存驱动器可以包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存存储器等。本示例中的可移动存储驱动器以众所周知的方式从可移动存储单元读取和/或写入可移动存储单元。可移动存储单元可以包括软盘、磁带、光盘等,其由可移动存储驱动器读取和写入。如相关领域的技术人员将理解的那样,这种可移动存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。
在替代具体实施中,辅助存储器730可以包括用于允许将计算机程序或其他指令加载到装置700中的其他类似装置。此类装置的示例可以包括程序盒和盒接口(诸如存在于视频游戏装置中的)、可移动存储器芯片(诸如EPROM或PROM)和相关联的插口,以及允许软件和数据从可以的存储单元传输到装置700的其他可移动存储单元和接口。
装置700还可以包括通信接口(“COM”)760。通信接口760允许在装置700与外部装置之间传输软件和数据。通信接口760可以包括调制解调器、网络接口(诸如以太网卡)、通信端口、PCMCIA插槽和卡等。经由通信接口760传输的软件和数据可以呈信号的形式,这些信号可以是电子的、电磁的、光学的或能够由通信接口760接收的其他信号。这些信号可以经由装置700的通信路径提供给通信接口760,这可以使用例如电线或电缆、光纤、电话线、蜂窝电话链路、RF链路或其他通信信道来实现。
此类装备的硬件元件、操作系统和编程语言本质上是常规的,并且假定本领域技术人员对其足够熟悉。装置700还可以包括输入和输出端口750,以与输入和输出装置(诸如键盘、鼠标、触摸屏、监视器、显示器等)连接。当然,各种服务器功能可以以分布式方式在许多类似的平台上实现,以分配处理负载。替代地,服务器可以通过一个计算机硬件平台的适当编程来实现。
在整个本公开中,对部件或模块的引用通常是指逻辑上可以组合在一起以执行一个功能或一组相关功能的物品。相同的附图标记通常旨在指代相同或相似的部件。部件和模块可以以软件、硬件或软件和硬件的组合来实现。
上述工具、模块和功能可以由一个或多个处理器执行。“存储”类型的介质可以包括以下项中的任一项或所有项:计算机、处理器等的有形存储器;或其相关联模块,诸如各种半导体存储器、磁带驱动器、磁盘驱动器等,它们可以在任何时间提供针对软件编程的非暂时性存储。
软件可以通过互联网、云服务提供商或其他电信网络进行传送。例如,通信可以实现将软件从一个计算机或处理器加载到另一个计算机或处理器。如本文所用,除非限于非暂时性、有形“存储”介质,否则诸如计算机或机器“可读介质”之类的术语是指参与向处理器提供指令以供执行的任何介质。
前述一般性描述仅是示例性和说明性的,而非对本公开进行限制。从对本说明书的思考和对本文所公开的本发明的实践,本发明的其他实施方案将对本领域技术人员显而易见。说明书和示例旨在仅被认为是示例性的。
Claims (20)
1.一种用于分析对应于标本的切片的图像的计算机实现的方法,所述方法包括:
接收病理标本的至少一个数字化图像;
在人工智能(AI)系统处使用所述数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型;
在所述AI系统处确定所述数字化图像的显着部位覆盖层,其中所述AI系统指示每个像素的值;以及
基于每个像素的所述值,抑制所述数字化图像的一个或多个非显着部位。
2.根据权利要求1所述的计算机实现的方法,其还包括将所述显着部位覆盖层转换成组织图。
3.根据权利要求1所述的计算机实现的方法,其还包括归一化所述显着部位覆盖层以获得变量。
4.根据权利要求3所述的计算机实现的方法,其中所述显着部位覆盖层由以下中的一者或多者表示:
热图,其指示显着特征的每个像素存在或不存在的分数或概率;
一组超像素,其与所述显着特征存在或不存在的分数或概率相关联;
所述数字化图像的二进制分割,其指示每个像素是否具有存在的所述显着特征;以及
所述数字化图像的语义分割,其指示每个像素的分数或概率。
5.根据权利要求1所述的计算机实现的方法,其中检测显着特征针对所述数字化图像使用图像处理技术、AI和/或机器学习以产生组织可视化。
6.根据权利要求1所述的计算机实现的方法,其中所述数字化图像包括相关病例信息、患者信息和来自临床系统的信息。
7.根据权利要求1所述的计算机实现的方法,其还包括:当所述显着部位覆盖层可用时,提醒用户。
8.根据权利要求1所述的计算机实现的方法,其中所述显着部位覆盖层的大小被调整为与所述数字化图像相同的大小。
9.根据权利要求1所述的计算机实现的方法,其还包括:开发对多个经处理的图像和/或预期患者数据进行归档的流水线。
10.一种用于分析对应于标本的切片的图像的系统,所述系统包括:
至少一个存储器,其存储指令;以及
至少一个处理器,其被配置为执行所述指令以执行包括以下的操作:
接收病理标本的至少一个数字化图像;
在人工智能(AI)系统处使用所述数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型;
在所述AI系统处确定所述数字化图像的显着部位覆盖层,其中所述AI系统指示每个像素的值;以及
基于每个像素的所述值,抑制所述数字化图像的一个或多个非显着部位。
11.根据权利要求10所述的系统,其还包括将所述显着部位覆盖层转换成组织图。
12.根据权利要求10所述的系统,其还包括归一化所述显着部位覆盖层以获得变量。
13.根据权利要求12所述的系统,其中所述显着部位覆盖层由以下中的一者或多者表示:
热图,其指示显着特征的每个像素存在或不存在的分数或概率;
一组超像素,其与所述显着特征存在或不存在的分数或概率相关联;
所述数字化图像的二进制分割,其指示每个像素是否具有存在的所述显着特征;以及
所述数字化图像的语义分割,其指示每个像素的分数或概率。
14.根据权利要求10所述的系统,其中检测显着特征针对所述数字化图像使用图像处理技术、AI和/或机器学习以产生组织可视化。
15.根据权利要求10所述的系统,其中所述数字化图像包括相关病例信息、患者信息和来自临床系统的信息。
16.根据权利要求10所述的系统,其还包括:当所述显着部位覆盖层可用时,提醒用户。
17.根据权利要求10所述的系统,其中所述显着部位覆盖层的大小被调整为与所述数字化图像相同的大小。
18.根据权利要求10所述的系统,其还包括:开发对多个经处理的图像和/或预期患者数据进行归档的流水线。
19.一种存储指令的非暂时性计算机可读介质,所述指令在由处理器执行时,使所述处理器执行用于分析对应于标本的切片的图像的方法,所述方法包括:
接收病理标本的至少一个数字化图像;
在人工智能(AI)系统处使用所述数字化图像来确定至少一个显着特征,所述至少一个显着特征包括生物标志物、癌症、癌症等级、寄生物、毒性、炎症和/或癌症亚型;
在所述AI系统处确定所述数字化图像的显着部位覆盖层,其中所述AI系统指示每个像素的值;以及
基于每个像素的所述值,抑制所述数字化图像的一个或多个非显着部位。
20.根据权利要求19所述的非暂时性计算机可读介质,其还包括将所述显着部位覆盖层转换成组织图。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063041778P | 2020-06-19 | 2020-06-19 | |
US63/041778 | 2020-06-19 | ||
PCT/US2021/037800 WO2021257809A1 (en) | 2020-06-19 | 2021-06-17 | Systems and methods to process electronic images to produce a tissue map visualization |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115867936A true CN115867936A (zh) | 2023-03-28 |
Family
ID=77022187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180050611.5A Pending CN115867936A (zh) | 2020-06-19 | 2021-06-17 | 处理电子图像以产生组织图可视化的系统和方法 |
Country Status (9)
Country | Link |
---|---|
US (3) | US11315249B2 (zh) |
EP (1) | EP4168982A1 (zh) |
JP (1) | JP2023530070A (zh) |
KR (1) | KR20230027164A (zh) |
CN (1) | CN115867936A (zh) |
AU (1) | AU2021292302A1 (zh) |
BR (1) | BR112022025584A2 (zh) |
CA (1) | CA3176898A1 (zh) |
WO (1) | WO2021257809A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4246525A1 (en) * | 2022-03-18 | 2023-09-20 | Lunit Inc. | Method and device for processing pathological slide image |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2948226C (en) * | 2014-06-30 | 2023-09-05 | Ventana Medical Systems, Inc. | Detecting edges of a nucleus using image analysis |
JP2017524196A (ja) * | 2014-08-04 | 2017-08-24 | ヴェンタナ メディカル システムズ, インク. | コンテキストフィーチャを用いた画像解析システム |
WO2017093524A1 (en) * | 2015-12-04 | 2017-06-08 | Ventana Medical Systems, Inc. | Devices, systems and methods for automated quantitative scoring of digitized tissue images |
JP6799146B2 (ja) * | 2016-10-07 | 2020-12-09 | ベンタナ メディカル システムズ, インコーポレイテッド | 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー |
US10664999B2 (en) * | 2018-02-15 | 2020-05-26 | Adobe Inc. | Saliency prediction for a mobile user interface |
EP3776337A1 (en) * | 2018-04-13 | 2021-02-17 | Ventana Medical Systems, Inc. | Systems for cell shape estimation |
US10957041B2 (en) * | 2018-05-14 | 2021-03-23 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
US11705226B2 (en) * | 2019-09-19 | 2023-07-18 | Tempus Labs, Inc. | Data based cancer research and treatment systems and methods |
-
2021
- 2021-06-17 KR KR1020237001337A patent/KR20230027164A/ko active Search and Examination
- 2021-06-17 EP EP21745484.2A patent/EP4168982A1/en active Pending
- 2021-06-17 AU AU2021292302A patent/AU2021292302A1/en active Pending
- 2021-06-17 BR BR112022025584A patent/BR112022025584A2/pt unknown
- 2021-06-17 CA CA3176898A patent/CA3176898A1/en active Pending
- 2021-06-17 WO PCT/US2021/037800 patent/WO2021257809A1/en unknown
- 2021-06-17 US US17/350,328 patent/US11315249B2/en active Active
- 2021-06-17 JP JP2022570301A patent/JP2023530070A/ja active Pending
- 2021-06-17 CN CN202180050611.5A patent/CN115867936A/zh active Pending
-
2022
- 2022-03-18 US US17/655,524 patent/US11887304B2/en active Active
-
2023
- 2023-12-06 US US18/530,844 patent/US20240112338A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11315249B2 (en) | 2022-04-26 |
CA3176898A1 (en) | 2021-12-23 |
US11887304B2 (en) | 2024-01-30 |
US20240112338A1 (en) | 2024-04-04 |
AU2021292302A1 (en) | 2022-12-08 |
BR112022025584A2 (pt) | 2023-03-07 |
EP4168982A1 (en) | 2023-04-26 |
JP2023530070A (ja) | 2023-07-13 |
KR20230027164A (ko) | 2023-02-27 |
US20220207735A1 (en) | 2022-06-30 |
US20210398278A1 (en) | 2021-12-23 |
WO2021257809A1 (en) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Niazi et al. | Digital pathology and artificial intelligence | |
US11934634B2 (en) | System, user interface and method for interactive negative explanation of machine learning localization models in health care applications | |
US20230147471A1 (en) | Systems and methods to process electronic images to determine salient information in digital pathology | |
US20240112338A1 (en) | Systems and methods to process electronic images to produce a tissue map visualization | |
WO2022072133A1 (en) | Systems and methods to process electronic images to provide localized semantic analysis of whole slide images | |
CN112633405A (zh) | 模型训练方法、医学影像分析方法及装置、设备、介质 | |
US20230177685A1 (en) | Systems and methods for processing electronic images to visualize combinations of semantic pathology features | |
US20230386031A1 (en) | Systems and methods to process electronic images for histological morphology trajectory prediction | |
US20230290111A1 (en) | Systems and methods to process electronic images for model selection | |
US20220351368A1 (en) | Systems and methods to process electronic images to identify attributes | |
Khanna et al. | Artificial Intelligence Applications in Prostate Cancer Management: Success Stories and Future Ahead | |
Safari | A State-of-the-Art Survey of Deep Learning Techniques in Medical Pattern Analysis and IoT Intelligent Systems | |
Fine | Akif Burak Tosun1, D. Lansing Taylor1, 3, 4, S. Filippo Pullara1, Chakra Chennubhotla1, 4, Michael and J. Jeffrey Becich1, 2 | |
EP4367674A1 (en) | Systems and methods to process electronic images to predict biallelic mutations | |
KR20240004642A (ko) | 전자 이미지를 프로세싱하여 속성을 식별하는 시스템 및 방법 | |
WO2023283603A1 (en) | Systems and methods to process electronic images to predict biallelic mutations | |
KR20240069618A (ko) | 병리 슬라이드 이미지를 분석하는 방법 및 장치 | |
CN117637122A (zh) | 用于标识和提供医学图像中的候选医学发现的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |