CN117355870A - 处理电子图像以对载玻片内标本组织类型进行归类的系统和方法 - Google Patents
处理电子图像以对载玻片内标本组织类型进行归类的系统和方法 Download PDFInfo
- Publication number
- CN117355870A CN117355870A CN202280036402.XA CN202280036402A CN117355870A CN 117355870 A CN117355870 A CN 117355870A CN 202280036402 A CN202280036402 A CN 202280036402A CN 117355870 A CN117355870 A CN 117355870A
- Authority
- CN
- China
- Prior art keywords
- tissue specimen
- foreground
- distribution
- tiles
- whole slide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000012545 processing Methods 0.000 title claims description 55
- 239000013598 vector Substances 0.000 claims abstract description 89
- 238000010801 machine learning Methods 0.000 claims abstract description 87
- 238000009826 distribution Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 5
- 210000001519 tissue Anatomy 0.000 description 264
- 238000013473 artificial intelligence Methods 0.000 description 27
- 238000004458 analytical method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000011160 research Methods 0.000 description 11
- 210000000481 breast Anatomy 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000005228 liver tissue Anatomy 0.000 description 4
- 210000001165 lymph node Anatomy 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 210000003563 lymphoid tissue Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000002307 prostate Anatomy 0.000 description 3
- 239000013255 MILs Substances 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012317 liver biopsy Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010027457 Metastases to liver Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000005068 bladder tissue Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009799 cystectomy Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
公开了用于识别数字全载玻片图像中存在的组织标本类型的系统和方法。在一些方面,可以使用用于分布外检测的无监督机器学习技术来识别组织标本类型。例如,可以接收组织标本的数字全载玻片图像和数字全载玻片图像的记录的组织标本类型。可以从被识别为包括组织标本的数字全载玻片图像的一个或多个前景图块中提取一个或多个特征向量,并且可以接收由机器学习系统针对记录的组织标本类型学习的分布。使用所述分布,可以计算对应于记录的组织标本类型的特征向量的概率,并将其用作将从中提取特征向量的前景图块分类为分布内前景图块或分布外前景图块的基础。
Description
相关申请
本申请要求于2021年12月30日提交的美国非临时申请号17/646,500的优先权,该申请要求于2021年5月21日提交的美国临时申请号63/191,729的优先权,所述申请的全部公开内容通过引用的方式整体并入本文中。
技术领域
本公开的各种实施方案总体上涉及图像处理方法。更具体地,本公开的特定实施方案涉及用于处理电子图像以对载玻片内标本组织类型进行归类(例如,分类)的系统和方法。
背景技术
当处理载玻片安装的组织病理学标本的数字化图像(例如,数字全载玻片图像)时,通常假设载玻片中仅存在由数据库(诸如实验室信息系统)指示的单一组织标本类型。然而,在一些情况下,实验室信息系统中记录的组织标本类型可能是错误的和/或载玻片中可能存在未记录在实验室信息系统中的一种或多种附加组织标本类型。这不仅会导致记录不准确,而且还可能导致特定于给定组织标本类型的基于人工智能(AI)的图像处理系统错误地应用到数字全载玻片图像的一个或多个区域,这些区域包括不同的组织标本类型。
本文提供的背景描述是为了一般性地呈现本公开的背景的目的。除非本文另有说明,否则本节中描述的材料不是本申请中的权利要求的现有技术,并且不通过包含在本节中而承认其是现有技术或现有技术的建议。
发明内容
根据本公开的某些方面,公开了用于处理电子图像以对载玻片内组织标本类型进行归类的系统和方法。
可以描述一种用于识别数字全载玻片图像中存在的组织标本类型的系统。该系统可以包括处理器和耦合到该处理器并存储指令的存储器,所述指令在由处理器执行时使处理器执行操作。这些操作可以包括接收组织标本的数字全载玻片图像和为数字全载玻片图像记录的组织标本类型、识别包括组织标本的数字全载玻片图像的一个或多个前景图块、从一个或多个前景图块提取一个或多个特征向量,并接收由机器学习系统学习的针对为数字全载玻片图像记录的组织标本类型的分布。这些操作还可以包括使用所述分布来确定对应于为数字全载玻片图像记录的组织标本类型的一个或多个特征向量的概率,并且基于所述概率,将从中提取一个或多个特征向量的一个或多个前景图块分类为分布内前景图块或分布外前景图块中的一者。
可以描述一种用于识别数字全载玻片图像中存在的组织标本类型的方法。这些方法可以包括接收组织标本的数字全载玻片图像和为数字全载玻片图像记录的组织标本类型、识别包括组织标本的数字全载玻片图像的一个或多个前景图块、从一个或多个前景图块提取一个或多个特征向量,并接收由机器学习系统学习的针对为数字全载玻片图像记录的组织标本类型的分布。这些方法还可以包括使用所述分布来确定对应于为数字全载玻片图像记录的组织标本类型的一个或多个特征向量的概率,并且基于所述概率,将从中提取一个或多个特征向量的一个或多个前景图块分类为分布内前景图块或分布外前景图块中的一者。
可以描述一种非暂时性计算机可读介质,所述非暂时性计算机可读介质存储指令,所述指令在由处理器执行时使处理器执行用于识别数字全载玻片图像中存在的组织标本类型的操作。这些操作可以包括接收组织标本的数字全载玻片图像和为数字全载玻片图像记录的组织标本类型、识别包括组织标本的数字全载玻片图像的一个或多个前景图块、从一个或多个前景图块提取一个或多个特征向量,并接收由机器学习系统学习的针对为数字全载玻片图像记录的组织标本类型的分布。这些操作还可以包括使用所述分布来确定对应于为数字全载玻片图像记录的组织标本类型的一个或多个特征向量的概率,并且基于所述概率,将从中提取一个或多个特征向量的一个或多个前景图块分类为分布内前景图块或分布外前景图块中的一者。
应理解,以上概述和以下详述都仅是示例性和解释性的,并且不限制要求保护的所公开的实施方案。
附图说明
并入本说明书并且构成本说明书的一部分的附图示出了各种示例性实施方案,并且连同本说明书一起用来解释所公开的实施方案的原理。
图1A示出了根据本公开的示例性实施方案的用于对数字全载玻片图像中存在的一种或多种组织标本类型进行分类的系统和网络的示例性框图。
图1B示出了根据本公开的示例性实施方案的组织分类平台的示例性框图。
图1C示出了根据本公开的示例性实施方案的载玻片分析工具的示例性框图。
图2是示出根据本公开的示例性实施方案的用于使用经训练的机器学习系统来识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性过程的流程图。
图3A是示出根据本公开的示例性实施方案的用于训练无监督的机器学习系统以识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法的流程图。
图3B是示出根据本公开的示例性实施方案的用于使用无监督的机器学习系统来识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法的流程图。
图4A是示出根据本公开的示例性实施方案的用于训练有监督的机器学习系统以识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法的流程图。
图4B是示出根据本公开的示例性实施方案的用于使用有监督的机器学习系统来识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法的流程图。
图5是示出根据本公开的示例性实施方案的用于漂浮物检测的组织分类平台的示例性应用的概念图。
图6是示出根据本公开的示例性实施方案的用于确定随后应用于数字全载玻片图像的基于AI的图像处理系统的组织分类平台的示例性应用的概念图。
图7是示出根据本公开的示例性实施方案的用于检测实验室信息系统中的错误的组织分类平台的示例性应用的概念图。
图8示出了可以执行本文中呈现的技术的示例系统。
具体实施方式
现在将详细参考本公开的示例性实施方案,其示例在附图中示出。只要有可能,在整个附图中将使用相同的附图标记来指代相同或相似的部件。
现在将详细参考本公开的示例性实施方案,其示例在附图中示出。只要有可能,在整个附图中将使用相同的附图标记来指代相同或相似的部件。
通过示例并参考附图来详细描述本文公开的系统、装置和方法。本文讨论的示例仅是示例并且被提供以帮助解释本文描述的设备、装置、系统和方法。附图中所示或下面讨论的特征或组件均不应被视为对于这些装置、系统或方法中的任何装置、系统或方法的任何具体实施方式是强制性的,除非特别指定为强制性的。
此外,对于所描述的任何方法,无论该方法是否结合流程图进行描述,应理解,除非另外指定或上下文要求,否则在方法的执行中所执行的步骤的任何显式或隐式排序并不意味着这些步骤必须按所给出的顺序执行,但也可以按不同的顺序或并行执行。
如本文所使用的,术语“示例性”是在“示例”而不是“理想”的意义上使用的。此外,本文中的术语“一”和“一个”并不表示数量限制,而是表示一个或多个所引用项目的存在。
在组织病理学中,载玻片通常具有单一组织标本类型,诸如在乳房肿瘤切除术期间移除的乳腺组织标本,并且该组织标本类型可以在实验室信息系统中指示或记录为载玻片的组织标本类型。然而,在一些情况下,物理组织标本可能包含多于实验室信息系统中指定的单一组织类型和/或实验室信息系统内的数据可能与载玻片上实际存在的一种或多种组织标本类型不一致。作为一个说明性示例,在膀胱切除术中,前列腺组织的一部分也可在切除期间被提取,从而产生可包括膀胱组织和前列腺组织两者的载玻片。作为另一说明性示例,患者可以将肿瘤连同一个或多个淋巴结一起切除以识别转移,并且可以制备包含肿瘤和淋巴结两者的载玻片。另外和/或替代地,实验室信息系统内的数据可能是不正确的。例如,用肝脏活检标本制备的载玻片可能被错误地记录为原发肿瘤类型的肝脏组织,所述肝脏活检被执行来识别源自不同组织类型的癌症的肝脏转移。实验室信息系统内的数据也可能是不完整的,因为当部分标本中的载玻片或载玻片集合内存在多种组织标本类型时,它不包含每种组织类型的完整描述。
当载玻片内的组织标本类型不均匀和/或记录不正确时,对此数据进行操作的病理学家可能无法检索必要的信息来查找标本。另外和/或替代地,特定于所记录的组织类型的AI系统可以在载玻片的数字化图像上运行,从而由于组织标本类型的异质性和/或组织标本类型在图像中的不正确记录而导致错误的输出。例如,如果肝脏组织标本在实验室信息系统中被错误地记录为乳腺组织标本,则特定于乳腺组织的AI系统(例如,模型、算法、系统、架构等)可能被错误地执行来处理该肝脏组织标本的图像,导致错误的输出。
本文公开的各方面通过对组织病理学标本的数字全载玻片图像使用经训练的机器学习系统、AI和/或图像处理技术来对载玻片上的一个或多个位置或区域处存在的组织标本类型进行分类,从而解决了这些问题。通过对载玻片内组织类型进行分类,可以减轻与信息数据库中记录的数据的不匹配和/或随后应用不正确的特定于组织类型的AI系统的情况。
环境
图1A示出了根据本公开的示例性实施方案的用于对数字全载玻片图像中存在的一种或多种组织标本类型进行分类的系统和网络的示例性框图。
具体来说,图1A示出了可以连接到医院、实验室和/或医生办公室等处的服务器的电子网络120。例如,医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125等可以各自通过一个或多个计算机、服务器和/或手持移动装置连接到电子网络120,诸如互联网。根据本申请的示例性实施方案,电子网络120还可以连接到服务器系统110,所述服务器系统可以包括被配置为实现组织分类平台100的处理装置,根据本公开的示例性实施方案,所述组织分类平台包括用于使用机器学习、AI和/或图像处理工具来识别数字全载玻片图像中存在的一种或多种组织标本类型的载玻片分析工具101。
医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以创建或以其他方式获得一个或多个患者的细胞学标本、组织病理学标本、细胞学标本的载玻片的图像、组织病理学标本的载玻片的数字化图像、或其任何组合(本文统称为数字全载玻片图像)。医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125还可以获得患者特定信息的任意组合,诸如年龄、病史、癌症治疗史、家族史、过去活检或细胞学信息等。医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以通过电子网络120将数字化载玻片图像和/或患者特定信息传输到服务器系统110。实验室信息系统125还可以存储与数字全载玻片图像相关联的数据,诸如记录为包括在相应图像中的组织标本类型,其可以与数字全载玻片图像一起通过网络120传输到服务器系统110。
服务器系统110可以包括一个或多个存储装置109,用于存储从医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的至少一者接收的图像和数据。服务器系统110还可以包括用于处理存储在一个或多个存储装置109中的图像和数据的处理装置。服务器系统110还可以包括一个或多个机器学习工具或能力。例如,根据一个实施方案,处理装置可包括用于组织分类平台100的一种或多种机器学习工具。替代地或另外,本公开(或本公开的系统和方法的部分)可以在本地处理装置(例如,膝上型计算机)上执行。
医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125是指由病理学家用于查看数字全载玻片图像的系统。如先前所讨论的,与数字全载玻片图像相关联的组织类型信息可以存储在实验室信息系统125中。
图1B示出了组织分类平台100的示例性框图。组织分类平台100可以包括载玻片分析工具101、数据摄取工具102、载玻片摄取工具103、载玻片扫描仪104、载玻片管理器105、存储装置106和查看应用工具108。
如下所述,载玻片分析工具101是指用于识别数字全载玻片图像中存在的一种或多种组织标本类型的过程和系统。无监督和/或有监督机器学习技术可以结合图像处理技术来实现以识别组织标本类型。
根据示例性实施方案,数据摄取工具102可以促进将数字全载玻片图像传送到用于分类和处理全载玻片图像的各种工具、模块、部件和装置。根据示例性实施方案,载玻片摄取工具103可以扫描病理载玻片并将它们转换成数字形式。可以用载玻片扫描仪104扫描载玻片,并且载玻片管理器105可以将载玻片上的图像处理成数字全载玻片图像并将数字全载玻片图像存储在存储装置106中。查看应用工具108可以向用户(例如,病理学家)提供显示数字全载玻片图像的用户界面。用户界面还可以显示所识别的组织标本类型的一个或多个指示和/或通知或警报(例如,如果所识别的组织标本类型与实验室信息系统125中记录的组织标本类型之间存在差异)。该信息可以通过各种输出接口(例如,屏幕、监视器、存储装置和/或web浏览器等)来提供。
载玻片分析工具101及其一个或多个部件可以通过电子网络120向服务器系统110、医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125传输数字全载玻片图像和/或患者信息和/或从它们接收所述数字全载玻片图像和/或患者信息。此外,服务器系统110可以包括用于存储从载玻片分析工具101、数据摄取工具102、载玻片摄取工具103、载玻片扫描仪104、载玻片管理器105和查看应用工具108中的至少一者接收的图像和数据的存储装置。服务器系统110还可以包括用于处理存储在存储装置中的图像和数据的处理装置。服务器系统110还可以包括一个或多个机器学习工具或能力,例如,由于处理装置。替代地或另外,本公开(或本公开的系统和方法的部分)可以在本地处理装置(例如,膝上型计算机)上执行。
上述装置、工具和模块中的任一者可以位于可以通过一个或多个计算机、服务器和/或手持移动装置连接到诸如互联网或云服务提供商的电子网络的装置上。
图1C示出了根据本公开的示例性实施方案的载玻片分析工具101的示例性框图。载玻片分析工具101可以包括训练图像平台131和/或目标图像平台136。
根据一个实施方案,训练图像平台131可包括多个软件模块,包括训练图像摄取模块132、前景图块识别模块133、特征向量提取模块134和组织标本类型预测模块135。
根据一个实施方案,训练图像平台131可以创建或接收用于生成和训练一个或多个机器学习系统的训练图像的一个或多个数据集,该机器学习系统在实施时有助于识别存在于数字全载玻片图像的一个或多个位置或区域中的一种或多种组织标本类型。例如,训练图像可以包括从服务器系统110、医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一者或任意组合接收的数字全载玻片图像。用于训练的图像可以来自真实来源(例如,人类、动物等)或者可以来自合成来源(例如,图形渲染引擎、3D模型等)。示例数字全载玻片图像可以包括载玻片安装的病理标本的数字化图像。
训练图像平台131的训练图像摄取模块132可以创建或接收训练图像的一个或多个数据集。例如,数据集可以包括针对多种组织标本类型中的每一种的多个数字全载玻片图像,以实现跨多种不同组织标本类型的组织类型识别。例如,一个数据集可包括乳腺组织标本的多个数字全载玻片图像,另一数据集可包括肝组织标本的多个数字全载玻片图像,又一数据集可包括前列腺组织标本的多个数字全载玻片图像,等等。在一些示例中,还可以接收与训练图像相对应的注释作为数据集的一部分,其中注释标记训练图像中存在的已知组织标本类型。在一些示例中,注释可以是在训练图像内以像素级标记组织标本类型的强注释。在其他示例中,注释可以是以图像或标本级标记组织标本类型的弱注释。数据集可以存储在数字存储装置(例如,存储装置109中的一者)上。
组织标本的数字全载玻片图像可以由多个图块组成,其中图块的第一部分可以包括前景图块并且图块的第二部分可以包括背景图块。前景图块可以包括包含组织标本的数字全载玻片图像的位置或区域。前景图块识别模块133可以使用一种或多种图像处理技术来识别作为训练图像接收的数字全载玻片图像内的前景图块。特征向量提取模块134可以从由前景图块识别模块133识别的每个前景图块提取一个或多个特征,以放置到向量(例如,特征向量)中。在一些方面,可以生成并训练一个或多个机器学习系统以实现特征提取,如下面参考图2更详细地描述的。组织标本类型预测模块135可以至少使用针对训练图像的前景图块提取的特征向量来生成一个或多个机器学习系统,用于预测包括在数字全载玻片图像的一个或多个位置或区域(例如,在一个或多个前景图块中)中的组织标本类型。在一些示例中,机器学习系统可以是有监督的机器学习系统,并且训练图像的对应注释也可以用作生成和训练过程的一部分。在其他示例中,机器学习系统可以是无监督的机器学习系统。根据一个方面,可以针对每种组织标本类型生成机器学习系统(例如,可以生成组织类型特定的机器学习系统)。根据另一方面,可以生成一个能够跨多种不同组织标本类型识别组织标本类型的机器学习系统。
根据一个实施方案,除了输出接口139之外,目标图像平台136还可以包括软件模块,诸如目标图像摄取模块137和组织标本类型识别模块138。目标图像平台136可以经由目标图像摄取模块137接收组织标本的数字全载玻片图像作为目标图像输入。例如,可以从服务器系统110、医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一者或任意组合接收数字全载玻片图像。数字全载玻片图像可以被提供给组织标本类型识别模块138以识别存在于数字全载玻片图像中的一种或多种组织标本类型。组织标本类型识别模块138可以由一个或多个子模块组成,包括前景图块识别模块133、特征向量提取模块134和组织标本类型预测模块135。组织标本类型识别模块138可以执行由训练图像平台131生成的一个或多个机器学习系统,以便于识别存在于数字全载玻片图像的一个或多个位置或区域(例如,在前景图块内)中的组织标本类型。
输出接口139可以用于输出调整后的目标全载玻片图像(例如,输出到屏幕、监视器、存储装置、web浏览器等)。
图2是示出根据本公开的示例性实施方案的用于使用机器学习系统来识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性过程200的流程图。示例性过程200可以由载玻片分析工具101的目标图像平台136自动地和/或响应于来自用户(例如,病理学家、患者、肿瘤学家、技术人员、管理员等)的请求来执行。
示例性过程200可以包括接收组织标本的数字全载玻片图像202作为载玻片分析工具101的输入。数字全载玻片图像202可以是从医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125接收并存储在存储装置109中的一者中的载玻片安装的组织标本的数字化图像。还可以接收数字全载玻片图像202的记录的组织标本类型204作为载玻片分析工具101的输入。记录的组织标本类型204可以从实验室信息系统125或存储与多个数字全载玻片图像(包括数字全载玻片图像202)相关联的信息(包括组织类型信息)的其他类似数据库接收。数字全载玻片图像202可以由多个图块组成,包括前景图块和背景图块,并且每个图块可以由多个像素组成。前景图块可以包括包含组织标本的数字全载玻片图像202的位置或区域。
在步骤206中,过程200可以包括识别包括组织标本的数字全载玻片图像202的一个或多个前景图块208。可以使用多种图像处理技术中的任何一种来执行数字全载玻片图像202的前景和背景图块之间的区分。在一个示例中,可以实现基于给定图块内的像素方差的阈值处理来识别给定图块是否是前景图块。在另一示例中,可以执行Otsu方法(例如,将像素分为两类:前景和背景,的一种自动图像阈值处理)。在又一示例中,可以将给定图块的像素值与参考前景分布进行比较。
在步骤210中,过程200可以包括从前景图块208中提取特征向量212。给定前景图块的特征向量可以是表示给定前景图块的一个或多个特征的向量。可以使用多种图像处理和/或机器学习技术中的一者来执行提取。在一个示例中,可以针对给定的前景图块生成手工设计的特征,诸如包括尺度不变特征变换(SIFT)描述符、定向FAST和旋转BRIEF(ORB)特征、辐射不变特征变换(RIFT)描述符和/或加速的鲁棒特征(SURF)描述符的描述符,并将其转换成给定图块的特征向量。在另一示例中,提取的特征向量可以是卷积神经网络(CNN)嵌入,该CNN使用监督和/或自监督学习技术来训练。在又一示例中,可以使用经训练的变换器神经网络来提取特征向量。在再一示例中,可以使用原始的、未改变的像素块来提取特征。
然后可以将特征向量212作为输入提供给经训练的机器学习系统214以用于预测组织标本类型。每个特征向量212可以由经训练的机器学习系统214单独输入和运行。在一些示例中,经训练的机器学习系统214可以是无监督的机器学习系统,如下文参考图3A和图3B所描述的。在其他示例中,经训练的机器学习系统214可以是有监督的机器学习系统,如下文参考图4A和图4B所描述的。经训练的机器学习系统214可以是由载玻片分析工具101的训练图像平台131生成和训练的机器学习系统中的一者。替代地,机器学习系统可由第三方生成和/或训练并提供给系统110以供载玻片分析工具101的目标图像平台136执行。另外,在一些示例中,可以基于(例如,专门针对)所记录的组织标本类型204来选择经训练的机器学习系统214。
与从中提取特征向量212的相应前景图块208中存在的组织标本类型相关联的预测216可以作为来自经训练的机器学习系统214的输出被接收。在一些示例中,预测216可以是从中提取特征向量212的相应前景图块208中包括的组织标本的组织标本类型为(例如,匹配或对准)记录的组织标本类型204的概率。在其他示例中,预测216可以包括识别针对包括在相应前景图块208中的组织标本预测的组织标本类型的组织标本类型分类。预测216可以包括对作为输入提供的数字全载玻片图像202的每个前景图块208的预测,以共同表示存在于整个数字全载玻片图像202中的预测的一种或多种组织标本类型。在一些示例中,数字全载玻片图像202可以通过查看应用工具108的用户界面与在所显示的数字全载玻片图像202中用相关联的预测216标记相应前景图块208的一个或多个指示符一起显示。
在过程200的步骤218中,可以将预测216与记录的组织标本类型204进行比较,以确定预测216是否与记录的组织标本类型204对准。基于该比较,可以确定对前景图块的至少一个子集(例如,前景图块的第一子集208A)的预测216以与记录的组织标本类型204对准或匹配。响应于确定这种对准,前景图块的第一子集208A可以被提供给特定于所记录的组织标本类型的AI图像处理系统220以进行处理。例如,AI图像处理系统220可以预测与记录的组织标本类型相关联的病症或疾病的存在和/或类型以用于诊断(例如,特定于乳腺组织的AI图像处理系统可以确定乳腺癌的存在和/或类型)。
另外和/或替代地,基于该比较,可以针对前景图块的至少一个子集(例如,前景图块的第二子集208B)确定预测216和记录的组织标本类型204之间的差异。响应于确定差异,在过程200的步骤222处,可以生成指示差异的通知224。该差异可以是预测的组织标本类型和记录的组织标本类型204和/或未包括在记录的组织标本类型204中的一个或多个前景图块中包括的一种或多种附加组织标本类型之间的不匹配。可以提供通知224,以便通过查看应用工具108的用户界面与数字全载玻片图像202联合显示,以提示用户(例如,病理学家)查看对应于前景图块的第二子集208B的数字全载玻片图像202的位置或区域,并且如果需要的话,纠正或补救与实验室信息系统125中的数字全载玻片图像202相关联的记录的组织标本类型204。在一些示例中,通知224可以包括与数字全载玻片图像202内的前景图块的第二子集208B相关联地(例如,覆盖在其上)显示的图形和/或文本指示或警报。
在进一步的示例中,当确定差异时,可以防止前景图块的第二子集208B由特定于记录的组织标本类型204的AI图像处理系统220处理,以避免错误结果。相反,前景图块的第二子集208B可以被提供给特定于由预测216识别的一种或多种组织标本类型的一个或多个不同的AI图像处理系统。
在其他方面,不是在步骤218处执行比较,而是可以将每个前景图块208作为输入提供给相应的AI图像处理系统,该AI图像处理系统特定于由预测216识别为包括在前景图块中的组织标本类型。换句话说,预测216可用于选择要在数字全载玻片图像202的前景图块208上运行的适当的一个或多个AI图像处理系统。
使用无监督学习进行分布外检测
根据一个示例方面,用于预测全载玻片图像中存在的一种或多种组织标本类型的机器学习系统可以是无监督机器学习系统。对于无监督机器学习系统,作为训练图像接收的全载玻片图像中的组织标本类型在学习过程期间可能不会被明确说明(例如,在学习过程中不接收和/或不使用识别训练图像中的组织标本类型的相应注释或标签)。在一些示例中,可以利用属于单个组织标本类型或一组组织标本类型的训练数据集来实现无监督学习,其中可以假设大部分组织标本属于有效组织标本类型。
图3A是示出根据本公开的示例性实施方案的用于训练无监督的机器学习系统以识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法300的流程图。示例性方法300(例如,步骤302至步骤310)可以由载玻片分析工具101的训练图像平台131来执行。示例性方法400可以包括以下步骤中的一者或多者。
在步骤302中,方法300可包括接收指定组织标本类型的组织标本的一个或多个数字全载玻片图像作为训练图像。例如,训练图像可以包括单个组织标本类型或一组组织标本类型。每个数字全载玻片图像可以由多个图块组成,包括前景图块和背景图块,并且每个图块可以由多个像素组成。前景图块可以是包括组织标本的数字全载玻片图像的位置或区域。
在步骤304中,方法300可包括识别包括组织标本的一个或多个全载玻片图像的一个或多个前景图块。可以使用上面参考图2中的过程200的步骤206详细描述的示例图像处理技术来识别前景图块。
在步骤306中,方法300可包括从一个或多个前景图块中提取一个或多个特征向量。例如,可以针对每个前景图块提取特征向量。可以使用上面参考图2中的过程200的步骤210详细描述的示例图像处理技术和/或机器学习技术中的一者或多者来提取特征向量。
在步骤308中,方法300可包括将分布拟合到一个或多个特征向量的至少一部分。除了其他类似技术之外,可以实施混合模型、多元高斯过程或Parzen窗密度估计(也称为核密度估计)中的一者或多者来拟合分布。在步骤310中,方法300可以包括将所述分布的一个或多个参数与指定组织标本类型相关联地存储(例如,存储在存储装置109中)。
例如,可以使用上述方法300的步骤来生成多个不同组织标本类型的分布,并且将其与相应组织标本类型相关联地存储在存储装置109中。
图3B是示出根据本公开的示例性实施方案的用于使用无监督的机器学习系统来识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法350的流程图。示例性方法350(例如,步骤352至步骤362)可以由载玻片分析工具101的目标图像平台136来执行。示例性方法350可以包括以下步骤中的一者或多者。
在步骤352中,方法350可以包括接收组织标本的数字全载玻片图像和数字全载玻片图像的记录的组织标本类型。数字全载玻片图像可以是从医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125接收并存储在存储装置109中的一者中的载玻片安装的组织标本的数字化图像。记录的组织标本类型可以从与数字全载玻片图像相关联地接收的数据(例如,来自记录在实验室信息系统125或其他类似数据库中的组织类型信息)获得。数字全载玻片图像可以由多个图块组成,包括前景图块和背景图块,并且每个图块可以由多个像素组成。前景图块可以包括包含组织标本的全载玻片图像的位置或区域。
在步骤354中,方法350可包括识别包括组织标本的数字全载玻片图像的一个或多个前景图块。可以使用上面参考图2中的过程200的步骤206详细描述的示例图像处理技术来识别前景图块。
在步骤356中,方法350可包括从一个或多个前景图块中提取一个或多个特征向量。例如,可以从一个或多个前景图块中的每一个提取特征向量。可以使用上面参考图2中的过程200的步骤210详细描述的示例图像处理技术和/或机器学习技术中的一者或多者来提取特征向量。
在步骤358中,方法350可包括接收由机器学习系统针对记录的组织样本类型学习的分布。作为一个示例,一个或多个存储装置109可以将多个分布与多个不同组织标本类型相关联地存储,其中所述分布是由机器学习系统使用参照图3A的方法300描述的无监督学习技术针对所述不同组织标本类型来学习的。记录的组织标本类型可以用于查询存储装置109,例如,以识别和获得针对记录的组织标本类型学习的分布。
在步骤360中,方法350可包括使用所述分布来确定对应于记录的组织标本类型的一个或多个特征向量的概率。例如,可以确定每个特征向量的概率,所述概率指示从中提取特征向量的相应前景图块中包括的组织标本属于记录的组织标本类型的可能性。在一些方面,预定义阈值(例如,预定义概率值)可以用于将从中提取特征向量的相应前景图块分类为分布内前景图块或分布外前景图块。例如,如果针对特征向量确定的概率满足或超过预定义阈值,则从中提取特征向量的相应前景图块可以被分类为分布内前景图块。将相应前景图块分类为分布内前景图块可以指示相应前景图块内的组织标本属于记录的组织标本类型。替代地,如果特征向量的概率低于预定义阈值,则从中提取特征向量的相应前景图块可以被分类为分布外前景图块。将相应前景图块分类为分布外前景图块可以指示相应前景图块内的组织标本不属于为数字全载玻片图像记录的组织标本类型。
在步骤362中,方法350可以包括与从中提取特征向量的相应的一个或多个前景图块相关联地存储一个或多个特征向量的概率。
在一些示例中,数字全载玻片图像可以通过查看应用工具108的用户界面来显示。另外,指示包括在前景图块中的组织标本属于记录的组织标本类型的可能性的概率可以与相应的前景图块相关联地显示(例如,覆盖在所显示的数字全载玻片图像上)。概率可以基于所确定的概率的值被显示为百分比、分数、小数或其他类似的数学格式。在其他示例中,概率可以以二进制方式可视地显示为高于或低于预定义阈值。在进一步的示例中,可以仅在概率低于预定义阈值时才显示所述概率,以提示用户(例如,病理学家)查看该特定的分布外前景图块。另外或替代地,当概率低于预定义阈值时,前景图块可以以其他方式被标记或指示为离群值或分布外前景图块。该指示可以通过查看应用工具108的用户界面被提供为通知和/或警报。
在进一步的示例中,针对该数字全载玻片图像指示的AI图像处理系统(例如,特定于记录的组织标本类型的系统)可以随后在分布内前景图块上运行,以产生包含在分布内前景图块内的病理数据的诊断输出,例如,以确定疾病或病症(如果有的话)的存在和/或类型。相应地,可以生成并提供不在分布外前景图块上运行AI系统的指令。
使用具有强注释或多实例学习技术的有监督学习
根据另一示例方面,用于预测数字全载玻片图像中存在的一种或多种组织标本类型的机器学习系统可以是有监督机器学习系统。在一些示例中,可以使用强注释来训练有监督机器学习系统,其中标记训练图像中的多个像素中的每个像素(如果有的话)中包括的组织标本的组织标本类型(例如,组织标本类型以像素级标记)。在其他示例中,可以使用多实例学习技术来训练有监督机器学习系统,该多实例学习技术采用弱注释,其中以图像或部分标本级标记训练图像的组织标本类型。
图4A是示出根据本公开的示例性实施方案的用于训练有监督的机器学习系统以识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法400的流程图。示例性方法400(例如,步骤402至步骤410)可以由载玻片分析工具101的训练图像平台131来执行。示例性方法400可以包括以下步骤中的一者或多者。
在步骤402中,方法400可包括接收组织标本的一个或多个数字全载玻片图像以及标记该一个或多个全载玻片图像中存在的一种或多种组织标本类型的注释作为训练数据。全载玻片图像可以是由多个像素组成的训练图像,并且注释可以尤其用作对应的标记。在一些示例中,注释可以是强注释,其中给定训练图像中的多个像素中的每一个可以用相应像素中包括的组织标本的对应已知组织标本类型(如果有的话)来标记(例如,以像素级进行标记)。除了其他类似的示例之外,可以使用多边形或像素掩模来指定注释。在其他示例中,注释可以是弱注释,其通常标记给定组织类型是否存在于训练图像内(例如,可以以图像或部分标本级进行标记)。
在步骤404中,方法400可包括识别包括组织标本的一个或多个全载玻片图像的一个或多个前景图块。在一些方面,识别可以至少部分地基于注释,使得包括用组织标本类型注释的组织标本的前景图块被识别。例如,可以使用上面参考图2中的过程200的步骤206详细描述的示例图像处理技术来识别包括组织标本的前景图块。然后,在那些经识别的前景图块中,包括具有组织标本类型注释的组织标本的前景图块的子集可以在以下步骤中使用。
在步骤406中,方法400可包括从一个或多个前景图块中提取一个或多个特征向量。例如,可以针对每个前景图块提取特征向量。可以使用上面参考图2中的过程200的步骤210详细描述的示例图像处理技术和/或机器学习技术中的一者或多者来提取特征向量。
在步骤408中,方法400可以包括提供一个或多个特征向量和对应的注释作为输入以训练机器学习系统来预测组织标本类型。机器学习系统可以是基于分类的系统(例如,分类器),其被训练以使用有监督学习来预测组织标本类型。
在一些示例中,可以使用强注释(例如像素级标记)来训练有监督机器学习系统。在这样的示例中,除了其他类似的示例之外,有监督机器学习系统可以包括卷积神经网络(CNN)、多层感知器(MLP)、支持向量机(SVM)、最近邻算法模型或随机森林算法模型。为了实现学习,可以将从训练图像的经识别的前景图块中提取的特征向量提供为机器学习系统的输入。机器学习系统然后可以输出包括在前景图块中的组织标本的一种或多种预测的组织标本类型。可以将预测的组织类型与相应的标记进行比较以确定损失或错误。对应的标记可以是训练图像的强注释的一部分,其对应于前景图块并且指示存在于前景图块的每个像素中的已知组织标本类型。可以基于错误来修改或更改机器学习系统(例如,可以调整与一个或多个节点和/或层相关联的权重和/或偏差)以提高机器学习系统的准确性。可以针对从接收到的每个训练图像中识别出的每个前景图块重复该过程,或者至少直到确定的损失或错误低于预定义阈值为止。在一些示例中,训练图像的一部分可以保留并用于进一步验证或测试机器学习系统。
在其他示例中,可以使用MIL和弱注释(例如,图像或部分标本级别的标记)来训练有监督机器学习系统。例如,当使用MIL时,机器学习系统接收一组“包”,每个包包括多个“实例”。具体地,每个训练图像可以被描述为一个“包”,并且从相应训练图像的经识别的前景图块中提取的特征向量可以是包括在“包”中的“实例”。弱注释可能与“包”相关联。例如,如果训练图像中包括的特征向量中的至少一个指示给定的组织标本类型,则训练图像可以被标记为对于给定的组织标本类型是正的。为了学习,机器学习系统可以识别对于给定组织标本类型标记为正的训练图像中常见的至少一个特征向量。一旦经过训练,机器学习系统就可以在识别出常见特征向量时将未标记的数字全载玻片图像预测为包括给定的组织标本类型。
在步骤410中,方法400可以包括存储经训练的机器学习系统以供后续使用。例如,分类器的参数可以存储在存储装置109中。
图4B是示出用于使用有监督的机器学习系统来识别数字全载玻片图像中存在的一种或多种组织标本类型的示例性方法450的流程图。示例性方法450(例如,步骤452至步骤462)可以由载玻片分析工具101的目标图像平台136来执行。示例性方法450可以包括以下步骤中的一者或多者。
在步骤452中,方法450可以包括接收组织标本的数字全载玻片图像。在一些示例中,可以可选地从实验室信息系统125和/或给定全载玻片图像的其他类似数据库接收针对数字全载玻片图像的记录的组织标本类型。
在步骤454中,方法450可包括识别包括组织标本的数字全载玻片图像的一个或多个前景图块。可以使用上面参考图2中的过程200的步骤206详细描述的示例图像处理技术来识别前景图块。
在步骤456中,方法450可包括从一个或多个前景图块中提取一个或多个特征向量。例如,可以针对每个前景图块提取特征向量。可以使用上面参考图2中的过程200的步骤210详细描述的示例图像处理技术和/或机器学习技术中的一者或多者来提取特征向量。
在步骤458中,方法450可以包括提供一个或多个特征向量作为经训练的机器学习系统的输入。经训练的机器学习系统可以是有监督的机器学习系统,诸如根据上面参考图4A描述的方法400的步骤402至步骤410训练的有监督的机器学习系统中的一者。
在步骤460中,方法450可以包括接收包括在一个或多个前景图块中的组织标本的预测组织标本类型,从所述前景图块中提取一个或多个特征向量作为经训练的机器学习系统的输出。例如,可以接收包括在每个前景图块中的预测的组织标本类型,从而导致共同存在于数字全图像中的预测的一种或多种组织标本类型。在方法450的步骤462中,方法450可包括将预测的组织标本类型与数字全载玻片图像的一个或多个前景图块相关联地存储(例如,在存储装置109中)。
在一些示例中,数字全载玻片图像可以通过查看应用工具108的用户界面来显示。另外,预测的组织标本类型可以与相应前景图块相关联地显示为标本类型分类。
在其他方面,当接收到数字全载玻片图像的记录的组织标本类型时(例如,从实验室信息系统125),可以在预测的组织标本类型与记录的组织标本类型之间执行比较。如果存在差异(例如,预测存在不匹配和/或一种或多种附加组织标本类型),则可以通过查看应用工具108的用户界面提供通知和/或警报以提示检查和解决。
在进一步的方面,基于预测的组织标本类型,每个前景图块可以作为输入提供给对应的AI图像处理系统以进行处理,该AI图像处理系统特定于针对该前景图块预测的组织标本类型。在一些示例中,AI图像处理系统可以为前景图块内包含的病理数据产生诊断输出,例如,以确定疾病或病症(如果有的话)的存在和/或类型。
系统和方法的示例应用
本文提出的用于预测数字全载玻片图像中存在的一种或多种组织标本类型的技术可以在多种应用中实现。下面参考图5、图6和图7描述示例性非限制性、非穷尽性的应用。
示例实施方案:漂浮物检测
图5是示出根据本公开的示例性实施方案的用于漂浮物检测的组织分类平台100的示例性应用的概念图500。指定类型的组织标本(例如,第一组织标本类型)的示例数字全载玻片图像502还可以包括漂浮物504。漂浮物504可以是异物组织,当其存在于数字全载玻片图像502中并且由特定于第一组织标本类型的AI图像处理系统处理以产生诊断输出时,可能导致不正确的诊断。为了防止这种不正确的诊断,组织分类平台100可以用于识别和区分包括第一组织标本类型和漂浮物的数字全载玻片图像502的位置或区域,使得AI图像处理系统仅处理数字全载玻片图像502包括第一组织标本类型的位置或区域。
具体地,组织分类平台100的载玻片分析工具101可以执行与上面参考图2描述的过程200相同或相似的过程。例如,数字全载玻片图像502可以与存在于数字全载玻片图像502内的预期组织标本类型的列表(例如,记录的组织标本类型的示例)一起被接收。在该说明性示例中,预期组织标本类型可以包括第一组织标本类型(“组织1”)。可以识别包括组织标本的数字全载玻片图像502的前景图块506。可以从每个前景图块506中提取特征向量,并将其作为输入提供给经训练的机器学习系统,以接收与包括在相应前景图块中的一种或多种组织标本类型相关联的预测508作为输出。
基于预测508,包括浮动块504的前景图块(例如,前景图块509)可以被识别为不包括第一组织标本类型或包括不同的组织标本类型。当将预测508与列表中包括的组织标本类型进行比较时,前景图块509可以进一步被分类为包括意外的组织标本类型。另外,可以标记或以其他方式指示对应于前景图块509的数字全载玻片图像502的位置或区域,以提示用户(例如,病理学家)在过程510处进行检查。此外,基于指示剩余前景图块(例如,除了前景图块509之外的前景图块506)包括预期的第一组织标本类型的预测508,这些剩余前景图块可以作为输入提供给特定于第一组织标本类型的AI图像处理系统,以在过程512处产生诊断输出。
示例实施方案:确定要使用的AI系统
图6是示出根据本公开的示例性实施方案的用于确定随后应用于数字全载玻片图像602的基于AI的图像处理系统的组织分类平台100的示例性应用的概念图600。为了提供说明性示例,患者可以将肿瘤(诸如乳腺肿瘤)连同一个或多个淋巴结一起切除以识别转移,并且可以制备包含乳腺肿瘤和淋巴结两者的载玻片。因此,载玻片的数字化图像(例如,数字全载玻片图像602)可以包括两种不同的组织标本类型,包括乳腺组织的“组织类型1”、包括淋巴组织的“组织类型2”。
为了识别对应于每个不同组织标本类型的数字全载玻片图像602的位置或区域,组织分类平台100的载玻片分析工具101可以执行与上面参考图2描述的过程200相同或相似的过程。例如,在接收数字全载玻片图像602时,可以识别包括组织标本的数字全载玻片图像602的前景图块604。可以从每个前景图块604中提取特征向量,并将其作为输入提供给经训练的机器学习系统,以接收与包括在相应前景图块604中的组织标本的一种或多种组织标本类型相关联的预测606作为输出。例如,基于预测606,前景图块604的第一部分可以包括乳腺组织(例如,“组织类型1”)并且前景图块604的第二部分可以包括淋巴组织(例如,“组织类型2”)。
在过程608处,前景图块604的第一部分和第二部分可作为输入提供给特定于相应组织标本类型的对应AI图像处理系统。例如,前景图块604的第一部分可作为输入提供给特定于乳腺组织的第一AI图像处理系统以产生诊断输出,并且前景图块604的第二部分可作为输入提供给特定于淋巴组织的第二AI图像处理系统以产生准确的诊断输出。
示例实施方案:检测实验室信息系统分类中的错误
图7是示出根据本公开的示例性实施方案的用于检测实验室信息系统(例如,实验室信息系统125)中的错误的组织分类平台100的示例性应用的概念图700。
组织分类平台100的载玻片分析工具101可以执行上面参考图2描述的相同或相似的过程200。例如,可以从实验室信息系统125或类似的其他数据库接收组织标本的数字全载玻片图像702以及数字全载玻片图像702的记录的组织标本类型。可以识别包括组织标本的数字全载玻片图像702的前景图块704。可以从每个前景图块704中提取特征向量,并将其作为输入提供给机器学习系统,以接收与存在于相应前景图块中的一种或多种组织标本类型相关联的预测706作为输出。在比较过程708处,可以将预测706与数字全载玻片图像702的记录的组织标本类型进行比较,其中如果给定前景图块704的预测的组织标本类型与记录的组织标本类型不对准或匹配(例如,存在差异),可以与数字全载玻片图像702相关联地报告和/或存储所述差异,并且可以标记或以其他方式指示给定的前景图块704以提示用户(例如,病理学家)进行检查。例如,如果实验室信息系统125中的数字全载玻片图像702的记录的组织标本类型是第一组织标本类型(例如,“组织类型1”),则对于预测706指示第二组织标本类型(例如,“组织类型2”)的任何前景图块704,对差异进行报告和/或存储,并且那些前景图块704被标记以供检查。另一方面,如果记录的组织标本类型是第二组织标本类型(例如,“组织类型2”),则对于预测706指示第一组织标本类型(例如,“组织类型1”)的任何前景图块704,对差异进行报告和/或存储,并且那些前景图块704被标记以供检查。
图8示出了可以执行本文中呈现的技术的示例系统或装置800。装置800可以包括中央处理单元(CPU)820。CPU 820可以是任何类型的处理器装置,包括例如任何类型的专用或通用微处理器装置。如相关领域的技术人员将理解的,CPU 820还可以是多核/多处理器系统中的单个处理器,这样的系统单独操作,或者是在集群或服务器群中操作的计算装置集群中的单个处理器。CPU 820可以连接到数据通信基础设施810,例如总线、消息队列、网络或多核消息传递方案。
装置800还可以包括主存储器840,例如随机存取存储器(RAM),并且还可以包括辅助存储器830。辅助存储器830,例如只读存储器(ROM),可以是例如硬盘驱动器或可移除存储驱动器。这样的可移除存储驱动器可以包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存等。该示例中的可移除存储驱动器以众所周知的方式从可移除存储单元读取和/或向可移除存储单元写入。可移除存储装置可以包括由可移除存储驱动器读取和写入的软盘、磁带、光盘等。如相关领域的技术人员将理解的,这样的可移除存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。
在替代性实施方式中,辅助存储器830可以包括用于允许计算机程序或其他指令被加载到装置800中的类似装置。这种装置的示例可以包括程序盒和盒接口(诸如在视频游戏装置中发现的)、可移除存储芯片(诸如EPROM或PROM)和相关联的插槽,以及允许软件和数据从可移除存储单元传输到装置800的其他可移除存储单元和接口。
装置800还可以包括通信接口(“COM”)860。通信接口860允许软件和数据在装置800和外部装置之间传输。通信接口860可以包括调制解调器、网络接口(诸如以太网卡)、通信端口、PCMCIA插槽和卡等。经由通信接口860传输的软件和数据可以是信号的形式,该信号可以是电子、电磁、光学或能够由通信接口860接收的其他信号。这些信号可以经由装置800的通信路径提供给通信接口860,该通信路径可以使用例如电线或电缆、光纤、电话线、蜂窝电话链路、RF链路或其他通信信道来实现。
这种装置的硬件元件、操作系统和编程语言本质上是常规的,并且假定本领域技术人员对其足够熟悉。装置800还可以包括输入和输出端口850以与诸如键盘、鼠标、触摸屏、监视器、显示器等的输入和输出装置连接。当然,各种服务器功能可以在许多类似的平台上以分布式方式实现,以分配处理负载。替代地,服务器可以通过一个计算机硬件平台的适当编程来实现。
贯穿本公开,对组件或模块的引用通常是指可以逻辑地分组在一起以执行一个功能或一组相关功能的项目。相似的附图标记通常表示相同或相似的部件。部件和/或模块可以以软件、硬件、或者软件和/或硬件的组合来实现。
上述工具、模块和/或功能可以由一个或多个处理器执行。“存储”型介质可以包括计算机、处理器等或其相关联模块的任何或所有有形存储器,诸如各种半导体存储器、磁带驱动器、磁盘驱动器等,其可以随时提供非暂时性存储以进行软件编程。
软件可以通过互联网、云服务提供商或其他电信网络进行通信。例如,通信可以使得能够将软件从一台计算机或处理器加载到另一台计算机或处理器中。如本文所使用的,除非限于非暂时性有形“存储”介质,否则诸如计算机或机器“可读介质”等术语是指参与向处理器提供指令以供执行的任何介质。
前述一般描述仅是示例性和解释性的,而不是对本公开的限制。其它实施方案可以由考虑本文公开的本发明的说明书和实践而为本领域技术人员显而易见。说明书和示例旨在仅被视为示例性的。
Claims (20)
1.一种用于识别数字全载玻片图像中存在的组织标本类型的系统,所述系统包括:
处理器;以及
耦合到所述处理器并存储指令的存储器,所述指令在由所述处理器执行时使所述处理器执行操作,所述操作包括:
接收组织标本的数字全载玻片图像和所述数字全载玻片图像的记录的组织标本类型;
识别包括所述组织标本的所述数字全载玻片图像的一个或多个前景图块;
从所述一个或多个前景图块中提取一个或多个特征向量;
接收由机器学习系统针对所述记录的组织标本类型学习的分布;
使用所述分布确定对应于所述记录的组织标本类型的所述一个或多个特征向量的概率;以及
基于所述概率,将从中提取所述一个或多个特征向量的所述一个或多个前景图块分类为分布内前景图块或分布外前景图块中的一者。
2.根据权利要求1所述的系统,其中所述机器学习系统是无监督机器学习系统,其通过以下方式学习所述记录的组织标本类型的所述分布:
接收指定组织标本类型的组织标本的一个或多个数字全载玻片图像作为训练图像,所述指定组织标本类型为所述记录的组织标本类型;
识别包括所述组织标本的所述一个或多个数字全载玻片图像的一个或多个前景图块;
从所述一个或多个前景图块中提取一个或多个特征向量;以及
将所述分布拟合到所述一个或多个特征向量的至少一部分,
其中所述分布的一个或多个参数与所述指定组织标本类型相关联地存储。
3.根据权利要求2所述的系统,其中所述无监督机器学习系统使用混合模型、多元高斯过程或核密度估计中的一者或多者来拟合所述分布。
4.根据权利要求1所述的系统,其中对所述一个或多个前景图块进行分类还包括:
将对应于所述记录的组织标本类型的所述一个或多个特征向量的所述概率与预定义阈值进行比较。
5.根据权利要求4所述的系统,其中响应于来自所述一个或多个特征向量中的特征向量的所述概率满足或超过所述预定义阈值,所述操作还包括:
将从中提取所述特征向量的所述一个或多个前景图块中的相应前景图块分类为分布内前景图块。
6.根据权利要求5所述的系统,其中将所述相应前景图块分类为分布内前景图块指示包括在所述相应前景图块中的所述组织标本属于所述记录的组织标本类型。
7.根据权利要求4所述的系统,其中响应于来自所述一个或多个特征向量中的特征向量的所述概率低于所述预定义阈值,所述操作还包括:
将从中提取所述特征向量的所述一个或多个前景图块中的相应前景图块分类为分布外前景图块。
8.根据权利要求7所述的系统,其中将所述相应前景图块分类为分布外前景图块指示包括在所述相应前景图块中的所述组织标本属于与所述记录的组织标本类型不同的组织标本类型。
9.根据权利要求1所述的系统,所述操作还包括:
响应于所述一个或多个前景图块中的至少一个被分类为分布内前景图块,将所述至少一个前景图块提供给特定于所述记录的组织标本类型的第二系统以进行处理。
10.根据权利要求1所述的系统,所述操作还包括:
响应于所述一个或多个前景图块中的至少一个被分类为分布外前景图块,生成并提供所述至少一个前景图块是分布外前景图块的指示以供显示。
11.根据权利要求1所述的系统,所述操作还包括:
响应于所述一个或多个前景图块中的至少一个被分类为分布外前景图块,防止所述至少一个前景图块被特定于所述记录的组织标本类型的第二系统处理。
12.根据权利要求1所述的系统,所述操作还包括:
提供所述数字全载玻片图像、所述记录的组织标本类型以及与所述一个或多个前景图块的分类相关联的指示以供显示。
13.一种用于识别数字全载玻片图像中存在的组织标本类型的方法,所述方法包括:
接收组织标本的数字全载玻片图像和所述数字全载玻片图像的记录的组织标本类型;
识别包括所述组织标本的所述数字全载玻片图像的一个或多个前景图块;
从所述一个或多个前景图块中提取一个或多个特征向量;
接收由机器学习系统针对所述记录的组织标本类型学习的分布;
使用所述分布确定对应于所述记录的组织标本类型的所述一个或多个特征向量的概率;以及
基于所述概率,将从中提取所述一个或多个特征向量的所述一个或多个前景图块分类为分布内前景图块或分布外前景图块中的一者。
14.根据权利要求13所述的方法,其中所述机器学习系统是无监督机器学习系统,其通过以下方式学习所述记录的组织标本类型的所述分布:
接收指定组织标本类型的组织标本的一个或多个数字全载玻片图像作为训练图像,所述指定组织标本类型为所述记录的组织标本类型;
识别包括所述组织标本的所述一个或多个数字全载玻片图像的一个或多个前景图块;
从所述一个或多个前景图块中提取一个或多个特征向量;以及
将所述分布拟合到所述一个或多个特征向量的至少一部分,
其中所述分布的一个或多个参数与所述指定组织标本类型相关联地存储。
15.根据权利要求13所述的方法,其中基于所述概率对所述一个或多个前景图块进行分类包括:
将对应于所述记录的组织标本类型的所述一个或多个特征向量的所述概率与预定义阈值进行比较;
当确定来自所述一个或多个特征向量的特征向量的所述概率满足或超过所述预定义阈值时,将从中提取所述特征向量的所述一个或多个前景图块中的相应前景图块分类为分布内前景图块;以及
当确定来自所述一个或多个特征向量的特征向量的所述概率低于所述预定义阈值时,将从中提取所述特征向量的所述一个或多个前景图块中的相应前景图块分类为分布外前景图块。
16.根据权利要求15所述的方法,其中:
将所述相应前景图块分类为分布内前景图块指示包括在所述相应前景图块中的所述组织标本属于所述记录的组织标本类型;并且
将所述相应前景图块分类为分布外前景图块指示包括在所述相应前景图块中的所述组织标本属于与所述记录的组织标本类型不同的组织标本类型。
17.根据权利要求13所述的方法,其还包括:
响应于所述一个或多个前景图块中的至少一个被分类为分布内前景图块,将所述至少一个前景图块提供给特定于所述记录的组织标本类型的第二系统以进行处理。
18.根据权利要求13所述的方法,其还包括:
响应于所述一个或多个前景图块中的至少一个被分类为分布外前景图块,进行以下项中的至少一者:
生成并提供所述至少一个前景图块是分布外前景图块的指示以供显示;或者
防止所述至少一个前景图块被特定于所述记录的组织标本类型的第二系统处理。
19.根据权利要求13所述的方法,其还包括:
提供所述数字全载玻片图像、为所述数字全载玻片图像记录的所述组织标本类型以及与所述一个或多个前景图块的分类相关联的指示以供显示。
20.一种存储指令的非暂时性计算机可读介质,所述指令在由处理器执行时使所述处理器执行用于识别数字全载玻片图像中存在的组织标本类型的操作,所述操作包括:
接收组织标本的数字全载玻片图像和所述数字全载玻片图像的记录的组织标本类型;
识别包括所述组织标本的所述数字全载玻片图像的一个或多个前景图块;
从所述一个或多个前景图块中提取一个或多个特征向量;
接收由机器学习系统针对所述记录的组织标本类型学习的分布;
使用所述分布确定对应于所述记录的组织标本类型的所述一个或多个特征向量的概率;以及
基于所述概率,将从中提取所述一个或多个特征向量的所述一个或多个前景图块分类为分布内前景图块或分布外前景图块中的一者。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/191729 | 2021-05-21 | ||
US17/646500 | 2021-12-30 | ||
US17/646,500 US11545253B2 (en) | 2021-05-21 | 2021-12-30 | Systems and methods to process electronic images to categorize intra-slide specimen tissue type |
PCT/US2022/071836 WO2022246354A1 (en) | 2021-05-21 | 2022-04-21 | Systems and methods to process electronic images to categorize intra-slide specimen tissue type |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117355870A true CN117355870A (zh) | 2024-01-05 |
Family
ID=89358032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280036402.XA Pending CN117355870A (zh) | 2021-05-21 | 2022-04-21 | 处理电子图像以对载玻片内标本组织类型进行归类的系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117355870A (zh) |
-
2022
- 2022-04-21 CN CN202280036402.XA patent/CN117355870A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423547B2 (en) | Systems and methods for processing electronic images for computational detection methods | |
CN114072879A (zh) | 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法 | |
US11823378B2 (en) | Systems and methods for processing electronic images to detect contamination in specimen preparations | |
CN114616590A (zh) | 用于为数字病理学处理载玻片图像的系统和方法 | |
US20230360414A1 (en) | Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens | |
US20220358650A1 (en) | Systems and methods to process electronic images to provide localized semantic analysis of whole slide images | |
CN117355870A (zh) | 处理电子图像以对载玻片内标本组织类型进行归类的系统和方法 | |
US11544849B2 (en) | Systems and methods to process electronic images to categorize intra-slide specimen tissue type | |
US20230105231A1 (en) | Systems and methods to process electronic images to categorize intra-slide specimen tissue type | |
US20230222653A1 (en) | Systems and methods for processing electronic images using uncertainty estimation | |
US20230196583A1 (en) | Systems and methods to process electronic images to identify abnormal morphologies | |
US20230008197A1 (en) | Systems and methods to process electronic images to predict biallelic mutations | |
US20240062372A1 (en) | Systems and methods for processing images to determine biomarker levels | |
CN118043845A (zh) | 处理电子图像以确定组织病理学质量的系统和方法 | |
WO2023283603A1 (en) | Systems and methods to process electronic images to predict biallelic mutations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |