CN117651968A - 处理电子图像以提供模糊鲁棒性的系统和方法 - Google Patents
处理电子图像以提供模糊鲁棒性的系统和方法 Download PDFInfo
- Publication number
- CN117651968A CN117651968A CN202280048084.9A CN202280048084A CN117651968A CN 117651968 A CN117651968 A CN 117651968A CN 202280048084 A CN202280048084 A CN 202280048084A CN 117651968 A CN117651968 A CN 117651968A
- Authority
- CN
- China
- Prior art keywords
- tiles
- blur
- tile
- image
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000012545 processing Methods 0.000 title claims abstract description 32
- 238000010801 machine learning Methods 0.000 claims description 61
- 239000002131 composite material Substances 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 description 58
- 230000008569 process Effects 0.000 description 26
- 238000004458 analytical method Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000007170 pathology Effects 0.000 description 14
- 230000008439 repair process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 7
- 208000032005 Spinocerebellar ataxia with axonal neuropathy type 2 Diseases 0.000 description 6
- 208000033361 autosomal recessive with axonal neuropathy 2 spinocerebellar ataxia Diseases 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000002380 cytological effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种用于处理电子医学图像的计算机实现的方法,所述方法包括接收医学标本的多个电子医学图像。多个电子医学图像中的每一个可以被划分为多个图块。可以确定多组匹配图块,每组内的图块对应于医学标本的多个区域中的给定区域。对于多组匹配图块中的每个图块,可以确定对应于图块的图像模糊水平的模糊分数。对于每组匹配图块,可以确定模糊分数指示最低模糊水平的图块;可以确定并提供合成电子医学图像以供显示,所述合成电子医学图像包括来自每组匹配图块的其中模糊分数指示最低模糊水平的多个图块。
Description
相关申请
本申请要求2021年7月6日提交的美国临时申请号63/203,033的优先权,该临时申请的全部公开内容特此全文以引用方式并入本文。
技术领域
本公开的各种实施方案总体上涉及图像处理方法。更具体地,本公开的特定实施方案涉及用于使用图像的多次扫描来处理图像以减少模糊量的系统和方法。
背景技术
在图像处理领域内,图像可能需要焦点对准且清晰,以便进行正确的分析或诊断。具体地,为了正确地诊断或分析医学图像(例如,病理全切片图像(WSI)、计算机断层扫描(CT)扫描等),清晰的医学图像可能是必要的。包含图像模糊的图像可能会给执行分析的个人或计算机系统带来问题。具体地,模糊量越高或图像上模糊的位置越多,图像对于确定诊断和治疗可能造成的问题就越大。虽然大量的模糊可能会妨碍诊断,但模糊可能仅局限于图像的小部分区域。在图像只有小部分区域包含模糊的情况下,如果模糊区域被修复,则图像可能适合诊断。
本文提供的背景描述是为了一般性地呈现本公开的背景的目的。除非本文另有说明,否则本部分中描述的材料不是本申请中权利要求的现有技术,并且不因为包含在本部分中而承认是现有技术或现有技术建议。
发明内容
根据本公开的某些方面,公开了用于处理电子医学图像的系统和方法,所述方法包括:接收医学标本的多个电子医学图像;将多个电子医学图像中的每一个划分为多个图块,多个图块中的每个图块具有预定大小;确定多组匹配图块,每组内的图块对应于医学标本的多个区域中的给定区域;对于多组匹配图块中的每个图块,确定与图块的图像模糊水平对应的模糊分数;对于每组匹配图块,确定模糊分数指示最低模糊水平的图块;确定合成电子医学图像,所述合成电子医学图像包括来自每组匹配图块的其中模糊分数指示最低模糊水平的多个图块;以及提供合成电子医学图像以供显示。
一种用于处理电子数字医学图像的系统,所述系统包括:至少一个存储器,所述至少一个存储器存储指令;以及至少一个处理器,所述至少一个处理器被配置为执行指令以执行操作,所述操作包括:接收医学标本的多个电子医学图像;将多个电子医学图像中的每一个划分为多个图块,多个图块中的每个图块具有预定大小;确定多组匹配图块,每组内的图块对应于医学标本的多个区域中的给定区域;对于多组匹配图块中的每个图块,确定与图块的图像模糊水平对应的模糊分数;对于每组匹配图块,确定模糊分数指示最低模糊水平的图块;确定合成电子医学图像,所述合成电子医学图像包括来自每组匹配图块的其中模糊分数指示最低模糊水平的多个图块;以及提供合成电子医学图像以供显示。
一种非暂时性计算机可读介质,其存储指令,所述指令在由处理器执行时执行处理电子数字医学图像的操作,所述操作包括:接收医学标本的多个电子医学图像;将多个电子医学图像中的每一个划分为多个图块,多个图块中的每个图块具有预定大小;确定多组匹配图块,每组内的图块对应于医学标本的多个区域中的给定区域;对于多组匹配图块中的每个图块,确定与图块的图像模糊水平对应的模糊分数;对于每组匹配图块,确定模糊分数指示最低模糊水平的图块;确定合成电子医学图像,所述合成电子医学图像包括来自每组匹配图块的其中模糊分数指示最低模糊水平的多个图块;以及提供合成电子医学图像以供显示。
应当理解,上述一般性的描述和下面的详细描述都仅仅是示例性和解释性的,而不是对所要求保护的公开的实施方案的限制。
附图说明
并入本说明书并构成其一部分的附图示出了各种示例性实施方案,并与说明书一起用于解释所公开的实施方案的原理。
图1是具有不同模糊程度的三个图像的图示。
图2A示出了根据本文提出的技术的用于处理图像以产生低模糊图像的系统和网络的示例性框图。
图2B示出了根据本文提出的技术的组织观察平台的示例性框图。
图2C示出了根据本文提出的技术的切片分析工具的示例性框图。
图3示出了根据本文提出的技术的对一个或多个图像进行去模糊的过程。
图4是示出根据本文提出的技术的用于如何对图像去模糊的方法的流程图。
图5示出了将来自具有轻微模糊的同一图像的多次扫描组合以产生没有任何模糊的图像的过程。
图6示出了示出根据本文提出的技术的如何训练用于对图像去模糊的算法的流程图。
图7示出了根据本文提出的技术的训练去模糊算法的过程。
图8描绘了根据一个或多个实施方案的可以执行本文提出的技术的计算装置的示例。
图9描绘了根据一个或多个实施方案的用于训练机器学习模型的流程图。
具体实施方式
根据本公开的某些方面,公开了用于提供用于编辑/组合单个标本的多个图像以便创建清晰度增加的/不模糊的新图像的系统/过程的方法和系统。传统上,当医学图像模糊时,需要重新扫描医学标本。需要修复医学图像并提供具有最少量模糊的医学图像,同时不需要重新扫描医学标本。因此,需要改进图像处理和机器学习,以便对医学标本的图像进行去模糊。
如下面将更详细地讨论的,在各种实施方案中,描述了用于利用图像处理技术和/或机器学习来组合同一医学标本的多个图像以输出具有最高水平的清晰度(例如最低水平的模糊)的更新的医学图像的系统和方法。这可以被称为优化的医学图像。
此外,在各种实施方案中,描述了用于使用机器学习来减少模糊图像内的模糊的系统和方法。通过训练一个或多个去模糊AI模型,例如经由监督学习、半监督学习或监督学习来学习如何修复模糊图像部段内的模糊像素,经过训练的去模糊AI模型可以用于生成最初包含模糊部段的图像的更高分辨率的版本。
现在将详细参考本公开的示例性实施方案,其示例在附图中示出。只要有可能,在整个附图中将使用相同的附图标记来指代相同或相似的部件。
通过示例并参考附图详细描述了本文公开的系统、装置和方法。本文讨论的示例仅是示例并且被提供以帮助解释本文描述的设备、装置、系统和方法。附图中所示或下面讨论的特征或组件均不应被视为对于这些装置、系统或方法中的任何装置、系统或方法的任何具体实施方式是强制性的,除非特别指定为强制性的。
此外,对于所描述的任何方法,无论该方法是否结合流程图进行描述,都应当理解,除非上下文另有规定或要求,否则在方法的执行中执行的步骤的任何显式或隐式排序并不意味着这些步骤必须以所呈现的顺序执行,而是可以以不同的顺序或并行执行。
如本文所用,术语“示例性的”是在“示例”的意义上使用的,而不是“理想的”此外,本文中的术语“一个”和“一种”并不表示数量限制,而是表示一个或多个所引用项目的存在。
本文提出的技术描述了使用计算机视觉和/或机器学习来修补和/或修复模糊的局部区域,以校正和/或增加可以被认为是焦点对准的医学图像的百分比,而不需要重新扫描标本和/或对象。
本文提出的技术可以涉及使用同一图像的多次扫描并使用图像处理技术和/或机器学习来将它们组合成一个连贯的低模糊图像,和/或使用生成方法来填充模糊。
如本文所使用的,“机器学习模型”一般涵盖被配置为接收输入并对输入应用权重、偏差、分类或分析中的一者或多者以生成输出的指令、数据和/或模型。输出可以包括例如输入的分类、基于输入的分析、与输入相关联的设计、过程、预测或推荐,或任何其他合适类型的输出。机器学习模型通常使用训练数据(例如经验数据和/或输入数据样本)进行训练,将所述训练数据馈送到模型中以便建立、调谐或修改模型的一个或多个方面,例如权重、偏差、形成类别或簇的标准等。机器学习模型的各方面可以经由网络(例如,神经网络)或经由任何合适的配置线性地、并行地对输入进行操作。
机器学习模型的执行可以包括部署一种或多种机器学习技术,诸如线性回归、逻辑回归、随机森林、梯度增强机(GBM)、深度学习和/或深度神经网络。可以采用监督和/或无监督训练。例如,监督学习可以包括提供训练数据和对应于训练数据的标签,例如作为地面真值。无监督方法可以包括聚类、分类等。还可以使用K均值聚类或K最近邻,其可以是监督的或无监督的。也可以使用K最近邻和无监督聚类技术的组合。可以使用任何合适类型的训练,例如随机、梯度增强、随机种子、递归、基于轮数或批次的训练等。
医学成像扫描仪可以用于产生人体内的医学图像以诊断或分析组织的疾病状态。本文描述的过程和技术可以用于解决与医学图像相关的某些图像聚焦问题。例如,组织的WSI的问题是WSI可能具有多个焦平面。当WSI具有多个焦平面时,关键诊断信息可能位于多个焦平面中的一个或多个上。所有重要的诊断信息可能都需要“焦点对准”。确保WSI的所有或多个扫描区域焦点对准可能很困难。具体地,这可能具有挑战性,因为WSI扫描仪可能需要平衡图像质量和扫描速度,因为医院或其他组织每天可能有数百或数千个切片需要扫描。由于这些限制,在最佳情况下,所得的WSI可能具有一定量的模糊。这可能意味着扫描仪中所做的妥协可能会导致图像中一些小但不可忽略的百分比的图像失焦。大多数医学成像技术中都可能出现类似的问题,其中患者移动、校准不良和/或未对准可能会导致图像中出现失焦区域。例如,图1(下面更详细地描述的)描绘了在医学成像期间可能发生的具有不同程度的模糊的WSI的部分。
在典型的医疗诊断工作流程中,当图像质量不可接受或当特别可疑的区域未完全对准焦点时,图像中的失焦区域可能需要对标本执行重新扫描。当利用人工智能或机器学习来执行图像分析时,这个问题可能特别相关,因为模糊可能会影响计算机视觉算法的检测性能。在没有检测和/或修复模糊的能力的情况下,诸如质量控制(QC)的应用程序(其中AI系统在后台运行以验证医生的诊断是否正确)或分类应用程序(其中医生只看到非良性图像)可能会变得无效并且可能无法安全地进行部署。
该问题的一种解决方案可能是具有QC流水线,所述QC流水线检测图像何时质量不足以用于诊断并且命令进行重新扫描(例如,诸如US20200381104A1中描述的QC方法,其通过引用整体并入)。然而,这是昂贵的,因为它可能涉及重复捕获医学图像所需的部分或整个过程。
本文提出的技术可以提供需要重新扫描的替代解决方案。当模糊被限制并局限于特定图像区域(例如,如图1的区域和局部面板中所示)时,本文描述的系统的一个或多个实施方案可以用于修复和/或校正失焦图像区域,使得病理学家/医生/研究人员和/或计算机/AI系统可以审核图像。
图1描绘了具有不同模糊程度的三个WSI。首先,WSI 101描绘了具有“全局模糊”的WSI。全局模糊可能意味着整个WSI模糊或失焦。WSI 102描绘了WSI上的区域模糊。区域模糊可能意味着模糊影响特定切片的大约2%至50%。例如,切片的40%为模糊的WSI可以称为具有区域模糊。WSI 103描绘了WSI上的局部模糊。局部模糊可能意味着WSI只有小部分区域是模糊的。例如,小部分区域可能占整个图像的大约2%或更少。
由于WSI可能具有不同程度的模糊,因此可以执行数字后处理以校正模糊(例如失焦问题)的系统可能是诊断成像准备流水线的重要部分。
本文提出的技术可以使用计算机视觉和/或机器学习技术来修复医学图像中存在的失焦/模糊问题。具有模糊的图像可以被认为具有信息不足的位置。所述位置可能失焦,存在散景、景深问题,焦点不正确和/或缺乏清晰度。图像可能具有伪影、遮挡、部分遮挡、照明不足或不当。简单的图像处理技术(例如,使用“不锐化”掩码进行锐化)可能不足以修复甚至少量的局部模糊。因此,本文提出的技术可以通过使用同一组织的多个图像上的信息和/或通过使用生成式机器学习算法来创建更高分辨率的图像图块来修复图像。
上述技术在临床环境中可能效果很好,因为系统可以在非常专业类型的图像(例如,在特定扫描仪中扫描的用苏木精和伊红(H&E)染色的WSI)上进行训练。与锐化任何图像的更一般任务相比,可以预期输入空间中的这种一致性以改善该方法的结果。
图2A示出了根据本公开的示例性实施方案的用于使用机器学习来处理图像以产生低模糊图像的系统和网络的框图。
具体地,图2A示出了可以连接到医院、实验室和/或医生办公室等处的服务器的电子网络220。例如,医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225等可以各自通过一个或多个计算机、服务器和/或手持移动装置连接到电子网络220,诸如互联网。根据本公开的示例性实施方案,电子网络220还可以连接到服务器系统210,所述服务器系统可以包括被配置为实施组织查看平台200的处理装置,根据本公开的示例性实施方案,所述组织查看平台包括切片分析工具201,所述切片分析工具用于确定标本性质或与数字病理图像有关的图像性质信息,并使用机器学习来对标本进行分类。
医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225可以创建或以其他方式获得一个或多个患者的细胞学标本、组织病理学标本、细胞学标本的切片的图像、组织病理学标本的切片的数字化图像或其任何组合。医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225还可以获得患者特定信息的任何组合,诸如年龄、病史、癌症治疗史、家族史、过去活检或细胞学信息等。医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225可以通过电子网络220将数字化切片图像和/或患者特定信息传输到服务器系统210。服务器系统210可以包括一个或多个存储装置209以用于存储从医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225中的至少一者接收的图像和数据。服务器系统210还可以包括用于处理存储在一个或多个存储装置209中的图像和数据的处理装置。服务器系统210还可以包括一个或多个机器学习工具或能力。例如,根据一个实施方案,处理装置可以包括用于组织查看平台200的机器学习工具。替代地或另外,本公开(或本公开的系统和方法的各部分)可以在本地处理装置(例如,膝上型计算机)上执行。
医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225是指由病理学家用于查看切片图像的系统。在医院环境中,组织类型信息可以存储在实验室信息系统225之一中。然而,正确的组织分类信息并不总是与图像内容配对。另外,即使使用实验室信息系统来访问数字病理图像的标本类型,由于实验室信息系统的许多组件可以手动输入,因此该标签也可能不正确,从而留下很大的误差范围。根据本公开的示例性实施方案,可以在不需要访问实验室信息系统225的情况下识别标本类型,或者可以识别标本类型以可能地校正实验室信息系统225。例如,第三方可以被给予对图像内容的匿名访问权限,而无需存储在实验室信息系统中的对应标本类型标签。此外,由于实验室信息系统的敏感内容,对实验室信息系统内容的访问可能会受到限制。
图2B示出了用于使用机器学习来确定与数字病理图像相关的图像性质信息的标本性质的组织查看平台200的示例性框图。例如,组织查看平台200可以包括切片分析工具201、数据摄取工具202、切片获取工具203、切片扫描仪204、切片管理器205、存储装置206和查看应用工具208。
根据示例性实施方案,如下所述,切片分析工具201是指用于处理与组织标本相关联的数字图像并使用机器学习来分析切片的过程和系统。
根据示例性实施方案,数据摄取工具202是指用于促进将数字病理图像传送到用于对数字病理图像进行分类和处理的各种工具、模块、部件和装置的过程和系统。
根据示例性实施方案,切片获取工具203是指用于扫描病理图像并将它们转换成数字形式的过程和系统。可以用切片扫描仪204扫描切片,并且切片管理器205可以将切片上的图像处理成数字化病理图像并将数字化图像存储在存储装置206中。
根据示例性实施方案,查看应用工具208是指用于向用户(例如,病理学家)提供标本性质或与数字病理图像有关的图像性质信息的过程和系统。所述信息可以通过各种输出接口(例如,屏幕、监视器、存储装置和/或web浏览器等)来提供。
切片分析工具201及其组件中的每一者可以通过电子网络220向服务器系统210、医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225传输数字化切片图像和/或患者信息和/或从它们接收所述数字切片图像和/或患者信息。此外,服务器系统210可以包括用于存储从切片分析工具201、数据摄取工具202、切片获取工具203、切片扫描仪204、切片管理器205和查看应用工具208中的至少一者接收的图像和数据的一个或多个存储装置209。服务器系统210还可以包括用于处理存储在存储装置中的图像和数据的处理装置。服务器系统210还可以包括一个或多个机器学习工具或能力,例如,由于处理装置。替代地或另外,本公开(或本公开的系统和方法的各部分)可以在本地处理装置(例如,膝上型计算机)上执行。
上述装置、工具和模块中的任一者可以位于可以通过一个或多个计算机、服务器和/或手持移动装置连接到诸如互联网或云服务提供商的电子网络220的装置上。
图2C示出了根据本公开的示例性实施方案的切片分析工具201的示例性框图。切片分析工具可以包括训练图像平台231和/或目标图像平台235。
根据一个实施方案,训练图像平台231可以创建或接收用于训练机器学习系统以有效地对数字病理图像进行分析和分类的训练图像。例如,可以从服务器系统210、医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225中的任一者或任何组合接收训练图像。用于训练的图像可以来自真实来源(例如,人类、动物等)或者可以来自合成来源(例如,图形渲染引擎、3D模型等)。数字病理图像的示例可以包括(a)用多种染色剂(诸如(但不限于)H&E、单独的苏木精、IHC、分子病理学等)染色的数字化切片;和/或(b)来自3D成像装置(诸如微型CT)的数字化图像标本。
训练图像获取232可以创建或接收包括对应于人体组织的图像和图形渲染的图像中的任一者或两者的一个或多个训练图像的数据集。例如,训练图像可以从服务器系统210、医生服务器221和/或实验室信息系统225中的任一者或任何组合接收。该数据集可以保存在数字存储装置上。模糊提取器模块233可以获取与识别训练图像内的模糊相关的训练数据,所述训练图像内的模糊可极大地影响数字病理图像的可用性。例如,模糊提取器模块233可以使用关于整个图像的信息(例如标本类型、标本的整体质量、玻璃病理切片本身的整体质量或组织形态特性、图像清晰度、位于切片内的模糊程度)来帮助提供对本文描述的机器学习技术的训练。切片背景模块234可以分析组织的图像并确定数字病理图像内的背景。识别数字病理切片内的背景以确保组织片段不被忽视是有用的。
根据一个实施方案,目标图像平台235可以包括目标图像获取模块236、模糊识别模块237和输出接口238。目标图像平台235可以接收目标图像并将机器学习模型应用于接收到的目标图像以确定目标标本的特性。例如,可以从服务器系统210、医生服务器221、医院服务器222、临床试验服务器223、研究实验室服务器224和/或实验室信息系统225中的任一者或任何组合接收目标图像。目标图像获取模块236可以接收对应于目标标本的目标图像。模糊识别模块237可以将机器学习模型应用于WSI以确定WSI的模糊分数。例如,模糊分数模型237可以应用机器学习模型来对WSI进行去模糊;确定WSI的模糊分数;对医学图像的部段/图块执行逐像素分类;并组合医学图像的图块/部段。
输出接口238可以用于(例如,向屏幕、监视器、存储装置、网络浏览器等)输出关于目标图像和目标样本的信息。
图3示出了用于修复一组一个或多个数字图像上的模糊的过程300,如将在方法400中更详细地描述的。过程300可以包括输入到扫描和/或采集过程304的标本和/或图像302。扫描和/或采集过程可以输出一个或多个数字图像306。然后,可以将一个或多个数字图像306输入到在以下方法400的步骤402至414中更详细地描述的后处理去模糊过程308中,所述后处理去模糊过程输出一个或多个修改后的数字图像310。可以在示例性方法400中更详细地描述后处理去模糊过程308。图例320可以指示过程中的每一者可以采取什么形式。
图4是示出根据本文的一个或多个示例性实施方案的用于如何处理图像(例如,对图像去模糊)的方法的流程图。示例性方法400(例如,步骤402至414)可以由切片分析工具201自动地或者响应于来自用户(例如,医生、病理学家等)的请求来执行。替代地,方法400可以由能够接收图像输入的任何计算机处理系统(诸如下面更详细地描述的装置800)来执行。
在步骤402处,切片分析工具201(下文统称为“系统”)可以接收医学标本(例如,组织标本)的多个电子医学图像。在一个实施方案中,医学图像可以是来自相同视角的图像。在另一个实施方案中,医学标本的图像可以来自不同的视角。在另一个实施方案中,系统可以仅接收医学标本的单个医学图像。医学图像可以存储在电子存储装置(例如云存储、硬盘驱动器、RAM等)上。在步骤402处接收的医学图像可以等同于来自图3的数字图像306。
在步骤402处,系统可以接收单个医学标本的图像。替代地,系统可以接收多个医学标本中的每一者的一个或多个图像。如果系统接收到多于一个标本的图像,则系统可以基于每个图像所表示的医学标本来标记和记录每个图像。
在步骤404处,系统可以将多个电子医学图像中的每一个划分/分割成多个图块,多个图块中的每个图块具有预定大小。多个图块可以用作电子图像。图块的大小可为M xM。此外,图块大小可以取决于处理医学图像的放大水平。这可能意味着在较低的放大水平下,M xM像素的图块可以比处于更大的放大水平下的M x M图块表示更大的区域。在一个实施方案中,在二十倍扫描放大水平下,图块可以是预定大小,诸如224x 224个像素。在另一实施方案中,用户可能够从各种放大水平下的图块尺寸的各种大小进行选择。一旦来自步骤402的所有输入图像被划分为图块,系统就可以检测医学图像的哪些图块是“背景图块”。背景图块可以指其中多个像素不描绘医学图像的图块。例如,像素可以是医学标本所在的表面。在一个实施方案中,系统可以利用大津(Otsu)法来确定图块是否是背景。可以使用Otsu法或某种其他方案来检测背景。替代地,系统可以使用能够将前景与背景分离的任何其他方法,诸如最大熵阈值方法。背景图块可以由系统标注或标记。系统可以不对背景切片执行进一步的分析,并且步骤406至412可以仅涉及医学标本的图块。
在步骤406处,系统可以确定多组匹配图块,每组内的图块对应于医学标本的多个区域中的给定区域。系统可以首先记录特定医学标本有多少电子图像A。接下来,系统可以确定医学标本的多个组。每组中可具有A个图块,所述图块对应于每个医学图像的图块。组数可以基于每个医学标本有多少图块。
例如,系统可以接收医学标本的三个图像。然后,系统可以通过针对每个图像将图像分成25x 25个网格的图块来将每个图像分成图块。然后系统可以创建625组三个匹配图块。
在步骤406中,系统可以以多种方式从不同的医学图像确定对应的图块匹配。在一个实施方案中,每个图块可以基于列和行来标记,诸如医学图像的图块4x 7。对于同一医学标本的医学图像,对应的图块将是4x 7的每个图块。替代地,系统可以使用任何其他识别信息基于位置来标记图块。在另一个实施方案中,可以利用对应匹配技术来匹配来自不同医学图像的图块。例如,系统可以在一个图像中创建与来自下一个对应图像的相同点或特征相匹配的点/特征。这可以允许通过系统内的计算机算法将图块彼此相关联,即使医学图像是从不同的视点拍摄的。
在另一实施方案中,可以利用逐像素分类方法来确定对应的图块。例如,系统可以利用机器学习模型来执行每个图块的逐像素分类。执行逐像素分类的机器学习模型可以使用监督学习、无监督学习或半监督学习来训练。训练可以基于训练数据,所述训练数据可以包括一般的逐像素分类数据。一般的逐像素分类数据可以指地面真值语义分割掩码。地面真值语义分割掩码可以包含关于原始切片图像的信息和描述每个像素的类别的信息。这可以被定义为指示每个像素的正确输出值的目标输出“图像”。可以进行训练,使得执行逐像素分类的机器学习模型的组件(例如,权重、偏差、层等)被调整以基于训练数据和输入的图块来输出对应的图块。一旦应用了逐像素分类,系统就可能够通过机器学习技术来匹配图块的逐像素分类以确定组。
在另一实施方案中,系统可以利用与图像配准相关的任何形式或技术来确定对应的图块并根据同一医学标本的不同医学图像创建组。
在步骤408中,所述方法可以包括对于多组匹配图块中的每一个,确定对应于图块的图像模糊水平的模糊分数。模糊分数可以是定义图块的清晰度的分数、比率、数字或百分比。对于具有较少定义的边缘的图块和对于被认为更模糊的图块,模糊分数可能更高。例如,模糊分数较高的图像可能具有较少的边缘。每个图块的模糊分数可以使用拉普拉斯方差、傅里叶变换、小波变换、使用经过训练的卷积神经网络来识别模糊等来计算。
在一个实施方案中,系统可以利用拉普拉斯方差来确定图块的模糊分数。系统可以应用拉普拉斯滤波器来找到输入图块的边缘。任选地,系统可以在应用拉普拉斯(“拉普拉斯算子”)滤波器之前首先对图块应用灰度。拉普拉斯算子滤波器可以是用于计算图像的二阶导数的边缘检测器。接下来,系统可以利用拉普拉斯算子滤波器计算图块的方差。模糊分数可以直接与拉普拉斯算子方差相对应,其中较低的方差对应于较高的模糊分数(例如,更模糊的图块)。
在另一实施方案中,系统可以利用快速傅里叶变换(“FFT”)来确定模糊分数。在该实施方案中,用于计算离散傅里叶变换的数学算法可以应用于每个图块。这可以将输入图块从空间域转换到频域。接下来,系统可以应用高通滤波器或带通滤波器来确定与高频相对应的边缘。接下来,可以利用检测到的边缘来计算模糊分数,其中具有较多边缘的图块可以具有较高的模糊分数,并且具有较少边缘的图块可以具有较低的模糊分数。
在一个实施方案中,系统可以利用小波变换来确定图块的模糊分数。系统可以首先将图块分成N x N个内图块。接下来,系统可以将二维哈尔小波变换的若干迭代应用于每个内图块。接下来,每个内图块可以以明显的变化水平、竖直和对角地分组成图块簇。模糊分数可以基于簇的量。例如,具有少量图块簇的图块可以对应于较高的模糊分数,并且具有大量图块簇的图块可以对应于低的模糊分数。替代地,模糊分数可以基于连接的图块簇的总面积与整个图块的比率。
在另一实施方案中,系统可以利用诸如卷积神经网络的机器学习模型来确定每个图块的模糊分数。用于确定模糊分数的机器学习模型可以使用监督学习、半监督学习或无监督学习来训练。训练可以基于包括包含全局模糊、区域模糊和局部模糊的医学图像图块的训练数据。训练数据可以具有带有预定模糊分数的图块。可以进行训练,使得机器学习模型的组件(例如,权重、偏差、层)被调整以基于训练数据和输入的图块输出模糊分数。用于确定模糊分数的机器学习模型可以接收图块作为输入。机器学习模型可以输出与输入的每个图块相关联的模糊分数。
在步骤410中,所述方法可以包括:对于每组匹配图块,确定模糊分数指示最低模糊水平(例如,来自步骤408的最低模糊分数)的图块。例如,如果系统已经接收到医学标本的三个图像并将每个图像分解为25x 25个图块(每个图像总共625个图块),则将有625组三图块。对于625组中的每一组,系统可以利用排名算法来根据所述图块中的每个图块的模糊分数对每个图块进行排名。这可以允许系统记录医学标本的每组图块的最高和最低模糊分数。
在步骤412中,所述方法可以包括确定合成电子医学图像,所述合成电子医学图像包括来自每组匹配图块的其中模糊分数指示最低模糊水平的多个图块。系统可以首先从每组中识别具有最低模糊水平的图块,所述图块对应于最高模糊分数。如果来自同一组的对应图块具有相同的模糊分数,则所述图块中的任一图块都可以用在合成电子医学图像中。然后,系统可以组合具有最低模糊水平的所有图块以创建具有最低模糊水平的合成电子医学图像。系统可以进一步组合在步骤404处识别的背景图块。系统可以利用来自医学标本的任何医学图像的背景图块,因为可以不分析背景图块。组合所有图块可以包括将图像中的所有或多个图块编译、压缩、结合、连接、渲染、拼接在一起等以形成医学标本的新的完整图像。然后,系统可以对被替换/组合的任何图块周围的完整图像的一个或多个接缝进行平滑。换句话说,唯一可以不利用平滑的时间是当最终医学图像具有源自同一原始医学图像的彼此接触的图块时。
步骤412可以通过利用被称为合成AI模型的机器学习模型来执行。合成AI模型可以使用监督学习、半监督学习、自监督学习和/或无监督学习来训练。这些不同的训练方法可以被组合来训练最终的模型。训练可以基于包括特定图像的多个图块的训练数据。可以进行训练,使得调整合成AI模型的组件(例如,权重、偏差、层等)以输出组合的图像(通过拼接和平滑),其中尽可能少地指示单独的图块创建了输出图像。因此,可以训练所述模型来教导合成AI模型如何最有效地编译和拼接医学图像集的图块。
图5可以描绘正在执行的步骤412的示例。图5描绘了具有来自同一医学标本的两个医学图像(称为扫描1和扫描2)的示例。医学图像被分割成图块(例如4x 4的16个图块)并被给予模糊分数(未示出)。系统可以确定扫描1具有两个带有模糊区域502的图块(指示比扫描2上的对应图块更高的模糊分数)。扫描1可具有大约10%的总模糊度。系统还可以确定扫描2具有带有模糊区域502的六个图块,其中扫描2中的模糊分数高于扫描1。扫描2可以具有大约20%的总模糊。系统可以确定所有剩余的图块具有相等的模糊分数。然后,系统可以创建合成电子医学图像,所述合成电子医学图像在图3中描绘为“输出”。合成电子医学图像可以选择具有最低模糊分数的图块,所述图块对应于每组匹配图块的选定区域501。因此,与扫描1或扫描2相比,合成电子医学图像(输出)可具有更少的模糊(或没有模糊)。
在一个实施方案中,任选地,系统可以记录“总模糊分数”。总模糊分数可以是在合成电子医学图像中使用的所有图块的组合模糊分数。如果模糊分数是数字,则总模糊分数也可以是数字。如果模糊分数是比率或百分比,则总模糊分数可以是所有图块的模糊分数比率或百分比的平均值。如果总模糊分数高于第一阈值,则系统可以命令重新扫描医学图像。当图像具有全局模糊时(如图1所描绘的),可能会发生这种情况。替代地,如果给定位置中足够大量的图块具有不充分的模糊分数,则系统可以命令重新扫描医学图像。例如,即使总模糊分数低于第一阈值,如果多个连接图块具有高于第二阈值的高模糊分数,则系统可以命令重新扫描医学图像。例如,合成电子医学图像可以具有低于第一阈值的总模糊分数。系统然后可以确定沿着对应接缝连接的多个图块(例如,四个图块)具有高于第二阈值的模糊分数,系统可以命令重新扫描。如果需要重新扫描,则系统可以提醒用户:如果不重新扫描医学标本,则系统将无法修复模糊。可以使用美国专利公布20200381104A1中公开的方法来完成重新扫描的请求,所述专利公布通过引用整体并入本文。
在另一个实施方案中,系统可以记录“次要总模糊分数”。在该实施方案中,可以基于所有图块来计算每个输入的电子医学图像的次要总模糊分数。系统可以确定医学标本的所有医学图像的最低次要总模糊分数。然后系统可以执行如上所述的步骤406至410。接下来,当确定合成电子医学图像时,系统可以从具有最低次要总模糊分数的初始医学图像开始。在该实施方案中,仅可以替换具有高于某个第三阈值的模糊分数的图块。当图块具有高于第三阈值的模糊分数时,它们可以用所有对应图块中具有最低模糊分数的对应图块来替换。然后可以如上所述组合并平滑图块。该实施方案可能需要更少的计算能力和更少的将图块拼接在一起的总体拼接。
在另一实施方案中,所述方法可以包括:如果组中的所有图块的模糊分数保持太高(例如高于第一阈值),则使用用于实现超分辨率的条件生成模型、深度生成模型(例如,条件生成对抗网络、条件变分自动编码器、基于流的生成方法、使用人工神经网络的其他深度学习技术、判别或生成模型等),以提高一个或多个有缺陷的图块的分辨率。这种使用条件生成方法的方法可以称为“去模糊”。“去模糊”可以由去模糊AI模型来执行,如下文进一步详细描述的。图6可以提供使用生成方法来训练用于去模糊的算法的示例性方法。进一步地,图7可以描绘用于训练生成去模糊方法的工作流程,如下文进一步详细描述的。在该实施方案中,去模糊可以应用于组中具有最低模糊分数的图块。替代地,可以将去模糊应用于组中的所有图块,并且可以计算新的模糊分数以确定在合成电子医学图像中应该使用哪个图块。
在另一实施方案中,所述方法可以包括:如果合成电子医学图像中的任何图块的模糊分数高于第二阈值,则对高于第二阈值的图块执行去模糊。然后,这些更新的图块可以被合并回到合成电子医学图像中,从而替换它们的对应图块。
一旦被训练,生成去模糊算法就可以接收数字图像702,所述数字图像对应于在步骤402处接收的医学标本的多个电子医学图像。去模糊算法可能够应用于具有高模糊分数的图块并且能够提高每个图块的分辨率。这可以称为去模糊。当医学标本的图块组都具有高于第二阈值的模糊分数时,可以利用生成去模糊。
在步骤414中,所述方法可以包括提供合成电子医学图像以供显示。医学图像可以与图3中的数字图像310相对应。所述方法可以包括将所得的图像与指示哪些图块被改变的对应的二进制或语义掩码一起保存到电子存储装置。二进制或语义掩码可以包括诸如合成电子医学图像中的每个图块对应于哪个初始医学图像、利用什么方法来确定模糊分数、是否任何图块应用了去模糊以及哪些图块应用了去模糊等信息。合成电子图像可以显示在图2B的查看应用工具208上。合成电子图像可以作为文件/图像导出到其他外部系统。另外,系统可以保存语义掩码,所述语义掩码指示哪些图块来自哪个医学图像以及哪些图块是生成的。在另一实施方案中,系统可以保存对应于合成电子医学图像的二进制掩码,其中二进制掩码包含关于模糊是否存在的信息。
图6是示出根据本文的一个或多个示例性实施方案的使用生成方法训练用于去模糊的算法的示例性方法的流程图。当组中的所有图块的模糊分数高于第二阈值时,示例性方法600(例如,步骤602至614)可以由切片分析工具201自动执行。另外,用户(例如,病理学家)可能够检查合成电子医学图像的一个或多个图块,并基于图块的模糊分数来选择要激活去模糊的图块。当用户无权访问重新扫描但WSI中存在模糊时,用户还能够启动对整个切片图像或特定图块的去模糊。例如,切片可能已丢失,切片可能已被送回原始机构,重新扫描的等待时间可能被确定为太长,或者扫描可能由无权访问原始WSI的另一个实体在下游进行。
在步骤602中,所述方法可以包括接收同一医学标本的多个电子医学训练图像。医学标本可以是组织标本。这些医学图像可以经由电子存储装置(例如,云存储、硬盘驱动器、RAM等)保存。与步骤402不同,在一个实施方案中,可以筛选多个电子图像以不包括具有一定模糊量的图像。
在步骤604中,系统可以将多个电子医学图像中的每一个划分成多个图块,多个图块中的每个图块具有预定大小。图块的大小可为Mx M。类似于步骤404,所述方法可以利用类似的技术将图像分成背景图块和非背景图块。
在步骤606中,所述方法可以包括对一组数量的图块应用一个或多个模糊滤波器以便模拟图像中的模糊。这可以通过应用NxN卷积、高斯平滑或能够在插入的医学图像内创建“模糊”的任何其他技术的系统来执行。例如,如果系统应用高斯平滑,则将计算用于计算要应用于每个像素的变换的高斯函数。高斯平滑可以应用于一个或多个图块。如果应用于多个图块,则高斯平滑可以应用于定位成彼此相邻的图块。然后,系统可以保存已应用了模糊处理的更新后的图块。
在步骤608中,所述方法可以包括通过去模糊AI模型输入多个模糊图块作为训练。任选地,所述方法可以包括输入相邻的未模糊的图块/图像或者可以帮助模型更好地修复模糊图像的某种其他形式的全局或非局部上下文。这可以帮助在单个图块内的信息可能包含不充分信息的情况下修复模糊。相邻图块可以在x-y位置上相邻或在z位置上相邻,z位置意味着块的前一级和下一级(例如,同一医学标本的医学图像的对应图块)。去模糊AI模型可以使用无监督、半监督或无监督学习来训练。可以进行训练,使得去模糊AI模型的组件(例如,权重、偏差、层等)被调整以基于训练数据(模糊的和对应的未模糊的图块)输出目标群体。
在步骤610中,所述方法可以包括使用所得的去模糊AI模型输出和初始去模糊图块来计算模型损失。
在步骤612中,所述方法可以包括使用该损失来优化正在训练的模型,以最小化未模糊的输入图像与所得的去模糊图像之间的差异。
在步骤614中,所述方法可以包括重复所述方法,直到模型充分收敛到修复中的可接受的水平或误差。例如,步骤614可以根据需要用尽可能多的训练图块来执行,直到模型被训练来对图块进行去模糊,直到图块接收到低于第二阈值的模糊分数,如方法400的步骤412中所描述的。
图7示出了用于训练生成去模糊方法的工作流程,如上面的方法600中所描述的。数字图像702可以指不包含模糊或包含可忽略的模糊的医学图像的训练数据,如步骤602中所描述的。接下来,系统可以在将训练数据分成图块之后,以步骤606中描述的任何方式(诸如NxN卷积或高斯平滑等)将人工模糊704应用于训练数据。接下来,系统可以在将人工模糊704应用于医学图像702之后具有模糊数字图像706。接下来,模糊数字图像706可以被馈送到正在训练的后处理去模糊过程708(例如,在步骤608处描述的去模糊AI模型)。后处理去模糊过程708可以输出试图消除由人工模糊704施加的模糊的未模糊的数字图像710。然后,未模糊的数字图像710可以与原始的对应数字图像702一起被输入到损失函数712中。损失函数712可以指导训练过程以最小化模糊修复中的误差。可以在去模糊系统714的优化期间利用损失函数来优化模型。然后可以利用去模糊系统714的优化来更新正在训练的后处理去模糊过程708。
如图8所示,装置800可以包括中央处理单元(CPU)820。CPU 820可以是任何类型的处理器装置,包括例如任何类型的专用或通用微处理器装置。如相关领域的技术人员将理解的,CPU 820还可以是多核/多处理器系统中的单个处理器,此类系统单独操作,或者是在集群或服务器群中操作的计算装置集群中的单个处理器。CPU 820可以连接到数据通信基础设施810,例如总线、消息队列、网络或多核消息传递方案。
装置800还可以包括主存储器840,例如随机存取存储器(RAM),并且还可以包括辅助存储器830。辅助存储器830,例如只读存储器(ROM),可以是例如硬盘驱动器或可移除存储驱动器。此类可移除存储驱动器可以包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存等。该示例中的可移除存储驱动器以众所周知的方式从可移除存储单元读取和/或向可移除存储单元写入。可移除存储装置可以包括由可移除存储驱动器读取和写入的软盘、磁带、光盘等。如相关领域的技术人员将理解的,此类可移除存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。
在替代性实施方式中,辅助存储器830可以包括用于允许计算机程序或其他指令被加载到装置800中的类似装置。此类装置的示例可以包括程序盒和盒接口(诸如在视频游戏装置中发现的)、可移除存储芯片(诸如EPROM或PROM)和相关联的插槽,以及允许软件和数据从可移除存储单元传输到装置800的其他可移除存储单元和接口。
装置800还可以包括通信接口(“COM”)860。通信接口860允许软件和数据在装置800和外部装置之间传输。通信接口860可以包括调制解调器、网络接口(诸如以太网卡)、通信端口、PCMCIA插槽和卡等。经由通信接口860传输的软件和数据可以是信号的形式,该信号可以是电子、电磁、光学或能够由通信接口860接收的其他信号。这些信号可以经由装置1300的通信路径提供给通信接口860,所述通信路径可以使用例如电线或电缆、光纤、电话线、蜂窝电话链路、RF链路或其他通信信道来实施。
此类设备的硬件元件、操作系统和编程语言本质上是常规的,并且假定本领域技术人员对此足够熟悉。装置800还可以包括输入和输出端口850以与诸如键盘、鼠标、触摸屏、监视器、显示器等的输入和输出装置连接。当然,各种服务器功能可以在许多类似的平台上以分布式方式实施,以分配处理负载。替代地,服务器可以通过一个计算机硬件平台的适当编程来实施。
图9描绘了根据一个或多个实施方案的用于训练机器学习模型以对图像去模糊、确定模糊分数、组合图像的图块或执行逐像素分类的流程图。可以通过使用机器学习模型来应用本文公开的一种或多种实施方式。可以使用图7的流程图700、图4的流程图400和/或图6的流程图600来训练如本文所公开的机器学习模型。如图9的流程图900所示,训练数据912可以包括与要训练的机器学习模型相关的阶段输入914和已知结果918中的一者或多者。阶段输入914可以来自任何适用的源,包括图4、图6或图7中描述的组件或组。可以包括已知结果618以用于基于监督或半监督训练生成的机器学习模型。无监督机器学习模型可能不使用已知结果918进行训练。已知结果918可以包括与不具有对应的已知输出的阶段输入914类似或属于相同类别的未来输入的已知或期望输出。
训练数据912和训练算法920可以提供给训练组件930,所述训练组件可以将训练数据912应用于训练算法920以生成在步骤608中描述的去模糊AI模型/正在训练的后处理去模糊过程708、步骤608的经过训练的模糊分数机器学习模型、步骤412的合成AI模型,或步骤404的经过训练的逐像素分类机器学习模型。根据实施方式,可以向训练组件930提供比较结果916,所述比较结果将对应的机器学习模型的先前输出进行比较以应用先前结果来重新训练机器学习模型。比较结果916可以由训练组件930使用来更新对应的机器学习模型。训练算法920可以利用机器学习网络和/或模型,包括但不限于深度学习网络,诸如深度神经网络(DNN)、卷积神经网络(CNN)、全卷积网络(FCN)和递归神经网络(RCN)、概率模型(诸如贝叶斯网络和图形模型)和/或判别模型(诸如决策森林和最大裕度方法)等。流程图900的输出可以是经过训练的机器学习模型,诸如在步骤608中描述的去模糊AI模型/正在训练的后处理去模糊过程708中使用的模型、步骤608的经过训练的模糊分数机器学习模型,或步骤404的经过训练的逐像素分类机器学习模型。
本文提出的技术不一定是关于可以用于创建此类系统的图像处理和计算机视觉的特定组合,而是关于使用此类工具来以数字方式解决诊断图像中的失焦问题的想法。
如前所述,简单地重新扫描图像有时可以产生总体上较少的失焦区域,但是本文提出的技术可以组合多个图像以创建比任何单个图像较不模糊的图像。
贯穿本公开,对组件或模块的引用通常是指可以逻辑地分组在一起以执行一个功能或一组相关功能的项目。相同的附图标记通常旨在指代相同或相似的组件。组件和/或模块可以以软件、硬件,或者软件和/或硬件的组合来实施。
上述工具、模块和/或功能可以由一个或多个处理器执行。“存储”型介质可以包括计算机、处理器等或其相关联模块的任何或所有有形存储器,诸如各种半导体存储器、磁带驱动器、磁盘驱动器等,其可以随时提供非暂时性存储以进行软件编程。
软件可以通过互联网、云服务提供商或其他电信网络进行通信。例如,通信可以使得能够将软件从一台计算机或处理器加载到另一台计算机或处理器中。如本文所使用的,除非限于非暂时性有形“存储”介质,否则诸如计算机或机器“可读介质”等术语是指参与向处理器提供指令以供执行的任何介质。
前面的一般描述仅仅是示例性和解释性的,而不是对本公开的限制。本发明的其他实施方案在考虑本文公开的本发明的说明书和实践下可为本领域技术人员所显而易见。希望说明书和示例仅被认为是示例性的。
Claims (20)
1.一种用于处理电子医学图像的计算机实现的方法,所述方法包括:
接收医学标本的多个电子医学图像;
将所述多个电子医学图像中的每一个划分成多个图块,所述多个图块中的每个图块具有预定大小;
确定多组匹配图块,每组内的所述图块对应于所述医学标本的多个区域中的给定区域;
对于所述多组匹配图块中的每个图块,确定对应于所述图块的图像模糊水平的模糊分数;
对于每组匹配图块,确定所述模糊分数指示最低模糊水平的图块;
确定合成电子医学图像,所述合成电子医学图像包括来自每组匹配图块的其中所述模糊分数指示所述最低模糊水平的多个图块;以及
提供所述合成电子医学图像以供显示。
2.如权利要求1所述的计算机实现的方法,其还包括:
确定给定位置中的图块的预定阈值是否具有不足的模糊分数;以及
当确定超过所述预定阈值时,命令重新扫描对应的医学图像。
3.如权利要求1所述的计算机实现的方法,其还包括:
确定总模糊分数,所述总模糊分数对应于医学图像内的所有图块的所述模糊分数的平均值,其中如果所述总模糊分数高于阈值,则命令重新扫描所述对应的医学图像。
4.如权利要求1所述的计算机实现的方法,其中所述模糊分数由接收所述多个图块的机器学习模型输出,所述机器学习模型向所述图块应用一个或多个权重、偏差和/或层,并且输出每个图块的模糊分数。
5.如权利要求1所述的计算机实现的方法,其中确定合成电子医学图像的步骤是使用机器学习模型执行的。
6.如权利要求1所述的计算机实现的方法,其还包括:
当确定组内的每个图块的模糊分数高于阈值时,使用至少一个条件生成模型来创建更高分辨率的图块。
7.如权利要求5所述的计算机实现的方法,其中使用条件生成模型包括将具有最低模糊分数的图块输入到去模糊机器学习模型中,所述去模糊机器学习模型将图块数据应用于去模糊模型权重、偏差或层中的一者或多者,并输出具有更低模糊分数的对应图块。
8.如权利要求1所述的计算机实现的方法,其还包括:
提供对应的语义掩码,所述对应的语义掩码指示所述合成医学图像的哪些图块被改变。
9.一种用于处理电子数字医学图像的系统,所述系统包括:
至少一个存储器,所述至少一个存储器存储指令;以及
至少一个处理器,所述至少一个处理器被配置为执行所述指令以执行操作,所述操作包括:
接收医学标本的多个电子医学图像;
将所述多个电子医学图像中的每一个划分成多个图块,所述多个图块中的每个图块具有预定大小;
确定多组匹配图块,每组内的所述图块对应于所述医学标本的多个区域中的给定区域;
对于所述多组匹配图块中的每个图块,确定对应于所述图块的图像模糊水平的模糊分数;
对于每组匹配图块,确定所述模糊分数指示最低模糊水平的图块;
确定合成电子医学图像,所述合成电子医学图像包括来自每组匹配图块的其中所述模糊分数指示所述最低模糊水平的多个图块;以及
提供所述合成电子医学图像以供显示。
10.如权利要求9所述的系统,其还包括:
确定给定位置中的图块的预定阈值是否具有不足的模糊分数,是否命令重新扫描所述对应的医学图像。
11.如权利要求9所述的系统,其还包括:
确定总模糊分数,所述总模糊分数对应于医学图像内的所有图块的所述模糊分数的平均值,其中如果所述总模糊分数高于阈值,则命令重新扫描所述对应的医学图像。
12.如权利要求9所述的系统,其中所述模糊分数由接收所述多个图块的机器学习模型输出,所述机器学习模型向所述图块应用一个或多个权重、偏差和/或层,并且输出每个图块的模糊分数。
13.如权利要求9所述的系统,其中确定合成电子医学图像的步骤是使用机器学习模型执行的。
14.如权利要求9所述的系统,其还包括:
当确定组内的每个图块的模糊分数高于阈值时,使用至少一个条件生成模型来创建更高分辨率的图块。
15.如权利要求14所述的系统,其中使用条件生成模型包括将具有最低模糊分数的图块输入到去模糊机器学习模型中,所述去模糊机器学习模型将图块数据应用于去模糊模型权重、偏差或层中的一者或多者,并输出具有更低模糊分数的对应图块。
16.如权利要求9所述的系统,其还包括:
提供对应的语义掩码,所述对应的语义掩码指示所述合成医学图像的哪些图块被改变。
17.一种存储指令的非暂时性计算机可读介质,所述指令在由处理器执行时,执行处理电子数字医学图像的操作,所述操作包括:
接收医学标本的多个电子医学图像;
将所述多个电子医学图像中的每一个划分成多个图块,所述多个图块中的每个图块具有预定大小;
确定多组匹配图块,每组内的所述图块对应于所述医学标本的多个区域中的给定区域;
对于所述多组匹配图块中的每个图块,确定对应于所述图块的图像模糊水平的模糊分数;
对于每组匹配图块,确定所述模糊分数指示最低模糊水平的图块;
确定合成电子医学图像,所述合成电子医学图像包括来自每组匹配图块的其中所述模糊分数指示所述最低模糊水平的多个图块;以及
提供所述合成电子医学图像以供显示。
18.如权利要求17所述的计算机可读介质,其还包括:
确定给定位置中的图块的预定阈值是否具有不足的模糊分数;以及
当确定超过所述预定阈值时,命令重新扫描对应的医学图像。
19.如权利要求17所述的计算机可读介质,其中所述模糊分数由接收所述多个图块的机器学习模型输出,所述机器学习模型向所述图块应用一个或多个权重、偏差和/或层,并且输出每个图块的模糊分数。
20.如权利要求17所述的计算机可读介质,所述操作还包括:
提供对应的语义掩码,所述对应的语义掩码指示所述合成医学图像的哪些图块被改变。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163203033P | 2021-07-06 | 2021-07-06 | |
US63/203033 | 2021-07-06 | ||
PCT/US2022/026972 WO2023282960A1 (en) | 2021-07-06 | 2022-04-29 | Systems and methods to process electronic images to provide blur robustness |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117651968A true CN117651968A (zh) | 2024-03-05 |
Family
ID=81749415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280048084.9A Pending CN117651968A (zh) | 2021-07-06 | 2022-04-29 | 处理电子图像以提供模糊鲁棒性的系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230010654A1 (zh) |
EP (1) | EP4367629A1 (zh) |
KR (1) | KR20240032031A (zh) |
CN (1) | CN117651968A (zh) |
AU (1) | AU2022309204A1 (zh) |
CA (1) | CA3224288A1 (zh) |
WO (1) | WO2023282960A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110090327A1 (en) * | 2009-10-15 | 2011-04-21 | General Electric Company | System and method for imaging with enhanced depth of field |
WO2016120441A2 (en) * | 2015-01-30 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality metrics for automatic evaluation of dual ish images |
CN114207675A (zh) | 2019-05-28 | 2022-03-18 | 佩治人工智能公司 | 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法 |
-
2022
- 2022-04-29 CN CN202280048084.9A patent/CN117651968A/zh active Pending
- 2022-04-29 EP EP22724555.2A patent/EP4367629A1/en active Pending
- 2022-04-29 CA CA3224288A patent/CA3224288A1/en active Pending
- 2022-04-29 WO PCT/US2022/026972 patent/WO2023282960A1/en active Application Filing
- 2022-04-29 AU AU2022309204A patent/AU2022309204A1/en active Pending
- 2022-04-29 US US17/732,857 patent/US20230010654A1/en active Pending
- 2022-04-29 KR KR1020247001518A patent/KR20240032031A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
CA3224288A1 (en) | 2023-01-12 |
US20230010654A1 (en) | 2023-01-12 |
WO2023282960A1 (en) | 2023-01-12 |
EP4367629A1 (en) | 2024-05-15 |
KR20240032031A (ko) | 2024-03-08 |
AU2022309204A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11935644B2 (en) | Deep learning automated dermatopathology | |
JP7134303B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
US20220076411A1 (en) | Neural netork based identification of areas of interest in digital pathology images | |
Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
US10346980B2 (en) | System and method of processing medical images | |
Tanizaki et al. | Computing valid p-values for image segmentation by selective inference | |
Sharma et al. | A comparative study of cell nuclei attributed relational graphs for knowledge description and categorization in histopathological gastric cancer whole slide images | |
Toulkeridou et al. | Automated segmentation of insect anatomy from micro‐CT images using deep learning | |
CN117651968A (zh) | 处理电子图像以提供模糊鲁棒性的系统和方法 | |
US20220261985A1 (en) | System for determining the presence of features in a dataset | |
US11430116B2 (en) | Systems and methods for processing electronic images to provide localized semantic analysis of whole slide images | |
Hava Muntean et al. | Breast cancer detection from histopathological images using deep learning and transfer learning | |
Yesmin et al. | Identification and Segmentation of Medical Images by Using Marker-Controlled Watershed Transformation Algorithm, XAI, and ML | |
Baldeon-Calisto et al. | DeepSIT: Deeply Supervised Framework for Image Translation on Breast Cancer Analysis | |
JebeliHajiAbadi | Classification of Breast Cancer Cytological Images using Vision Transformers | |
WO2023049863A1 (en) | Systems and methods to process electronic images to selectively hide structures and artifacts for digital pathology image review | |
Pryhoda | Tissue Segmentation in Histopathological Whole-Slide images with Deep Learning | |
Shkarin | Machine learning-based automated segmentation with a feedback loop for 3D synchrotron micro-CT | |
CN117078606A (zh) | 维管植物秆茎截面结构检测方法、装置及电子设备 | |
WO2023147563A1 (en) | Systems and methods for processing electronic images for auto-labeling for computational pathology | |
Kalaivani | Mammography Feature Selection Using Unsupervised Quick Reduct and Relative Reduct Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |