CN114223016A - 载玻片的扫描/预扫描质量控制 - Google Patents
载玻片的扫描/预扫描质量控制 Download PDFInfo
- Publication number
- CN114223016A CN114223016A CN202080047225.6A CN202080047225A CN114223016A CN 114223016 A CN114223016 A CN 114223016A CN 202080047225 A CN202080047225 A CN 202080047225A CN 114223016 A CN114223016 A CN 114223016A
- Authority
- CN
- China
- Prior art keywords
- tissue
- slide
- image
- artifacts
- magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003908 quality control method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 144
- 230000008569 process Effects 0.000 claims abstract description 56
- 238000013136 deep learning model Methods 0.000 claims abstract description 49
- 238000010191 image analysis Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 239000003292 glue Substances 0.000 claims description 8
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 4
- 239000006063 cullet Substances 0.000 claims description 3
- 239000000428 dust Substances 0.000 claims description 3
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 3
- -1 tissue folds Substances 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 31
- 238000007435 diagnostic evaluation Methods 0.000 abstract description 7
- 238000011160 research Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 3
- 210000001519 tissue Anatomy 0.000 description 179
- 238000010186 staining Methods 0.000 description 16
- 210000004027 cell Anatomy 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 8
- 239000012530 fluid Substances 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000005260 human cell Anatomy 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 230000036732 histological change Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000002390 cell membrane structure Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 208000023965 endometrium neoplasm Diseases 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 208000023958 prostate neoplasm Diseases 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种分析多个组织载玻片的方法,在该方法中,在早期阶段检测可能的伪影。这通过在过程流程中包括初步成像和图像分析步骤来实现;该步骤优选地在病理学家或实验室技术人员进行任何诊断评估(例如图像分析或人工读取)之前执行。因此,到达专家以供图像分析的组织载玻片使用本公开的方法具有更高的质量,因为载玻片理想地没有伪影。由于仅无伪影载玻片将经受详细分析,由此本文公开的方法为病理学家节省了宝贵的时间。此外,根据本公开的方法使导致可能误诊的误解的风险最小化。本公开还涉及一种能够自动确定组织病理学图像是否适合于诊断和/或研究评估的深度学习模型,并且还涉及所述深度学习模型的训练。
Description
技术领域
本公开涉及用于分析多个组织载玻片的方法以及用于制备组织载玻片以供分析并且基于组织标本的至少一部分的图像来确定载玻片是否包括一个或多个可拒绝的伪影的方法。本公开还涉及一种用于训练深度学习模型以识别所述伪影的方法。
背景技术
组织病理学是指组织的显微镜检查,以便研究疾病的表现。在临床医学中,组织病理学是指在处理标本并将组织切片置于载玻片上之后由病理学家检查活检或手术标本。
由于生物组织在光学显微镜或电子显微镜中几乎没有固有的对比度,因此通常采用染色来给予组织对比度以及突出感兴趣的特定特征。组织载玻片通常由病理学家在显微镜下检查,或者组织的图像使用扫描仪捕获并随后分析。
组织成分的结构和形态细节的识别对于得出结论性诊断是重要的。然而,有时在显微切片中存在某些伪影可能导致误解,从而导致诊断缺陷。伪影可以被定义为作为外来因素的结果的在制备的显微镜载玻片上的人为结构或组织变化。在手术去除、固定、组织处理、包埋、切片、染色或安装过程期间可能出现伪影。伪影甚至可能导致组织的完全无用。因此,在组织切片的组织病理学解释期间识别通常出现的伪影是必要的。
通常,在病理学家或实验室技术人员进行详细检查或图像分析之前,无法识别伪影。组织标本中的伪影通常意味着必须丢弃组织载玻片并且必须订购新的组织载玻片,替换具有包含伪影的标本的载玻片。由于病理学家可能必须检查大量的组织载玻片,因此任何数量的包含使样本变得无用的伪影的载玻片导致额外的工作,如果在该过程的较早步骤检测到伪影,则可以避免这些工作。对多个组织载玻片进行详细的图像分析通常是非常耗时的过程,因此,感兴趣的是消除或至少最小化到达病理学家以供检查或分析的无用载玻片(例如包含伪影的载玻片)的数量。
发明内容
需要在与组织载玻片的整个载玻片数字诊断和图像分析有关的过程流程中早期检测伪影。此外,需要在载玻片继续在扫描系统中成像之前以及在它们经受由图像分析和/或病理学家进行的诊断评估之前评估是否应当拒绝包括一个或多个伪影的组织载玻片。这种检测和评估方案可以节省与组织载玻片的分析有关的宝贵资源。另外,需要自动检测组织标本中的伪影和自动评估对包含伪影的组织载玻片的可能拒绝。
本公开通过提出一种分析多个组织载玻片的方法来解决这些问题,在该方法中,在早期阶段检测可能的伪影。这通过在过程流程中包括初步成像和图像分析步骤来实现;该步骤优选地在载玻片在扫描系统中经受进一步成像之前以及在病理学家或实验室技术人员进行通常更详细的图像分析之前执行。因此,到达专家(例如病理学家)以供在后期阶段分析的组织载玻片使用本公开的方法具有更高的质量,因为载玻片理想地没有伪影。由于仅无伪影载玻片将经受详细分析,因此本文公开的方法为病理学家节省了宝贵的时间。此外,根据本公开的方法使导致可能误诊的误解的风险最小化。
本公开还通过提出一种训练深度学习模型(例如神经网络)以识别组织标本的一部分的一个或多个数字图像中的伪影信息的方法来解决上述问题。发明人已经认识到,可以训练深度学习模型来识别伪影,并且在早期阶段自动检测伪影的过程中(诸如在扫描系统外部执行的初步成像步骤中)使用这种训练过的深度学习模型来进行。如果初步成像步骤在扫描系统外部执行,则该步骤可以被称为预扫描。深度学习模型可以被训练为识别不同的伪影类型,诸如组织褶皱、胶或组织中的孔。一旦深度学习模型被充分训练,本公开就提供用于自动检测或识别组织病理学图像中的伪影的方法,由此提供了识别伪影以及随后评估组织载玻片是否应当被拒绝进一步成像和分析的快速且可靠的方法。
第一实施方式涉及一种用于在线式过程中准备用于分析的多个组织载玻片图像的方法,所述方法包括:a)提供具有组织标本的组织载玻片;b)使用第一放大率获得载玻片上的组织标本的至少一部分的图像;c)基于所述图像,通过使用被训练为识别一个或多个伪影的深度学习模型来确定具有组织的载玻片是否包括一个或多个伪影,一个或多个伪影是作为外来因素的结果的载玻片上的人为结构或组织变化;d)基于c)中的确定并且还基于一个或多个伪影的位置和/或尺寸,如果载玻片包括可拒绝的伪影,则从所述线式过程去除载玻片,或者如果未确定可拒绝的伪影,将载玻片分类为接受载玻片;e)使用第二放大率获得接受载玻片上的组织标本的至少一部分的组织载玻片图像,第二放大率高于第一放大率,并且可选地使用进一步更高的放大率获得接受的载玻片上的组织标本的至少一部分的另外组织载玻片图像;以及f)对于每个组织载玻片重复步骤a)至e),从而在线式过程中准备多个组织载玻片图像。如果在载玻片上检测到伪影,则该方法还可以确定伪影是否对诊断或研究评估具有任何影响。这可以通过分析伪影的位置和/或尺寸是否意味着无法以相关细节检查组织来完成。在本上下文中,相关细节意味着可以从图像中识别组织的结构和形态细节,并且可以从图像中推断出标本中存在的所有或几乎所有的组织病理学信息。在伪影可能对诊断或研究评估有影响的情况下,可以拒绝伪影。
第二实施方式涉及一种用于分析多个组织载玻片的方法,方法包括以下步骤:提供具有组织标本的组织载玻片;使用第一放大率获得载玻片上的组织标本的至少一部分的图像;确定具有组织的载玻片是否包括一个或多个伪影;基于所述确定,如果载玻片包括可拒绝的伪影,则从过程去除载玻片;或者如果未确定可拒绝的伪影,则将载玻片分类为接受的载玻片;使用第二更高放大率获得在接受的载玻片上的组织标本的至少一部分的图像;可选地,使用进一步更高的放大率获得在接受的载玻片上的组织标本的至少一部分的另外图像;执行从接受的载玻片获得的图像的至少一部分的分析;以及对于每个组织载玻片重复以上步骤,从而在线式过程中分析多个组织载玻片。第二实施方式可以执行根据第一实施方式的步骤c)确定具有组织的载玻片是否包括一个或多个伪影;d)在线式过程中去除或保持载玻片;以及e)获得更高放大率的组织载玻片图像以供发送用于进一步分析。
在一个实施方式中,初步成像步骤在图2所示的扫描系统外部执行。成像可以由任何适于提供概览图像的相机完成,优选地使用如下所述的低放大率。概览图像应当足够清晰,以确保常见的伪影在图像中是可见的,只要它们存在于标本中。最常见的伪影通常是组织褶皱、胶或组织中的孔。在标本中存在伪影的情况下,优选地评估伪影是否可能对任何随后的分析有影响。如果是这种情况,则伪影被称为可拒绝的伪影,并且应当拒绝载玻片。然后可以可选地制备新的组织标本。在载玻片不包含可拒绝的伪影的情况下,将载玻片传递到图像获取步骤,该步骤通常由扫描仪或扫描系统执行。扫描仪通常以多个放大率提供两个成像步骤。通常,第一次成像被称为低放大率,如下所述。第二次成像在本文中被称为高放大率成像,如下所述。在扫描仪中获取图像之后,通常存储载玻片和/或图像以供后期分析。通常,分析由病理学家和/或实验室技术人员(在一些情况下为两者)完成。在本公开的方法中,分析也可以由计算系统(例如,诸如神经网络的深度学习模型)自动完成。
在另一个实施方式中,初步成像步骤在图3所示的扫描系统内部执行。在该实施方式中,初步成像使用由扫描仪提供的相机/镜头完成。基于优选地使用如下所述的低放大率获得的图像,评估是否存在任何可拒绝的伪影以及是否应当拒绝载玻片。如果不存在可拒绝的伪影,则载玻片可以继续进行进一步的成像,优选地使用如下所述的更高的放大率。其余步骤与先前讨论的图2中概述的方法相同。
本公开还涉及一种深度学习模型,诸如卷积神经网络、循环神经网络或一般对抗网络,所述模型被训练为从标本的一部分的图像获得伪影信息。
本公开还涉及一种用于训练深度学习模型的系统,该系统包括用于存储指令的计算机可读存储装置,这些指令在由处理器执行时执行本公开的用于训练深度学习模型以从图像获得伪影信息的方法。
本公开还涉及一种用于分析多个组织载玻片的系统,该系统包括用于存储指令的计算机可读存储装置,这些指令在由处理器执行时执行本公开的方法。
附图说明
图1显示了根据现有技术的制备具有组织标本的组织载玻片、获取标本的图像并且随后分析图像的一般过程。该过程从获得组织样本开始。组织样本可以来自任何相关组织,通常是怀疑包含肿瘤组织的组织。然后,由该样本制备组织标本。首先,从样本切割切片(切片),然后将标本放置在载玻片上,对组织进行染色(例如,使用H&E染色方案),并将盖玻片安装在顶部,以固定组织标本。然后标本准备好图像获取。这可以使用光学显微镜或扫描仪来完成。在该示例中,成像使用扫描仪来完成。首先,使用如下所述的低放大率对标本成像,然后使用如下所述的更高放大率对标本成像。组织载玻片可以可选地存储,以供后期的图像分析。最终图像分析通常由实验室技术人员和/或病理学家(在一些情况下为两者)执行。在感兴趣区域中存在可拒绝的伪影的情况下,图像是无用的,并且必须从组织样本中切割新标本。由于对可拒绝的伪影的后期检测,必须重复过程流程的主要部分,这是低效的。
图2显示了根据本公开的实施方式的将组织标本提供给扫描仪以便图像获取和随后的图像分析的过程。该过程的特征在于初步的图像获取和图像分析步骤,目的在于识别标本中存在的任何可拒绝的伪影。可拒绝的伪影在本文中被理解为可能对图像分析有影响的伪影。在该实施方式中,初步成像在扫描仪外部完成,例如使用适于获取标本的概览图像的相机或显微镜,通常使用如下所述的低放大率。概览图像应当适于识别至少一些伪影(如果存在的话)。在载玻片不包含任何可拒绝的伪影的情况下,载玻片被称为接受载玻片,并且它可以继续进行进一步的成像。如果载玻片被拒绝,则必须获得新的标本。上述方法具有在过程的早期阶段识别可拒绝的载玻片的优点。然后,可拒绝的载玻片可以从过程去除,而不是在扫描仪中经受进一步成像步骤、以及由组织病理学专家进行进一步的图像分析。因此,通过去除包含可拒绝的伪影的载玻片,节省了宝贵的资源,并且降低了来自样本的错误解释的风险。
图3显示了根据本发明的另一个实施方式的分析组织载玻片的类似过程。与图2概述的过程类似,该过程的特征在于初步图像分析步骤,其中,评估标本是否包含任何可拒绝的伪影。与图2的过程相反,该步骤在扫描系统内部使用由扫描仪提供的镜头/相机来执行。优选地,所获取的图像是低放大率的图像,因为它允许更快的成像,并且因为大部分可拒绝的伪影在低放大率(例如,2.5倍或1倍)下是可见的。如果标本包含可拒绝的伪影,则拒绝载玻片,并且必须制备另一个标本。在初步图像分析步骤之后,以更高的放大率(通常为20倍或40倍)对载玻片进一步成像。多个载玻片通常将在扫描仪中顺序处理,并在成像之后存储。最后,在再次存储/存档组织载玻片和/或图像之前,可以由实验室技术人员和/或病理学家执行更详细的图像分析。
图4显示了根据本发明的实施方式的训练深度学习模型的过程的示例。该过程开始于从组织标本的多个图像中选择包含伪影的图像。然后,使用图像分析软件检索关于伪影的信息,例如伪影的位置。随后,将信息传递到图像,即,根据伪影信息来标记图像。然后,将标记的图像呈现给深度学习模型,以训练该模型来识别图像中的伪影。在充分训练深度学习模型之前,可选地重复该过程任意次数,每次使用另一图像,例如使用100到1000个图像,通常是500到1000个图像。
图5显示了根据本发明的实施方式的训练深度学习模型的过程。该过程从根据现有技术中已知的方法从组织样本制备组织标本开始。然后优选地使用两个不同的放大率对多个组织载玻片(各个载玻片包括组织标本)成像(例如使用扫描仪),并且存储这些组织载玻片以供后期分析。然后由实验室技术人员和/或病理学家分析图像。此时,优选地发现哪些载玻片包含一个或多个可拒绝的伪影。然后根据伪影信息对包含可拒绝的伪影的图像进行标记。伪影信息可以简单地“不适合诊断评估”,或者伪影信息可以与伪影的位置和/或类型有关。然后,将图像提供给深度学习模型以用于训练目的。
定义
在本文中,“线式过程”意指从将具有组织标本的组织载玻片提供到载玻片保持器到载玻片的最终图像分析的过程。
在本文中,“早期阶段”被理解为优选在组织标本的诊断评估之前的阶段。
在本文中,术语“组织载玻片”和“载玻片”可互换使用。另外,术语“组织标本”和“标本”可互换使用。
伪影被定义为作为外来因素的结果的在制备的显微镜载玻片上的人为结构或组织变化。
可拒绝的伪影被定义为可能对组织样本的诊断评估和/或研究评估(图像分析和/或人工分析)有影响的伪影。
具体实施方式
本公开涉及一种用于在线式过程中分析多个组织载玻片的方法,其中,可以在过程的早期阶段检测载玻片或布置在载玻片上的组织中的伪影。
通常,该过程从制备从组织样本获得的组织标本开始。组织标本可以根据现有技术中已知的方法制备。组织标本制备所涉及的步骤通常是如图1例示的切片、安装、染色和盖玻片的放置。一旦标本安装在载玻片上,通常盖玻片在顶部,根据本公开的线式过程优选地从初步图像获取步骤开始。该步骤可以在扫描系统外部执行,例如使用用于获取低放大率图像的任何合适的相机,或者其可以在扫描系统内部使用由扫描仪提供的相机来执行。标本的早期成像用于检测标本中可能存在的伪影的目的,以便评估载玻片是否具有足够的质量以在过程中进一步进行,或者是否应当在此时已经拒绝载玻片。
基于在早期成像步骤获得的图像,然后进行初步图像分析,其中,优选地检测任何可能存在的伪影,并且其中,评估伪影是否构成可拒绝的伪影。在存在可拒绝的伪影的情况下,优选地应当拒绝整个载玻片并且可以可选地制备新的标本。载玻片可以由人(例如病理学家)手动拒绝和/或去除,或者它可以由系统(例如计算机系统)自动拒绝和/或去除。如果不存在可拒绝的伪影,则将载玻片称为接受的载玻片,并且载玻片可以继续进行进一步成像,例如在扫描系统中执行。
然后,通常例如使用数字扫描仪以更高的放大率对接受的载玻片成像。在扫描仪中,可选地使用第一低放大率获得组织标本的至少一部分的图像。在一个实施方式中,在使用类似放大率在扫描系统外部成像载玻片的情况下,可以跳过该步骤。通常,随后通常使用进一步更高的放大率获得接受的载玻片上的组织标本的至少一部分的另外图像。然后优选地存储载玻片和图像以供后期分析。
在图像获取和/或存储之后,优选地执行对图像的至少一部分的分析。该图像分析也被称为诊断图像分析,并且其可以由例如病理学家或实验室技术人员的组织病理学专家、或计算机实施的方法、或其组合来执行。理想地,使用本公开的方法,被分析的载玻片没有可拒绝的伪影。
可以对各个组织载玻片重复如上所述的整个线式过程,从而在线式过程中分析多个组织载玻片。另选地,图像的诊断图像分析可以推迟到多个组织载玻片被处理,直到线式过程中的诊断图像分析步骤为止。由于通常存在大量要由所述线式过程处理的载玻片,所以优选地在初步成像步骤中尽可能早地将载玻片分类为可接受的载玻片和可拒绝的载玻片是有利的,因为扫描和诊断图像分析所需的时间与要分析的载玻片的数量成比例。因此,本公开涉及一种用于将组织病理学载玻片分类为可接受的载玻片和可拒绝的载玻片的方法。
由于在早期阶段确定了伪影,所以通常很容易用具有来自相同样本的组织标本的另一载玻片替换该载玻片。早期阶段意味着在诊断图像分析之前的阶段确定载玻片的接受/拒绝。通过用具有来自相同样本的组织标本的另一载玻片替换拒绝的载玻片,可以提供关于样本的相关信息;如果被拒绝的载玻片不包含可拒绝的伪影,则该信息可以通过被拒绝的载玻片来输送。通过在早期阶段替换拒绝的载玻片,由于不对不可用的载玻片进行进一步的图像获取和图像分析,因此可能节省时间和金钱。此外,通过在诊断图像分析之前去除包含一个或多个可拒绝的伪影的载玻片,降低了基于组织标本的图像分析的误解或不正确诊断的风险。从而,存在较少量的无用载玻片要使用第二更高放大率来扫描,并且存在较少量的无用载玻片要在诊断图像分析期间分析。另外,为了限制与存储相关的成本,限制无用的载玻片(即具有一个或多个可拒绝的伪影的载玻片)的数量是令人感兴趣的。
本公开还涉及一种用于获得用于评估组织载玻片的质量的伪影信息的方法,伪影信息可以用于训练深度学习模型。深度学习模型可以是卷积神经网络、循环神经网络或一般对抗网络。在一个实施方式中,该方法包括提供组织标本的第一部分的第一图像的步骤,其中,第一部分包括至少一个伪影。然后,优选地使用图像分析软件来获得关于伪影的信息。该信息可以简单地“不适合诊断评估”或者可以与伪影的位置、伪影的类型或者关于伪影的其它相关信息有关。伪影信息可以被认为是例如与训练深度学习模型有关的真值。注释和标注可以视为图像中指出物理特性的指示。与图像相关联的伪影信息对于充分训练模型是重要的。
在本公开的另一实施方式中,用于训练深度学习模型的方法基于将组织载玻片分类为接受的载玻片和可拒绝的载玻片,其中,所述分类由人类专家(例如病理学家和/或实验室技术人员)(参见图5)来执行。通过将多个图像(所述图像包含可拒绝的伪影)输入到深度学习模型,模型在理解什么构成可拒绝的伪影方面变得越来越好。在足够数量的图像(诸如大约100到大约1000个图像,典型地大约500到1000个图像)已经输入到模型之后,深度学习模型可以被认为足够熟练以至于训练完成。其后,模型将能够识别组织病理学图像中的伪影,因此,伪影的识别和载玻片的对应分类可以由计算机系统自动完成。
本公开还涉及一种用于训练上述类型中的任何一种的深度学习模型的方法,其中,对深度学习模型的训练基于与第一图像相关联的训练注释,并且其中,将训练注释的结果与第一图像的伪影信息进行比较。
本公开还涉及一种用于所描述的训练过程的系统。这种系统的一个实施方式包括用于存储指令的计算机可读存储装置,这些指令在由处理器执行时执行用于从图像识别伪影信息的方法和/或用于训练深度学习模型以从图像获得伪影信息的方法。本公开还涉及计算机程序、计算机可读介质或计算机可读存储装置,其上具有指令,这些指令在由计算装置或系统执行时使得计算装置或系统执行从一个或多个图像识别伪影信息和/或用于训练深度学习模型的方法。
初步成像
初步成像步骤提供了适于揭示载玻片是否包括使载玻片不适合诊断评估的伪影(即可拒绝的伪影)的图像。
初步成像步骤使用第一放大率来进行。在本上下文中,第一放大率将被理解为与低放大率或第一低放大率相同。已经发现,使用低放大率(诸如小于5倍,优选小于2.5倍,或甚至更优选大约或低于1倍)是合适的第一放大率,诸如大约0.1倍至大约0.5倍。后者“第一放大率”还可以表达为捕获载玻片的像素的数量,诸如捕获载玻片的长度的至少200个像素,更优选地捕获载玻片的长度的至少1000个像素。
在本公开的一个实施方式中,例如使用能够提供低放大率图像的标准相机/镜头/显微镜,在扫描系统外部完成初步成像步骤(参见图2)。该实施方式的优点是要被拒绝的载玻片不必进入扫描仪,而是可以被引导到另一位置。在另一个实施方式中,初步成像步骤在扫描系统内完成(参见图3),即,使用由扫描仪提供的相机但仍然使用低放大率图像来确定载玻片是否适合诊断评估或另选地是否应当被拒绝。
低放大率图像也可以通过以下方式来获得:获得在扫描仪中获得的高放大率图像,然后合并相邻像素,以便获得与低放大率图像类似的适当的概览图像。在本上下文中,这种图像也被称为低放大率图像。
扫描仪
扫描仪可以是适于获取布置在载玻片上的组织标本的一个或多个图像的任何数字载玻片扫描仪或扫描系统。扫描仪对于获得更高放大率的图像特别有用。在本上下文中,“第二放大率”或“高(更高)”放大率意指相同的放大率,即从约20倍、更优选从约40倍(诸如约100倍)开始的放大率。
伪影
伪影可以被定义为作为外来因素的结果的在制备的显微镜载玻片上的人为结构或组织变化。期望尽可能早地检测伪影,以便能够在执行载玻片的详细图像分析之前替换或拒绝具有伪影的载玻片。
在手术去除、固定、组织处理、包埋、切片、染色或安装过程期间可能出现伪影。所检测的伪影通常是从由灰尘、组织褶皱、胶、碎玻璃、染色点、错误的切割厚度、缺失的组织、组织中的孔、错误的笔/标记点构成的组中选择的伪影。通常,伪影是组织褶皱、胶或组织中的孔。
可拒绝的伪影
如果在载玻片上检测到伪影,则通常进一步确定伪影是否对诊断或研究评估有任何影响,即,伪影的位置和/或尺寸是否意味着无法以相关细节检查组织。在本上下文中,相关细节意味着可以从图像中识别组织的结构和形态细节,并且可以从图像中推断出标本中存在的所有或几乎所有的组织病理学信息。深度学习模型可以被训练为识别不同的伪影类型,诸如组织褶皱、胶或组织中的孔。该信息可以与伪影的位置和/或尺寸结合使用,以确定是否应当从线式过程中去除载玻片。
在伪影可能对诊断或研究评估有影响的情况下,伪影被分类为可拒绝的伪影,并且应当拒绝载玻片进行进一步分析,即应当从线式过程中去除载玻片。
被拒绝的载玻片
优选地,应当尽可能快地从线式过程中去除被拒绝的载玻片,优选地,就在确定拒绝载玻片之后。
载玻片可以手动去除;然而,优选的是,载玻片自动地去除。每次去除载玻片时,应给出通知,以信号通知该载玻片被拒绝,使得可提供新的载玻片来替换被拒绝的载玻片。通知可以是任何合适类型的通知。例如,可以向负责载玻片的人提供来自线式过程中的一批载玻片的被拒绝的载玻片的列表。
切片
组织的切片可以使用任何技术来执行,并且另外涉及任何类型的组织处理。通常,将整个组织切成超薄切片,使用染色方案和染色标记物对其进行染色。通常以3μm-50μm的范围对标本进行切片。
标本
标本可以是任何合适的包含生物细胞的标本,例如人体组织、动物组织、植物组织和/或矿化组织。组织标本可以比如包括多个人类细胞。该多个人类细胞可能潜在地包括一个或多个人类癌细胞。通常,标本是组织部分的切片或包含细胞的流体的样本。
组织部分可以来自任何相关组织,并且可以来自肿瘤组织或怀疑包含肿瘤组织的组织。它可以是任何肿瘤,诸如典型地选自乳腺肿瘤组织、结肠肿瘤组织、膀胱肿瘤组织、肾肿瘤组织、子宫内膜肿瘤组织、肺肿瘤组织、黑素瘤组织和前列腺肿瘤的肿瘤组织。
标本也可以是包含细胞的流体的样本。流体可以是体液,诸如血液、尿液、唾液或脑脊液,或者流体可以来自灌洗,诸如支气管肺泡灌洗。可以检查流体中的任何类型的细胞,诸如癌细胞。
组织标本可以包括一个或多个解剖结构,诸如组织标本的外形、血管结构、神经结构、肌肉结构、细胞膜、切片中的空间、细胞、肺泡、颗粒或细胞核。
染色
染色可以是实验室中使用的任何染色,用于对包含细胞的标本(诸如组织切片或流体标本)染色。
通常,染色是对所述标本中的标记物特异性的染色,该标记物诸如为用于蛋白质表达(例如对标本中特定类型的细胞特异性的蛋白质表达)的标记物。示例是对与细胞膜关联的标记物进行染色。另一个示例是细胞核染色。特异性染色可以是特异性免疫组织化学染色。染色也可以是非特异性染色,诸如苏木精和曙红染色。
自动系统和软件
在另一方面,本发明还包含适于进行本文公开的一个或多个方法的自动或半自动系统,所述自动或半自动系统组合地包括:
能够包括标本的多个图像的数据库;
用于分析标本的图像的软件模块;
包括用于执行所述方法的指令的控制模块。
所述自动或半自动系统还可以进一步包括:扫描仪和银幕、和/或显微镜和相机。
使用全自动显微镜,可以使系统在低放大率与高放大率之间切换。通过使用低放大率,可以获得提供整个载玻片的概览的“超级透镜”表示,并且使系统使用图像分析自动识别载玻片上包含组织的区域。
系统还可以包括用于打印、存储等的通用处理器和外围设备。通用处理器可以是基于微处理器的微型计算机,但它可以是适于高效执行本文描述的功能的另一计算机型装置。通用处理器例如可以控制装置的部件的功能和这些部件之间的数据流动,并且处理表示和分类信息的存储。通用处理器可以另外控制外围装置,诸如打印机、存储装置(诸如光或磁硬盘、磁带驱动器等)以及其它装置(包括条形码读取器、载玻片标记器、自动聚焦电路、机器人载玻片处理机、载物台和鼠标)。
优选地,所获得的图像是单色表示、彩色表示或多帧(例如多光谱)图像。图像优选地存储为TIFF表示、或JPEG或其它标准格式。
在另一个实施方式中,可以从借助于对所讨论的细胞标本进行成像的虚拟显微镜获得的虚拟载玻片获取图像。在该实施方式中,整个组织区域已经在例如虚拟载玻片扫描仪中以高放大率被扫描,并且所得到的表示已经存储在例如硬盘驱动器上。现在,系统处理这种大的表示,就好像它控制显微镜、载物台、相机等。由此,用户可以使用与利用实际显微镜工作时确切相同的界面来利用虚拟显微镜表示工作。
计算机可读介质或软件
在另一方面,本发明还包含一种计算机可读介质或软件程序,其包括用于执行本文公开的一个或多个方法的指令。合适的计算机可读介质可以例如是硬盘,以提供数据、数据结构、计算机可执行指令等的存储。也可使用计算机可读的其它类型的介质,诸如可移动磁盘、CD、盒式磁带、闪存卡、数字视频盘等。
示例
数字扫描仪的示例可以是来自滨松(Hamamatsu)公司的任何Nanozoomer扫描仪,例如Nanozoomer SQ、Nanozoomer S60、Nanozoomer S210或Nanozoomer S360。
图2中示出了根据本公开的用于分析多个组织载玻片的方法的示例。在该示例中,在扫描仪外部分析载玻片,以便评估各个载玻片是否应当被接受或拒绝。成像可以由能够获取低放大率图像的任何相机完成。
图3中示出了根据本公开的用于分析多个组织载玻片的方法的示例。在该示例中,与可拒绝的伪影有关的评估基于在扫描仪内部(即,使用由扫描仪提供的相机/镜头)获得的图像。
本发明的另外细节
1.一种用于在线式过程中制备用于分析的多个组织载玻片的方法,所述方法包括:
a)提供具有组织标本的组织载玻片;
b)使用第一放大率获得载玻片上的组织标本的至少一部分的图像;以及
c)基于所述图像,确定具有组织的载玻片是否包括一个或多个伪影;
d)基于c)中的确定,如果载玻片包括可拒绝的伪影,则从所述线式过程去除载玻片,或者如果未确定可拒绝的伪影,则将载玻片分类为接受的载玻片;
e)使用第二更高放大率获得接受的载玻片上的组织标本的至少一部分的图像,并且可选地使用进一步更高的放大率获得接受的载玻片上的组织标本的至少一部分的另外图像;
f)对于每个组织载玻片重复步骤a)至e),从而在线式过程中制备多个组织载玻片。
2.一种用于在线式过程中分析多个组织载玻片的方法,所述方法包括:
a)提供具有组织标本的组织载玻片;
b)使用第一放大率获得载玻片上的组织标本的至少一部分的图像;以及
c)基于所述图像,确定具有组织的载玻片是否包括一个或多个伪影;
d)基于c)中的确定,如果载玻片包括可拒绝的伪影,则从所述线式过程去除载玻片,或者如果未确定可拒绝的伪影,则将载玻片分类为接受的载玻片;
e)使用第二更高放大率获得接受的载玻片上的组织标本的至少一部分的图像,并且可选地使用进一步更高的放大率获得接受的载玻片上的组织标本的至少一部分的另外图像;
f)执行从接受载玻片获得的图像的至少一部分的图像分析;以及
g)对于各个组织载玻片重复步骤a)至f),从而在线式过程中分析多个组织载玻片。
3.根据项1或2的方法,其中,可拒绝的载玻片的去除自动执行。
4.根据项2的方法,其中,步骤a)至e)在执行步骤f)之前对于所有组织载玻片执行。
5.根据前述项中任一项的方法,其中,组织利用非特异性染色(诸如苏木精和曙红染色)来染色。
6.根据前述项中任一项的方法,其中,组织利用特异性染色(诸如特异性免疫组织化学染色)来染色。
7.根据前述项中任一项的方法,其中,第一放大率低于5倍,诸如小于2.5倍或者大约或低于1倍,诸如从约0.1倍到约0.5倍。
8.根据前述项中任一项的方法,其中,第二放大率为从约20倍到约100倍。
9.根据前述项中任一项的方法,其中,伪影选自灰尘、组织褶皱、胶、碎玻璃、染色点、错误的切割厚度、缺失的组织、组织中的孔、错误的笔/标记点组成的组。
10.根据前述项中任一项的方法,其中,组织标本选自人体组织、动物组织、植物组织或矿化组织的组织组成的组。
11.根据前述项中任一项的方法,其中,组织标本包括多个人类细胞。
12.根据项11的方法,其中,多个人类细胞包括一个或多个人类癌细胞。
13.根据前述项中任一项的方法,其中,组织标本包括选自由组织标本的外形、血管结构、神经结构、肌肉结构、细胞膜、切片中的空间、细胞、肺泡、颗粒或细胞核构成的组的一个或多个解剖结构。
14.根据前述项中任一项的方法,还包括使用计算机可读介质,该计算机可读介质中存储有用于使一个或多个处理器执行所述方法的步骤的指令。
15.一种用于训练用于评估组织载玻片的质量的深度学习模型的方法,该方法包括以下步骤:
a)提供多个组织标本的图像,每个标本布置在组织载玻片上,其中,每个组织载玻片包括至少一个伪影;
b)提供关于每个图像中的伪影的信息;
c)基于图像和相关伪影信息来训练深度学习模型。
16.根据项15的方法,其中,深度学习模型被训练为根据项1至14中任一项中限定地识别伪影。
17.根据前述项15至16中任一项的方法,其中,对深度学习模型的训练基于与第一图像相关联的训练注释,并且其中,将训练注释的结果与第一图像的伪影信息进行比较。
18.根据前述项15至17中任一项的方法,其中,深度学习模型被训练为识别苏木精和曙红染色的图像中的伪影信息。
19.一种深度学习模型,诸如卷积神经网络、循环神经网络或一般对抗网络,所述模型根据项15至18中任一项限定地训练为从标本的一部分的图像获得伪影信息。
20.一种用于训练深度学习模型的系统,包括用于存储指令的计算机可读存储装置,指令在由处理器执行时执行根据项15至18的用于训练深度学习模型以从图像获得伪影信息的任一方法。
21.一种用于分析多个组织载玻片的系统,包括用于存储指令的计算机可读存储装置,指令在由处理器执行时执行根据项1至14的任一方法。
22.根据项21的系统,包括用于自动拒绝包括可拒绝的伪影的载玻片的装置。
23.根据项21或22的系统,其中,第一放大率图像由扫描仪外部的相机获得。
24.一种用于根据项1至14的方法中的扫描仪,包括用于自动拒绝包括可拒绝的伪影的载玻片的装置。
Claims (17)
1.一种用于在线式过程中准备用于分析的多个组织载玻片图像的方法,所述方法包括:
a)提供具有组织标本的组织载玻片;
b)使用第一放大率获得所述载玻片上的所述组织标本的至少一部分的图像;以及
c)基于所述图像,通过使用被训练为识别一个或多个伪影的深度学习模型来确定具有组织的所述载玻片是否包括所述一个或多个伪影,所述一个或多个伪影是作为外来因素的结果的所述载玻片上的人为结构或组织变化;
d)基于c)中的所述确定并且还基于所述一个或多个伪影的位置和/或尺寸,如果所述载玻片包括可拒绝的伪影,则从所述线式过程去除所述载玻片,或者如果未确到可拒绝的伪影,则将所述载玻片分类为接受的载玻片;
e)使用第二放大率获得所述接受的载玻片上的所述组织标本的至少一部分的组织载玻片图像,所述第二放大率高于所述第一放大率,并且可选地使用进一步更高的放大率获得所述接受的载玻片上的所述组织标本的至少一部分的另外组织载玻片图像;
f)对于每个组织载玻片重复步骤a)至e),从而在所述线式过程中准备所述多个组织载玻片图像。
2.一种用于在线式过程中分析多个组织载玻片的方法,所述方法包括:
a)提供具有组织标本的组织载玻片;
b)使用第一放大率获得所述载玻片上的所述组织标本的至少一部分的图像;以及
c)基于所述图像,通过使用被训练为识别一个或多个伪影的深度学习模型来确定具有组织的所述载玻片是否包括所述一个或多个伪影,所述一个或多个伪影是作为外来因素的结果的所述载玻片上的人为结构或组织变化;
d)基于c)中的所述确定并且还基于所述一个或多个伪影的位置和/或尺寸,如果所述载玻片包括可拒绝的伪影,则从所述线式过程去除所述载玻片,或者如果未确定到可拒绝的伪影,则将所述载玻片分类为接受的载玻片;
e)使用第二放大率获得所述接受的载玻片上的所述组织标本的至少一部分的组织载玻片图像,所述第二放大率高于所述第一放大率,并且可选地使用进一步更高的放大率获得所述接受的载玻片上的所述组织标本的至少一部分的另外组织载玻片图像;
f)执行从所述接受的载玻片获得的所述组织载玻片图像的至少一部分的图像分析;
g)对于每个组织载玻片重复步骤a)至f),从而在所述线式过程中分析所述多个组织载玻片。
3.根据权利要求1或2所述的方法,其中,可拒绝的载玻片的去除自动执行。
4.根据权利要求2所述的方法,其中,在执行步骤f)之前对于所有组织载玻片执行所述步骤a)至e)。
5.根据前述权利要求中任一项所述的方法,其中,所述一个或多个伪影选自由灰尘、组织褶皱、胶、碎玻璃、染色点、错误的切割厚度、缺失的组织、组织中的孔、错误的笔/标记点构成的组。
6.根据前述权利要求中任一项所述的方法,其中,所述深度学习模型被训练为识别不同的伪影类型,例如组织褶皱、胶或所述组织中的孔。
7.根据前述权利要求中任一项所述的方法,其中,所述第一放大率低于5倍,例如小于2.5倍、或者大约或低于1倍,例如从约0.1倍到约0.5倍。
8.一种用于训练用于评估组织载玻片的质量的深度学习模型的方法,所述方法包括以下步骤:
a)提供多个组织标本的图像,每个标本布置在组织载玻片上,其中,每个所述组织载玻片包括至少一个伪影;
b)提供关于每个图像中的所述伪影的信息;
c)基于图像和关于所述伪影的所述信息来训练深度学习模型。
9.根据权利要求6所述的方法,其中,所述深度学习模型被训练为根据权利要求1至7中任一项中限定地识别伪影。
10.根据前述权利要求8至9中任一项所述的方法,其中,对所述深度学习模型的所述训练基于与第一图像相关联的训练注释,并且其中,将所述训练注释的结果与所述第一图像的所述伪影信息进行比较。
11.根据前述权利要求8至10中任一项所述的方法,其中,所述深度学习模型被训练为识别苏木精和曙红染色的图像中的伪影信息。
12.根据前述权利要求8至11中任一项所述的方法,其中,所述深度学习模型被训练为识别组织标本的图像中的伪影,所述图像具有低于5倍的放大率,例如小于2.5倍的放大率、或者具有大约或低于1倍的放大率,例如从约0.1倍到约0.5倍的放大率。
13.一种深度学习模型,例如卷积神经网络、循环神经网络或一般对抗网络,所述模型被训练为识别标本的一部分的图像中的伪影,其中,所述深度学习模型已根据权利要求7至11中任一项被训练。
14.一种用于训练深度学习模型的系统,包括用于存储指令的计算机可读存储装置,所述指令在由处理器执行时执行根据权利要求8至12所述的用于训练深度学习模型以从图像获得伪影信息的任一方法。
15.一种用于分析多个组织载玻片的系统,包括用于存储指令的计算机可读存储装置,所述指令在由处理器执行时执行根据权利要求1至7所述的任一方法。
16.根据权利要求15所述的系统,包括用于自动拒绝包括可拒绝的伪影的载玻片的装置。
17.根据权利要求15或16所述的系统,其中,所述第一放大率图像由所述扫描仪外部的相机获得。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19183338.3A EP3757872A1 (en) | 2019-06-28 | 2019-06-28 | Scanning/pre-scanning quality control of slides |
EP19183338.3 | 2019-06-28 | ||
PCT/EP2020/068037 WO2020260591A1 (en) | 2019-06-28 | 2020-06-26 | Scanning/pre-scanning quality control of slides |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114223016A true CN114223016A (zh) | 2022-03-22 |
Family
ID=67137685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080047225.6A Pending CN114223016A (zh) | 2019-06-28 | 2020-06-26 | 载玻片的扫描/预扫描质量控制 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220260825A1 (zh) |
EP (2) | EP3757872A1 (zh) |
CN (1) | CN114223016A (zh) |
WO (1) | WO2020260591A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024520354A (ja) * | 2021-05-21 | 2024-05-24 | ヴェンタナ メディカル システムズ, インク. | 病理組織画像におけるアーチファクトの自動セグメンテーション |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3251052A1 (en) * | 2015-01-31 | 2017-12-06 | Ventana Medical Systems, Inc. | Quality control of automated whole-slide analysis |
-
2019
- 2019-06-28 EP EP19183338.3A patent/EP3757872A1/en not_active Withdrawn
-
2020
- 2020-06-26 WO PCT/EP2020/068037 patent/WO2020260591A1/en unknown
- 2020-06-26 CN CN202080047225.6A patent/CN114223016A/zh active Pending
- 2020-06-26 EP EP20734549.7A patent/EP3991088A1/en active Pending
- 2020-06-26 US US17/623,090 patent/US20220260825A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3757872A1 (en) | 2020-12-30 |
WO2020260591A1 (en) | 2020-12-30 |
EP3991088A1 (en) | 2022-05-04 |
US20220260825A1 (en) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9684960B2 (en) | Automated histological diagnosis of bacterial infection using image analysis | |
US11226280B2 (en) | Automated slide assessments and tracking in digital microscopy | |
US9355445B2 (en) | Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program | |
CN106462767B (zh) | 用于处理和分析图像的检查设备 | |
US8326014B2 (en) | Methods and systems for processing biological specimens utilizing multiple wavelengths | |
EP1680757A1 (en) | Automated microspcope slide tissue sample mapping and image acquisition | |
EP1402461A1 (en) | Automated scanning method for pathology samples | |
CN110140040A (zh) | 自动化的组织切割仪器及其使用方法 | |
US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
JP4864709B2 (ja) | 分散プロット分布を用いてスライドの染色品質を決定するシステム | |
US20090304244A1 (en) | Method and a system for presenting sections of a histological specimen | |
JP4897488B2 (ja) | 分散プロット分布を用いてスライドを分類するシステム | |
US20220260825A1 (en) | Scanning/pre-scanning quality control of slides | |
CN112512426A (zh) | 基于图像分析的骨髓读取支助装置 | |
JP3654835B2 (ja) | 検体の下調べ機能を備えた検査体系 | |
JPH0694706A (ja) | 病理画像検査支援装置 | |
CN114299044A (zh) | 一种判读淋巴细胞的方法及装置 | |
AU2012244307A1 (en) | Methods and systems for processing biological specimens utilizing multiple wavelengths |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |