CN111369553A - 一种样本玻片扫描和图像处理方法及数字显微镜系统 - Google Patents
一种样本玻片扫描和图像处理方法及数字显微镜系统 Download PDFInfo
- Publication number
- CN111369553A CN111369553A CN202010179202.2A CN202010179202A CN111369553A CN 111369553 A CN111369553 A CN 111369553A CN 202010179202 A CN202010179202 A CN 202010179202A CN 111369553 A CN111369553 A CN 111369553A
- Authority
- CN
- China
- Prior art keywords
- image
- sample slide
- area
- microscopic
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000004043 dyeing Methods 0.000 claims abstract description 54
- 238000010186 staining Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000003321 amplification Effects 0.000 claims abstract description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 9
- 238000003745 diagnosis Methods 0.000 claims description 63
- 238000013528 artificial neural network Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 30
- 238000013135 deep learning Methods 0.000 claims description 23
- 238000010191 image analysis Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000010827 pathological analysis Methods 0.000 abstract description 6
- 238000003709 image segmentation Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000052769 pathogen Species 0.000 description 2
- 230000001717 pathogenic effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提供一种样本玻片扫描和图像处理方法及数字显微镜系统。所述方法包括：拍摄得到样本玻片整体图像，所述样本玻片整体图像是未经显微放大的样本玻片照片，由第一拍摄装置对样本玻片直接拍摄得到；将所述样本玻片整体图像输入染色区域识别模块，识别得到所述样本玻片的染色区域；对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，得到染色区域各位置对应的局部显微图像，所述局部显微图像由连接于显微镜镜筒的第二拍摄装置拍摄得到；将所述染色区域各位置对应的局部显微图像输入图像拼接模块，拼接得到染色区域显微图像。本发明避免了对样本玻片非染色区域的扫描，更快速的得到染色区域的显微图像，提高了病理诊断效率。
Description
技术领域
本发明涉及医学样本玻片扫描和图像处理技术领域，尤其涉及一种样本玻片扫描和图像处理方法及数字显微镜系统。
背景技术
在医学病理学检查中，需要取一定量的病变组织作为样本，用病理学方法制成样本玻片，用显微镜进一步检查病变以做出诊断。在制作样本玻片过程中通常要对样本进行染色，以便对样本更清楚的观察并做出诊断。
随着数字显微镜技术的发展，现有技术可以使用样本玻片扫描的方式对样本玻片进行全面扫描，既在显微镜的放大下依次拍摄样本玻片各个局部位置的显微图像，并拼接得到完整的病理显微大图，病理学医生通过显示器观察病理图像并做出诊断。
近年来，随着病理筛查和诊断的需要，医院需要检查的样本数量迅速增长，病理学诊断仍存在医疗资源紧张的问题，样本玻片扫描速度和诊断效率有待进一步提高。
发明内容
以提高样本玻片扫描速度和病理诊断效率为目的，本发明提供一种样本玻片扫描和图像处理方法及数字显微镜系统。
本发明提供一种样本玻片扫描和图像处理方法，包括：拍摄得到样本玻片整体图像，所述样本玻片整体图像是未经显微放大的样本玻片照片，由第一拍摄装置对样本玻片直接拍摄得到；将所述样本玻片整体图像输入染色区域识别模块，识别得到所述样本玻片的染色区域；对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，得到染色区域各位置对应的局部显微图像，所述局部显微图像由连接于显微镜镜筒的第二拍摄装置拍摄得到；将所述染色区域各位置对应的局部显微图像输入图像拼接模块，拼接得到染色区域显微图像。
可选地，所述第一拍摄装置配置有照明装置，所述样本玻片整体图像在所述照明装置的照明下拍摄得到。
可选地，所述方法还包括：将所述染色区域显微图像输入深度学习辅助诊断模块进行图像分析，得到染色区域显微图像的辅助诊断结果。
可选地，所述方法还包括：在依次对染色区域各位置对应的局部显微图像拍摄过程中，实时将拍摄得到的所述局部显微图像输入深度学习辅助诊断模块进行图像分析，得到各局部显微图像的辅助诊断结果；根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。
可选地，所述辅助诊断结果包括对特定疾病的阴阳性分类结果或对图像中的病灶区域检测结果。
可选地，所述辅助诊断结果是对所述局部显微图像的阴阳性分类；在依次对各局部显微图像进行图像分析的过程中，若出现阳性分类，实时进行提示。
可选地，所述染色区域识别模块包括训练后的神经网络目标检测器或/和训练后的神经网络分割器。
可选地，所述将所述样本玻片整体图像输入染色区域识别模块，识别得到所述样本玻片的染色区域，具体步骤包括：将所述样本玻片整体图像输入所述训练后的神经网络目标检测器进行目标检测，得到染色区域目标检测结果；将所述样本玻片整体图像输入所述训练后的神经网络分割器进行图像分割，得到染色区域分割结果。
可选地，所述对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，具体步骤包括：对染色区域目标检测结果的范围进行平均划分得到多个拍摄焦点；判断各拍摄焦点是否在染色区域分割结果范围内；根据染色区域分割结果范围内的各拍摄焦点得到染色区域的焦平面；根据所述染色区域的焦平面，依次进行显微放大拍摄得到染色区域各位置的局部显微图像。
本发明还提供一种数字显微镜系统，其特征在于，包括：可移动载物台，用于承载样本玻片；镜筒，配置有物镜和目镜，用于对样本玻片进行显微放大；第一拍摄装置，用于对样本玻片直接拍摄得到未经显微放大的样本玻片整体图像；第二拍摄装置，连接于所述镜筒，用于拍摄得到样本玻片染色区域的显微放大后的局部显微图像；控制模块，用于控制载物台的移动及第一拍摄装置和第二拍摄装置的拍摄；计算单元，配置有染色区域识别模块和图像拼接模块；所述染色区域识别模块配置为识别得到所述样本玻片的染色区域；所述图像拼接模块配置为将所述染色区域各位置对应的局部显微图像拼接得到染色区域显微图像。
可选地，所述计算单元还配置有深度学习辅助诊断模块；用于对所述染色区域显微图像或局部显微图像进行图像分析得到辅助诊断结果。
可选地，所述深度学习辅助诊断模块还用于根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。
可选地，数字显微镜系统还包括输出显示装置，用于输出显示所述染色区域显微图像和/或所述辅助诊断结果。
可选地，在依次对各局部显微图像进行图像分析的过程中，若出现阳性分类，所述输出显示装置实时进行提示。
本发明通过先使用第一拍摄装置拍摄样本玻片整体图像，并使用染色区域识别模块识别样本玻片中的染色区域，使用连接于显微镜镜筒的第二拍摄装置结合载物台的移动仅对染色区域进行扫描，得到染色区域各位置对应的局部显微图像，并拼接得到完整的染色区域显微图像。本发明避免了对样本玻片非染色区域(样本玻片中没有样本的区域)的扫描，更快速的得到染色区域的显微图像，提高了病理诊断效率。
附图说明
图1是一种样本玻片扫描和图像处理方法实施例流程图。
图2是另一种样本玻片扫描和图像处理方法实施例流程图。
图3是一个样本玻片整体图像及染色区域识别示意图。
图4是一种数字显微镜系统实施例示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本实施例的目的在于提供一种样本玻片扫描和图像处理方法及数字显微镜系统，以提高样本玻片扫描速度和病理诊断效率为目的。
以下将详细阐述本实施例的样本玻片扫描和图像处理方法及数字显微镜系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的样本玻片扫描和图像处理方法及数字显微镜系统。
如图1所示，是本发明一种样本玻片扫描和图像处理方法实施例。在本事实例中，首先进行样本玻片扫描，包括以下具体步骤。
步骤S100，拍摄得到样本玻片整体图像。拍摄得到的样本玻片整体图像如图3-a所示。本事实例中，样本玻片整体图像是未经显微放大的样本玻片照片，由配置于显微镜上的第一拍摄装置对样本玻片直接拍摄得到。在一些实施例中，为了拍摄获得更清晰的样本玻片整体图像，第一拍摄装置配置有照明装置，所述样本玻片整体图像在所述照明装置的照明下拍摄得到。
步骤S200，将样本玻片整体图像输入染色区域识别模块，识别得到样本玻片的染色区域。在本实施例中，染色区域识别模块包括一个或多个经过训练的神经网络模型。本事实例中的神经网络模型，既可以是目标检测神经网络，也可以是图像分割神经网络，还可以是目标检测神经网络和图像分割神经网络的结合。这里的目标检测神经网络包括但不限于SSD目标检测神经网络，YOLO目标检测神经网络，Fast-RCNN目标检测神经网络等。这里的图像分割神经网络包括但不限于FCN图像分割神经网络，R-CNN图像分割神经网络等。
在一个实施例中，染色区域识别模块包括一个经过训练的目标检测神经网络。将第一拍摄装置拍摄到的样本玻片整体图像输入到训练过的目标检测器，输出的目标检测结果为样本玻片整体图像中包含染色区域的一个矩形区域，如图3-b所示。
在一个实施例中，染色区域识别模块包括一个经过训练的图像分割神经网络。将第一拍摄装置拍摄到的样本玻片整体图像输入到训练过的图像分割器，输出的分割结果是对样本玻片整体图像中的染色区域的分割，是一个根据染色区域的形状而确定的不规则形状区域，如图3-c所示。
在一个实施例中，染色区域识别模块包括一个经过训练的目标检测神经网络和一个经过训练的图像分割神经网络。先将样本玻片整体图像输入所述训练后的神经网络目标检测器进行目标检测，得到染色区域目标检测结果；再将所述样本玻片整体图像输入所述训练后的神经网络分割器进行图像分割，得到染色区域分割结果。
步骤S300，对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，得到染色区域各位置对应的局部显微图像。该依次拍摄的过程也就是通常说的显微图像扫描，由载物台承载样本玻片进行移动，每移动一个位置拍摄装置拍摄一次，直到将目标区域全部拍摄完成。在该步骤中，局部显微图像由连接于显微镜镜筒的第二拍摄装置拍摄得到，得到的图像是经过显微镜放大后的图像。
为了减少对不必要的位置的拍摄，仅对步骤S200识别到的样本玻片中的染色区域进行拍摄。若步骤S200使用目标检测神经网络进行目标检测识别，识别到的染色区域是一个包含了染色组织的矩形区域，则在执行S300步骤时对目标检测神经网络识别到的矩形区域进行扫描。若步骤S200使用图像分割神经网络进行识别，识别到的染色区域是染色组织所在的不规则区域，则在执行S300步骤时对图像分割神经网络识别到的不规则区域进行扫描。
在一个实施例中，步骤S200使用的染色区域识别模块包括一个经过训练的目标检测神经网络和一个经过训练的图像分割神经网络，则在执行S300步骤时，对样本玻片的染色区域的各位置依次进行显微放大拍摄的具体步骤包括：步骤S301，对染色区域目标检测结果的范围进行平均划分得到多个拍摄焦点；步骤S302，判断各拍摄焦点是否在染色区域分割结果范围内；步骤S303，根据染色区域分割结果范围内的各拍摄焦点得到染色区域的焦平面；步骤S304，根据所述染色区域的焦平面，依次进行显微放大拍摄得到染色区域各位置的局部显微图像。
步骤S400，将所述染色区域各位置对应的局部显微图像输入图像拼接模块，拼接得到染色区域显微图像。
步骤S500，将所述染色区域显微图像输入深度学习辅助诊断模块进行图像分析，得到染色区域显微图像的辅助诊断结果。在一些实施例中，深度学习辅助诊断模块包括训练过的神经网络分类器，神经网络分类器可以是RESNET、VGGNET、INCEPTION等神经网络模型，得到的辅助诊断结果包括对特定疾病的阴阳性分类结果。在一些实施例中，深度学习辅助诊断模块包括训练过的目标检测神经网络或图像分割神经网络，得到的辅助诊断结果包括对图像中的病灶(例如病变细胞、癌变细胞、病原体等)的检测或分割。在一些实施例中，深度学习辅助诊断模块既包括分类神经网络，也包括目标检测或分割神经网络。
在一个实施例中，训练过的神经网络分类器通过以下方式训练得到：将已经标注有分类信息的显微图像作为训练数据输入到神经网络分类器进行训练，所述神经网络分类器由卷积层、池化层、归一化层组成，训练所述神经网络分类器的损失函数为：
其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络分类器的分类准确率更高。
图2是本发明提供的样本玻片扫描和图像处理方法另一实施例。该实施例中的步骤S100、S200、S300与前述实施例相同，这里不再赘述。
步骤S600，在执行步骤S300的过程中，实时将拍摄到的局部显微图像输入深度学习辅助诊断模块进行图像分析，得到各局部显微图像的辅助诊断结果。
深度学习辅助诊断模块实时获取局部显微图像，并将局部显微图像输入到训练后的神经网络模型进行分析，得到对局部显微图像的辅助诊断结果。在本事实例中，将拍摄到的局部显微图像传输给深度学习辅助诊断模块102应该是实时的，这里的实时传输应该理解为，拍摄样本的过程中已经开始将图像数据传输给深度学习辅助诊断模块。在一个实例中，每拍摄一个局部显微图像立即传输给深度学习辅助诊断模块，得到对局部显微图像的辅助诊断结果。在一些实施例中，深度学习辅助诊断模块包括训练过的神经网络分类器，神经网络分类器可以是RESNET、VGGNET、INCEPTION等神经网络模型，得到的辅助诊断结果包括对特定疾病的阴阳性分类结果。在一些实施例中，深度学习辅助诊断模块包括训练过的目标检测神经网络或图像分割神经网络，得到的辅助诊断结果包括对图像中的病灶(例如病变细胞、癌变细胞、病原体等)的检测或分割。在一些实施例中，深度学习辅助诊断模块既包括分类神经网络，也包括目标检测或分割神经网络。
步骤S700，根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。本步骤是对步骤S600得到的各个局部显微图像的辅助诊断结果的汇总。在一个实施例中，S600得到的辅助诊断结果为对于特定疾病的阴阳性分类结果，步骤S700将所有局部显微图像的分类结果汇总，若存在阳性结果或阳性结果数目大于设定的阈值，则得到染色区域显微图像的辅助诊断结果为阳性。
本实施例的有益效果在于，在图像扫描的过程中实时进行图像辅助诊断，进一步提高了深度学习辅助诊断模块对显微图像进行辅助诊断的效率。
如图4所示，为实现本发明记载的样本玻片扫描和图像处理方法，还提供一种数字显微镜系统的实施例。
在一个实施例中，数字显微镜系统包括：可移动载物台10，用于承载样本玻片；镜筒20，配置有物镜和目镜，用于对样本玻片进行显微放大；第一拍摄装置30，用于对样本玻片直接拍摄得到未经显微放大的样本玻片整体图像；第二拍摄装置40，连接于所述镜筒，用于拍摄得到样本玻片染色区域的显微放大后的局部显微图像；控制模块50，用于控制载物台的移动及第一拍摄装置和第二拍摄装置的拍摄；计算单元60，配置有染色区域识别模块和图像拼接模块；所述染色区域识别模块配置为识别得到所述样本玻片的染色区域；所述图像拼接模块配置为将所述染色区域各位置对应的局部显微图像拼接得到染色区域显微图像。
在执行样本玻片扫描时，先由第一拍摄装置30对样本玻片进行拍摄，得到样本玻片整体图像并发送给计算单元60；由计算单元60中的染色区域识别模块识别到样本玻片的染色区域；在控制单元50的控制下，可移动载物台10承载样本玻片移动到相应位置，使第二拍摄装置40可以通过镜筒20拍摄到样本玻片的染色区域位置的局部显微图像；在控制单元50的控制下，可移动载物台10与第二拍摄装置40相对位置移动，第二拍摄装置依次拍摄染色区域各个位置的局部显微图像并发送给计算单元60；计算单元60将各个位置的局部显微图像拼接得到整体染色区域显微图像。本领域技术人员可以理解的，本实施例中的计算单元60和控制单元50可以是同一计算机系统中的不同功能模块，也可以是不同的计算机系统。
在一个实施例中，计算单元60还配置有深度学习辅助诊断模块，用于对所述染色区域显微图像或局部显微图像进行图像分析得到辅助诊断结果。在一个实施例中，深度学习辅助诊断模块还用于根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。
在一个实施例中，数字显微镜系统还包括输出显示装置，用于输出显示所述染色区域显微图像和/或所述辅助诊断结果。
综上所述，本发明通过先使用第一拍摄装置拍摄样本玻片整体图像，并使用染色区域识别模块识别样本玻片中的染色区域，使用连接于显微镜镜筒的第二拍摄装置结合载物台的移动仅对染色区域进行扫描，得到染色区域各位置对应的局部显微图像，并拼接得到完整的染色区域显微图像。本发明避免了对样本玻片非染色区域(样本玻片中没有样本的区域)的扫描，更快速的得到染色区域的显微图像，提高了病理诊断效率。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (13)
1.一种样本玻片扫描和图像处理方法，其特征在于，包括：
拍摄得到样本玻片整体图像，所述样本玻片整体图像是未经显微放大的样本玻片照片，由第一拍摄装置对样本玻片直接拍摄得到；
将所述样本玻片整体图像输入染色区域识别模块，识别得到所述样本玻片的染色区域；
对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，得到染色区域各位置对应的局部显微图像，所述局部显微图像由连接于显微镜镜筒的第二拍摄装置拍摄得到；
将所述染色区域各位置对应的局部显微图像输入图像拼接模块，拼接得到染色区域显微图像。
2.根据权利要求1所述的样本玻片扫描和图像处理方法，其特征在于，所述第一拍摄装置配置有照明装置，所述样本玻片整体图像在所述照明装置的照明下拍摄得到。
3.根据权利要求1所述的样本玻片扫描和图像处理方法，其特征在于，所述方法还包括：
将所述染色区域显微图像输入深度学习辅助诊断模块进行图像分析，得到染色区域显微图像的辅助诊断结果。
4.根据权利要求1所述的样本玻片扫描和图像处理方法，其特征在于，所述方法还包括：
在依次对染色区域各位置对应的局部显微图像拍摄过程中，实时将拍摄得到的所述局部显微图像输入深度学习辅助诊断模块进行图像分析，得到各局部显微图像的辅助诊断结果；
根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。
5.根据权利要求3或4所述的样本玻片扫描和图像处理方法，其特征在于，所述辅助诊断结果包括对特定疾病的阴阳性分类结果或对图像中的病灶区域检测结果。
6.根据权利要求1所述的样本玻片扫描和图像处理方法，其特征在于，所述辅助诊断结果是对所述局部显微图像的阴阳性分类；
在依次对各局部显微图像进行图像分析的过程中，若出现阳性分类，实时进行提示。
7.根据权利要求1所述的样本玻片扫描和图像处理方法，其特征在于，所述染色区域识别模块包括训练后的神经网络目标检测器或/和训练后的神经网络分割器。
8.根据权利要求7所述的样本玻片扫描和图像处理方法，其特征在于，所述将所述样本玻片整体图像输入染色区域识别模块，识别得到所述样本玻片的染色区域，具体步骤包括：
将所述样本玻片整体图像输入所述训练后的神经网络目标检测器进行目标检测，得到染色区域目标检测结果；
将所述样本玻片整体图像输入所述训练后的神经网络分割器进行图像分割，得到染色区域分割结果。
9.根据权利要求8所述的样本玻片扫描和图像处理方法，其特征在于，所述对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，具体步骤包括：
对染色区域目标检测结果的范围进行平均划分得到多个拍摄焦点；
判断各拍摄焦点是否在染色区域分割结果范围内；
根据染色区域分割结果范围内的各拍摄焦点得到染色区域的焦平面；
根据所述染色区域的焦平面，依次进行显微放大拍摄得到染色区域各位置的局部显微图像。
10.一种数字显微镜系统，其特征在于，包括：
可移动载物台，用于承载样本玻片；
镜筒，配置有物镜和目镜，用于对样本玻片进行显微放大；
第一拍摄装置，用于对样本玻片直接拍摄得到未经显微放大的样本玻片整体图像；
第二拍摄装置，连接于所述镜筒，用于拍摄得到样本玻片染色区域的显微放大后的局部显微图像；
控制模块，用于控制载物台的移动及第一拍摄装置和第二拍摄装置的拍摄；
计算单元，配置有染色区域识别模块和图像拼接模块；所述染色区域识别模块配置为识别得到所述样本玻片的染色区域；所述图像拼接模块配置为将所述染色区域各位置对应的局部显微图像拼接得到染色区域显微图像。
11.根据权利要求10所述的数字显微镜系统，其特征在于，所述计算单元还配置有深度学习辅助诊断模块；用于对所述染色区域显微图像或局部显微图像进行图像分析得到辅助诊断结果。
12.根据权利要求11所述的数字显微镜系统，其特征在于，所述深度学习辅助诊断模块还用于根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。
13.根据权利要求10至12任意一项所述的数字显微镜系统，其特征在于，还包括输出显示装置，用于输出显示所述染色区域显微图像和/或所述辅助诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010179202.2A CN111369553A (zh) | 2020-03-13 | 2020-03-13 | 一种样本玻片扫描和图像处理方法及数字显微镜系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010179202.2A CN111369553A (zh) | 2020-03-13 | 2020-03-13 | 一种样本玻片扫描和图像处理方法及数字显微镜系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111369553A true CN111369553A (zh) | 2020-07-03 |
Family
ID=71211836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010179202.2A Pending CN111369553A (zh) | 2020-03-13 | 2020-03-13 | 一种样本玻片扫描和图像处理方法及数字显微镜系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369553A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344928A (zh) * | 2021-08-06 | 2021-09-03 | 深圳市瑞图生物技术有限公司 | 模型的训练及使用方法、装置、检测仪、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204188877U (zh) * | 2014-08-15 | 2015-03-04 | 杭州卓腾信息技术有限公司 | 基于光刻玻片的显微图像的全景扫描装置 |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| US20190340468A1 (en) * | 2018-05-07 | 2019-11-07 | Google Llc | Focus-Weighted, Machine Learning Disease Classifier Error Prediction for Microscope Slide Images |
| CN110727097A (zh) * | 2019-12-19 | 2020-01-24 | 上海兰脉信息科技有限公司 | 一种病理显微图像实时采集分析系统、方法、装置及介质 |
-
2020
- 2020-03-13 CN CN202010179202.2A patent/CN111369553A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204188877U (zh) * | 2014-08-15 | 2015-03-04 | 杭州卓腾信息技术有限公司 | 基于光刻玻片的显微图像的全景扫描装置 |
| US20190340468A1 (en) * | 2018-05-07 | 2019-11-07 | Google Llc | Focus-Weighted, Machine Learning Disease Classifier Error Prediction for Microscope Slide Images |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| CN110727097A (zh) * | 2019-12-19 | 2020-01-24 | 上海兰脉信息科技有限公司 | 一种病理显微图像实时采集分析系统、方法、装置及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344928A (zh) * | 2021-08-06 | 2021-09-03 | 深圳市瑞图生物技术有限公司 | 模型的训练及使用方法、装置、检测仪、存储介质 |
| CN113344928B (zh) * | 2021-08-06 | 2021-12-07 | 深圳市瑞图生物技术有限公司 | 模型的训练及使用方法、装置、检测仪、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111474701B (zh) | 一种病理显微图像实时采集分析系统、方法、装置及介质 | |
| US9684960B2 (en) | Automated histological diagnosis of bacterial infection using image analysis | |
| CN110007455B (zh) | 病理显微镜、显示模组、控制方法、装置及存储介质 | |
| JP6453298B2 (ja) | 細胞診標本を観察および解析するためのシステムおよび方法 | |
| CN111275016B (zh) | 一种玻片扫描影像采集与分析方法及装置 | |
| WO2020018154A1 (en) | Method and system for digital staining of label-free phase images using deep learning | |
| JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
| CN111489833A (zh) | 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质 | |
| CN110736748A (zh) | 免疫组化核浆染色切片诊断方法及系统 | |
| JP2024019639A (ja) | 顕微鏡システム、プログラム、及び、投影画像生成方法 | |
| KR102122068B1 (ko) | 이미지 분석 시스템 및 분석 방법 | |
| JP2013050713A (ja) | 合焦位置を決定する方法及びビジョン検査システム | |
| US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
| WO2022036086A1 (en) | Machine learning models for cell localization and classification learned using repel coding | |
| Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
| Chen et al. | Microscope 2.0: an augmented reality microscope with real-time artificial intelligence integration | |
| JP2015114172A (ja) | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
| Yang et al. | Parasite detection in thick blood smears based on customized faster-RCNN on smartphones | |
| CN111369553A (zh) | 一种样本玻片扫描和图像处理方法及数字显微镜系统 | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| CN111134735A (zh) | 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质 | |
| CN114518362A (zh) | 精子质量分析装置、系统、方法及可读存储介质 | |
| CN112070887A (zh) | 一种基于深度学习的全切片数字成像景深扩展法 | |
| JP2019013461A (ja) | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 | |
| CN112053304A (zh) | 一种全切片数字成像单次拍照快速准焦复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |