CN114399764A - 一种病理切片的扫描方法及系统 - Google Patents

一种病理切片的扫描方法及系统 Download PDF

Info

Publication number
CN114399764A
CN114399764A CN202111644956.1A CN202111644956A CN114399764A CN 114399764 A CN114399764 A CN 114399764A CN 202111644956 A CN202111644956 A CN 202111644956A CN 114399764 A CN114399764 A CN 114399764A
Authority
CN
China
Prior art keywords
region
detection model
scanning
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111644956.1A
Other languages
English (en)
Inventor
刘炳宪
谢菊元
王焱辉
王克惠
黄涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konfoong Biotech International Co Ltd
Original Assignee
Konfoong Biotech International Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konfoong Biotech International Co Ltd filed Critical Konfoong Biotech International Co Ltd
Priority to CN202111644956.1A priority Critical patent/CN114399764A/zh
Publication of CN114399764A publication Critical patent/CN114399764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及医学显微成像技术领域，具体涉及一种病理切片的扫描方法及系统，包括：步骤S1：获取一病理切片，对所述病理切片进行扫描以生成预览图；步骤S2：对所述预览图进行图像识别以获取一组织区域；步骤S3：对所述病理切片中的所述组织区域部分进行再次扫查，以输出扫描结果。本发明的有益效果在于：通过设置目标检测模型实现了对组织中掩膜区域的准确识别，避免了现有技术中对特定染色形成的病理切片图像无法准确提取其组织区域的问题，实现了对病理切片更为准确的检测，进而生成更为准确的切片图像。

Description

一种病理切片的扫描方法及系统
技术领域
本发明涉及医学显微成像技术领域，具体涉及一种病理切片的扫描方法及系统。
背景技术
病理切片，指病理检查中所采用的一种检材。通常情况下，病理切片检查是取一定大小的病变组织，用病理组织学方法制成病理切片，随后在光学显微技术下进一步检查病变组织特征，以探究病变组织的医学原理的检测技术。比如，将病变组织包埋在石蜡块里，用切片机切成薄片，再用苏木精－伊红(H-E)染色，以使得特定的病变组织在显微影像下成像清楚。病理切片扫描仪，指基于数字图像技术的切片检查设备，其用于对病理切片采集、存储其显微图像，以供医学诊断或科研使用。通常情况下，该类扫描仪内集成一光学显微设备和一数字光学成像设备，其用于将病理切片进行光学放大并拍摄其数字图像。
现有技术中，为实现对数字图像较好的采集效果，通常会对病理切片进行预先扫描，通过预先扫描判断组织在图像中的位置，随后再对实际的组织区域进行扫描。但是，在实际实施过程中，发明人发现，现有的对组织的识别方法，诸如背景差分、组织区域颜色特征、组织区域形状特征等容易受杂质、光照条件改变等因素的影响，其中背景差分需要在空白图发生明显变化时及时更新，而且不能避免杂质的影响。IHC切片颜色一般比较淡，容易受杂质影响导致图像处理二值化时无法有效提取。
发明内容
针对现有技术中存在的上述问题，现提供一种病理切片的扫描方法及系统。
具体技术方案如下：
一种病理切片的扫描方法，包括：
步骤S1：获取一病理切片，对所述病理切片进行扫描以生成预览图；
步骤S2：对所述预览图进行图像识别以获取一组织区域；
步骤S3：对所述病理切片中的所述组织区域部分进行再次扫查，以输出扫描结果。
优选地，所述步骤S2包括：
步骤S21：采用一预先建立的目标检测模型对所述预览图进行识别，生成至少一个掩膜区域；
步骤S22：对所述掩膜区域进行连通域筛选，以输出所述组织区域。
优选地，所述目标检测模型包括：
残差层，所述残差层接收所述预览图，所述残差层对所述预览图进行预处理；
特征提取层，所述特征提取层连接所述残差层，所述特征提取层对预处理后的所述预览图提取图像特征；
分类层，所述分类层连接所述特征提取层，所述分类层根据所述图像特征生成每个所述掩膜区域的区域类别；
预测层，所述预测层连接所述特征提取层，所述预测层根据所述图像特征生成所述掩膜区域。
优选地，所述目标检测模型的训练方法包括：
步骤A1：获取多幅对应于所述区域类别的训练切片，对所述训练切片进行标注以生成标注切片；
步骤A2：对所述标注切片进行图像处理以生成训练集；
步骤A3：对所述训练集进行格式转换并输入所述目标检测模型，以完成训练过程。
优选地，所述区域类别包括：苏木精-伊红染色区域、免疫组织化学染色区域和液基细胞染色区域中的至少一种。
优选地，所述步骤S21包括：
步骤S211：将所述预览图输入所述目标检测模型，所述目标检测模型对所述预览图进行识别并分别输出所述掩膜区域，以及对应于所述掩膜区域的所述区域类别；
步骤S212：根据所述区域类别对所述掩膜区域进行合并以生成新的所述掩膜区域。
优选地，所述训练方法于所述步骤A3之后还包括：
步骤A4：采用所述目标检测模型对所述训练切片进行识别，输出所述区域类别，根据所述标注切片判断所述区域类别是否符合要求；
若是，表明目标检测模型训练成功，输出所述目标检测模型；
若否，表明目标检测模型训练不成功，返回所述步骤A1。
一种病理切片的扫描系统，包括：
扫描仪，所述扫描仪对所述病理切片进行扫描以生成扫描图像；
存储器，所述存储器中存储有预先生成的计算机指令；
处理器，所述处理器连接所述存储器和所述扫描仪，所述处理器运行所述计算机指令以执行上述的扫描方法。
上述技术方案具有如下优点或有益效果：通过设置目标检测模型实现了对组织中掩膜区域的准确识别，避免了现有技术中对特定染色形成的病理切片图像无法准确提取其组织区域的问题，实现了对病理切片更为准确的检测，进而生成更为准确的切片图像。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明实施例的整体示意图；
图2为本发明实施例中步骤S2子步骤示意图；
图3为本发明实施例中目标检测模型示意图；
图4为本发明实施例中目标检测模型训练方法示意图；
图5为本发明实施例中步骤S21子步骤示意图；
图6为本发明另一实施例中目标检测模型训练方法示意图；
图7为本发明实施例中扫描系统原理框图；
图8为本发明实施例中扫描系统对苏木精-伊红染色切片的识别结果；
图9为本发明实施例中扫描系统对免疫组织化学染色切片的识别结果；
图10为本发明实施例中扫描系统对液基细胞染色切片的识别结果。
图11为现有技术对染色切片的识别结果。
图12为现有技术对浅色染色切片的识别结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明包括：
一种病理切片的扫描方法，如图1所示包括：
步骤S1：获取一病理切片，对病理切片进行扫描以生成预览图；
步骤S2：对预览图进行图像识别以获取一组织区域；
步骤S3：对病理切片中的组织区域部分进行再次扫查，以输出扫描结果。
具体地，针对现有技术中对特定染色方法形成的病理切片，无法准确辨认出组织区域部分的问题，本发明通过提供一种目标检测模型实现了对图像中组织区域部分的特征提取，并预测出特定组织区域在图像中的位置，便于根据组织区域的位置进行再次扫查，以获得更为准确的扫描图像。
在一种较优的实施例中，如图2所示，步骤S2包括：
步骤S21：采用一预先建立的目标检测模型对预览图进行识别，生成至少一个掩膜区域；
步骤S22：对掩膜区域进行连通域筛选，以输出组织区域。
具体地，针对现有技术中容易受到杂质干扰，进而无法准确识别出特定的组织区域的问题，本实施例中通过连通域检测实现了对干扰因素的排除，进而准确地判断出需要再次扫查的组织区域，以获得更为准确的扫描图像。
在实施过程中，掩膜区域为目标检测模型自预览图中分离出的目标框选区域。连通域指由掩膜区域标记出的前景像素之间组成的连通域。通过连通域分析可以判断出掩膜区域的面积大小，并根据对应于组织类型的一预设阈值进行筛选，即可将无关的、面积较小的杂质筛选掉，进而保留实际需要扫查的组织区域。
在一种较优的实施例中，如图3所示，目标检测模型包括：
残差层1，残差层1接收预览图，残差层1对预览图进行预处理；
特征提取层2，特征提取层2连接残差层1，特征提取层2对预处理后的预览图提取图像特征；
分类层3，分类层3连接特征提取层2，分类层3根据图像特征生成每个掩膜区域的区域类别；
预测层4，预测层4连接特征提取层2，预测层4根据图像特征生成掩膜区域。
具体地，针对现有技术中无法准确识别出组织区域的问题，本实施例中通过设置目标检测模型实现了对图像中的特征信息的有效提取，并结合特征信息中的位置特征实现了对组织区域较好的检测效果。
在实施过程中，残差层1包括一深度残差网络，其中设置有多个串联的剩余单元。每个剩余单元中均包括一对并行的卷积网络和捷径(shortcut)。在每个剩余单元中，均通过卷积网络对预览图进行初步的特征提取，并结合捷径输入的浅层特征，即该级剩余单元的输入数据进行相加处理，随后输入下一级剩余单元，从而实现了对上级数据的部分保留，避免了网络退化的问题。在一实施例中，残差层1被设置为ResNet34网络。
特征提取层2包括一特征金字塔网络，该特征金字塔网络依次对图像进行特征提取、上采样及特征融合，进而实现自预览图中提取得到对应于组织区域的图像特征，图像特征中还包含有位置信息，进而实现了组织区域于图像中位置的直接提取，缩短了识别时长。在一实施例中，特征提取层2被设置为FPN特征金字塔网络。
在一种较优的实施例中，如图4所示，目标检测模型的训练方法包括：
步骤A1：获取多幅对应于区域类别的训练切片，对训练切片进行标注以生成标注切片；
步骤A2：对标注切片进行图像处理以生成训练集；
步骤A3：对训练集进行格式转换并输入目标检测模型，以完成训练过程。
在实施过程中，训练切片为对应于待识别的病理切片的切片图像，其通过人工标注的方式生成每个切片图像中的组织区域，及该组织区域的区域类别。为实现较好的训练效果，针对每一个区域类别的训练切片的数量应当尽可能多，比如在一实施例中，数量为1000。同时，为实现对训练集的有效扩充，在步骤A2中，针对每张标注切片还对其进行平移、旋转、缩放、镜像、裁切等一系列操作中的一种或多种，以实现对训练集的有效扩充。进一步地，为实现较快的训练速度，于步骤A3中，训练集选用了COCO数据集格式并打包形成一JSON文件以便于进行模型训练。
在一种较优的实施例中，区域类别包括：苏木精-伊红染色区域、免疫组织化学染色区域和液基细胞染色区域中的至少一种。
具体地，针对现有技术中，对于上述染色方法形成的组织区域难以识别的问题，本实施例中通过选择上述区域作为训练集对目标检测模型进行训练，进而实现了对上述类型染色形成的病理切片较好的识别效果。
在一种较优的实施例中，如图5所示，步骤S21包括：
步骤S211：将预览图输入目标检测模型，目标检测模型对预览图进行识别并分别输出掩膜区域，以及对应于掩膜区域的区域类别；
步骤S212：根据区域类别对掩膜区域进行合并以生成新的掩膜区域。
具体地，为实现对掩膜区域较好的识别效果以便于后续的再次扫描，本实施例中选择了对不同区域类别的掩膜区域进行合并，实现了对可能的组织区域的有效筛选，避免了可能存在的因区域类别识别错误导致组织区域扫描不完整的问题。
在一种较优的实施例中，如图6所示，训练方法于步骤A3之后还包括：
步骤A4：采用目标检测模型对训练切片进行识别，输出区域类别，根据标注切片判断区域类别是否符合要求；
若是，表明目标检测模型训练成功，输出目标检测模型；
若否，表明目标检测模型训练不成功，返回步骤A1。
具体地，为实现目标检测模型较好的识别效果，本实施例中选用了区域类别对训练得到的目标检测模型进行了检测，进而提升了目标检测模型在实际使用中较好的准确度。
一种病理切片的扫描系统，如图7所示，包括：
扫描仪X1，扫描仪X1对病理切片进行扫描以生成扫描图像；
存储器X2，存储器X2中存储有预先生成的计算机指令；
处理器X3，处理器X3连接存储器X2和扫描仪X1，处理器X3运行计算机指令以执行上述的扫描方法。
具体地，针对现有技术中的扫描系统无法准确识别出特定的组织区域的问题，本实施例中通过在扫描仪中执行上述的扫描方法获得了更好识别准确率。比如，上述扫描仪针对图8所示的苏木精-伊红染色切片、图9所示的免疫组织化学染色切片以及图10所示的液基细胞染色切片均能够通过目标检测框X4实现对组织部分的有效检测。经过多次实验表明，本实施例中的扫描系统针对苏木精-伊红染色切片、免疫组织化学染色切片以及液基细胞染色切片的分类准确率可达到92％，掩膜区域的标识准确率可以达到96％，特别是针对液基细胞染色切片取得了极为准确的识别效果。
作为对比，现有技术中基于FasterRCNN检测模型对染色切片进行识别的识别结果如图11所示，可见FasterRCNN检测模型输出的第一目标检测框Y1的覆盖范围明显大于组织区域，其可能是图11中左下角所示的杂质部分导致的。并且，第二目标检测框Y2在右侧部分并未准确框选到组织区域的右侧边界，可见基于FasterRCNN检测模型实现的组织区域检测相对于本发明中所建立的目标检测模型准确率更低。
同样地，图12为基于YOLOv5模型对液基细胞染色切片的识别结果。可见，由于液基细胞染色切片对组织区域染色较浅，进而使得YOLOv5模型并未准确覆盖组织区域，使得目标检测框Z1遗漏了组织区域下半部分。
本发明的有益效果在于：通过设置目标检测模型实现了对组织中掩膜区域的准确识别，避免了现有技术中对特定染色形成的病理切片图像无法准确提取其组织区域的问题，实现了对病理切片更为准确的检测，进而生成更为准确的切片图像。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种病理切片的扫描方法，其特征在于，包括：
步骤S1：获取一病理切片，对所述病理切片进行扫描以生成预览图；
步骤S2：对所述预览图进行图像识别以获取一组织区域；
步骤S3：对所述病理切片中的所述组织区域部分进行再次扫查，以输出扫描结果。
2.根据权利要求1所述的扫描方法，其特征在于，所述步骤S2包括：
步骤S21：采用一预先建立的目标检测模型对所述预览图进行识别，生成至少一个掩膜区域；
步骤S22：对所述掩膜区域进行连通域筛选，以输出所述组织区域。
3.根据权利要求2所述的扫描方法，其特征在于，所述目标检测模型包括：
残差层，所述残差层接收所述预览图，所述残差层对所述预览图进行预处理；
特征提取层，所述特征提取层连接所述残差层，所述特征提取层对预处理后的所述预览图提取图像特征；
分类层，所述分类层连接所述特征提取层，所述分类层根据所述图像特征生成每个所述掩膜区域的区域类别；
预测层，所述预测层连接所述特征提取层，所述预测层根据所述图像特征生成所述掩膜区域。
4.根据权利要求2所述的扫描方法，其特征在于，所述目标检测模型的训练方法包括：
步骤A1：获取多幅对应于所述区域类别的训练切片，对所述训练切片进行标注以生成标注切片；
步骤A2：对所述标注切片进行图像处理以生成训练集；
步骤A3：对所述训练集进行格式转换并输入所述目标检测模型，以完成训练过程。
5.根据权利要求3所述的扫描方法，其特征在于，所述区域类别包括：苏木精-伊红染色区域、免疫组织化学染色区域和液基细胞染色区域中的至少一种。
6.根据权利要求3所述的扫描方法，其特征在于，所述步骤S21包括：
步骤S211：将所述预览图输入所述目标检测模型，所述目标检测模型对所述预览图进行识别并分别输出所述掩膜区域，以及对应于所述掩膜区域的所述区域类别；
步骤S212：根据所述区域类别对所述掩膜区域进行合并以生成新的所述掩膜区域。
7.根据权利要求4所述的扫描方法，其特征在于，所述训练方法于所述步骤A3之后还包括：
步骤A4：采用所述目标检测模型对所述训练切片进行识别，输出所述区域类别，根据所述标注切片判断所述区域类别是否符合要求；
若是，表明目标检测模型训练成功，输出所述目标检测模型；
若否，表明目标检测模型训练不成功，返回所述步骤A1。
8.一种病理切片的扫描系统，其特征在于，包括：
扫描仪，所述扫描仪对所述病理切片进行扫描以生成扫描图像；
存储器，所述存储器中存储有预先生成的计算机指令；
处理器，所述处理器连接所述存储器和所述扫描仪，所述处理器运行所述计算机指令以执行如权利要求1-7任意一项所述的扫描方法。
CN202111644956.1A 2021-12-29 2021-12-29 一种病理切片的扫描方法及系统 Pending CN114399764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111644956.1A CN114399764A (zh) 2021-12-29 2021-12-29 一种病理切片的扫描方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111644956.1A CN114399764A (zh) 2021-12-29 2021-12-29 一种病理切片的扫描方法及系统

Publications (1)

Publication Number Publication Date
CN114399764A true CN114399764A (zh) 2022-04-26

Family

ID=81229089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111644956.1A Pending CN114399764A (zh) 2021-12-29 2021-12-29 一种病理切片的扫描方法及系统

Country Status (1)

Country Link
CN (1) CN114399764A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240000A (zh) * 2022-07-22 2022-10-25 司法鉴定科学研究院 一种用于法医鉴定的糖尿病检测装置及方法
CN117058435A (zh) * 2022-06-30 2023-11-14 深圳开立生物医疗科技股份有限公司 一种检查部位识别方法、装置及电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058435A (zh) * 2022-06-30 2023-11-14 深圳开立生物医疗科技股份有限公司 一种检查部位识别方法、装置及电子设备和存储介质
CN117058435B (zh) * 2022-06-30 2024-05-17 深圳开立生物医疗科技股份有限公司 一种检查部位识别方法、装置及电子设备和存储介质
CN115240000A (zh) * 2022-07-22 2022-10-25 司法鉴定科学研究院 一种用于法医鉴定的糖尿病检测装置及方法

Similar Documents

Publication Publication Date Title
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
US5796861A (en) Mosaic construction, processing, and review of very large electronic micrograph composites
EP3732611B1 (en) Method for creating histopathological ground truth masks using slide restaining
CN112750121B (zh) 用于病理玻片数字图像质量检测的系统及其方法
CN112200793B (zh) 数字病理切片质量的实时监控方法及系统、计算机设备
CN112435243A (zh) 一种全切片数字病理图像的自动分析系统及方法
EP3979127A1 (en) Pathology predictions on unstained tissue
CN111462076A (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN114399764A (zh) 一种病理切片的扫描方法及系统
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
CN113362331A (zh) 图像分割方法、装置、电子设备及计算机存储介质
CN110246116B (zh) 数字病理切片由he染色到ihc染色的计算机自动生成方法
EP2780888B1 (en) Processing an image containing one or more artifacts
EP3640837A1 (en) System for co-registration of medical images using a classifier
CN114549603B (zh) 细胞病理图像的标注坐标转换方法、系统、设备及介质
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
GB2466818A (en) Cell image segmentation using binary threshold and greyscale image processing
CN115170518A (zh) 基于深度学习和机器视觉的细胞检测方法及系统
CN113256617A (zh) 一种病理切片虚拟免疫组化染色方法及系统
Palokangas et al. Segmentation of folds in tissue section images
CN109859218B (zh) 病理图关键区域确定方法、装置、电子设备及存储介质
CN115917594A (zh) 使用几何特征的整个载玻片注释转移
CN118243695B (zh) 一种基于图像处理的病理切片质量判别方法及系统
CN117831032A (zh) 一种融合扫描原理与癌症性质判别的一体化扫描方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination