CN113052166A - 病理图像的显示方法及装置 - Google Patents
病理图像的显示方法及装置 Download PDFInfo
- Publication number
- CN113052166A CN113052166A CN202110164532.9A CN202110164532A CN113052166A CN 113052166 A CN113052166 A CN 113052166A CN 202110164532 A CN202110164532 A CN 202110164532A CN 113052166 A CN113052166 A CN 113052166A
- Authority
- CN
- China
- Prior art keywords
- display area
- image
- area
- pathology
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007170 pathology Effects 0.000 claims abstract description 71
- 238000010186 staining Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000011532 immunohistochemical staining Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 239000013642 negative control Substances 0.000 claims description 3
- 239000013641 positive control Substances 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 description 82
- 210000003855 cell nucleus Anatomy 0.000 description 26
- 210000004881 tumor cell Anatomy 0.000 description 21
- 238000005070 sampling Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000013145 classification model Methods 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 9
- 210000002865 immune cell Anatomy 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000004882 non-tumor cell Anatomy 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Abstract
本发明公开了一种病理图像的显示方法及装置。所述方法包括：识别第一病理图像中的第一显示区。确定第二病理图像中对应所述第一显示区的第二显示区。响应于第一操作，显示所述第二显示区。所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像。本发明的技术方案，通过识别第一病理图像中的第一显示区，并通过第一显示区的特征，在第二病理图像中寻找对应所述第一显示区的第二显示区，在医生输入切换操作时，直接显示第二显示区，使得医生可以快速阅览不同病理图像中的同一感兴趣区，方便医生的阅片和操作，提高医生阅片的准确度和阅片效率。
Description
技术领域
本发明涉及医疗技术领域，特别涉及病理图像的显示方法及装置。
背景技术
近年来，癌症发病率和死亡率不断上升，造成了严重的社会经济和公共健康负担。病理检查作为癌症确诊的金标准，病理科医生需要进行大量的阅片工作，才能完成一例病例的病理诊断。在传统的显微镜阅片中,病理图像的放大倍数固定，阅片医生需要在低倍镜下寻找合适的视野，然后将该视野移至中央后再换高倍镜继续观察，最终得到合适的观察结果。随着病理图像数字化进程的不断加快，越来越多的场景中能够使用全画幅的数字病理图像，如：常规阅片、图像数据储存、远程会诊等，同时，数字化病理图像的广泛使用也为人工智能辅助病理阅片成为可能。在人工智能辅助下，通过直接显示全画幅病理图像中医生可能感兴趣的区域，并对该区域中的细胞进行标记，能够辅助医生更加高效的完成阅片工作，并且提高阅片质量。
然而，目前的阅片软件只能够提供对数字化病理图像的放大及查看功能，但对于全画幅病理图像内信息的提取和展示方面，功能较为单一。因此，能够提供合适的交互方式，帮助医生快速的做出诊断，成为本领域亟待解决的问题。
发明内容
本发明提供一种病理图像的显示方法及装置，当医生在多张病理图像之间随意切换进行阅片时，若在任一张病理图像中选中待观察的区域，则在其他病理图像中会相应的显示该待观察的区域，方便了医生在不同的病理图像间切换阅片，提高了阅片效率。
本发明提供一种病理图像的显示方法，包括：
识别第一病理图像中的第一显示区；
确定第二病理图像中对应所述第一显示区的第二显示区；
响应于第一操作，显示所述第二显示区；
所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像。
可选的，所述第一、第二病理图像为免疫组化染色图、苏木素-伊红染色图、阴性对照染色图、阳性对照染色图中的一种。
可选的，所述识别第一病理图像中的第一显示区包括：识别第一显示区在第一病理图像中的第一坐标；
所述确定第二病理图像中对应所述第一显示区的第二显示区包括：基于所述第一坐标在所述第二病理图像中确定所述第二显示区。
可选的，所述方法，还包括：
识别第一、第二病理图像中的细胞区；
基于第一、第二病理图像中的细胞区轮廓，调整第一、第二病理图像的角度和位置。
可选的，所述基于所述第一坐标在所述第二病理图像中确定所述第二显示区，包括：
基于所述第一坐标，在所述第二病理图像中确定备选区；
将所述备选区扩大指定倍数生成第一检索区；
提取所述第一显示区和所述第一检索区的特征，
根据所述特征在所述第一检索区确定所述第二显示区。
可选的，所述基于所述第一坐标在所述第二病理图像中确定所述第二显示区，包括：
基于所述第一坐标，在所述第二病理图像中确定第二检索区；
提取所述第一显示区中的指定区和所述第二检索区的特征；
根据所述特征在所述第二病理图像中确定所述第二显示区。
可选的，提取特征包括：提取该区的细胞的类型及分布信息。
可选的，所述识别第一病理图像中的第一显示区包括：识别所述第一显示区在所述第一病理图像中的第一坐标，所述第一显示区包括至少一感兴趣区；
所述确定第二病理图像中对应所述第一显示区的第二显示区，包括；
基于所述第一坐标，在所述第二病理图像中确定第三检索区；
提取所述第一显示区的感兴趣区和所述第三检索区的特征；
基于所述感兴趣区和所述第三检索区的特征在所述第二病理图像中确定包含所述感兴趣区的所述第二显示区。
本发明还提供一种病理图像的显示装置，包括：
识别单元，用于识别第一病理图像中的第一显示区；
确定单元，用于确定第二病理图像中对应所述第一显示区的第二显示区；
显示单元，响应于第一操作，用于显示所述第二显示区；
所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像。
本发明还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的病理图像的显示方法。
与现有技术相比，本发明的技术方案具有如下有益效果：
本发明的病理图像的显示方法及装置，通过识别第一病理图像中的第一显示区，并通过第一显示区的特征，在第二病理图像中寻找对应所述第一显示区的第二显示区，在医生输入切换操作时，直接显示第二显示区，使得医生可以快速阅览不同病理图像中的同一感兴趣区，方便医生的阅片和操作，提高医生阅片的准确度和阅片效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为生成不同染色病理图片的过程示意图；
图2为根据本发明实施例的病理图像的显示方法的流程示意图；
图3为根据本发明实施例的一病理图像的示意图；
图4为根据本发明实施例的备选区和第一检索区的示意图；
图5为根据本发明实施例的指定区和第二检索区的示意图；
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在病理阅片时，常常需要将不同染色方式下的图像进行对比或者对照，例如，在对免疫组化染色病理图片进行阅片时，除了要审查免疫组化染图片，还需要同时审查H&E(苏木素-伊红)染色病理图片。由于组织切片中细胞排列紧凑，细胞数量极多，使得在数字病理图像中快速找到不同染色图像上对应的细胞区(即图像配准)这一过程变得耗时，而医生只能通过自身经验完成这一过程，这不仅影响医生的阅片体验，更降低了阅片效率。
图1为生成不同染色病理图片的过程示意图，如图1所示，先对同一组织块进行切片获取多张切片，之后对每张切片进行不同的染色，本实施例中以第一张为免疫组化染色片，第二张为H&E染色片为例。接着再对染色片进行扫描即可获得两张不同染色的数字病理图像。
为了便于医生对不同染色图像上同一感兴趣区的观察，本发明提供一种病理图像的显示方法，使得医生在不同染色图像上进行对比阅片时，能够快速的切换到其想要观察的不同染色图像中的同一区域，方便医生的阅片和操作，提高阅片的准确度和效率。以下对本发明的病理图像的显示方法进行详细说明，本实施例中，为了便于说明，将染色后的数字病理图像称之为病理图像。
图2为根据本发明实施例的病理图像的显示方法的流程示意图。如图1所示，所述方法，包括：
S11，识别第一病理图像中的第一显示区；
S12，确定第二病理图像中对应所述第一显示区的第二显示区；
S13，响应于第一操作，显示所述第二显示区，
所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像。
执行S11，识别第一病理图像中的第一显示区。所述第一病理图像是经过染色后扫描获得的数字病理图像，可以是免疫组化染色图、H&E(苏木素-伊红染色)图、阴性对照染色图、阳性对照染色图中的一种。所述第一显示区是医生在通过病理图像阅片软件阅片时，显示界面所显示的区域，或者是医生通过选取工具在显示区域选取的区域。在本实施例中，识别第一病理图像中的第一显示区可以是识别第一显示区在第一病理图像中的位置，具体地，可以是识别第一显示区在第一显示区的第一坐标。
实际应用中，考虑到在对组织块进行切片并染色时，操作的误差可能会导致细胞区在图像中发生偏移。为了避免所述偏移导致的对第二显示区定位的不准确，本实施例中，在识别第一病理图像中的第一显示区前，可以先对第一、第二病理染色图像进行预处理。
具体地，对第一、第二病理图像进行预处理，包括：
S21，识别第一、第二病理图像中的细胞区；
S22，基于第一、第二病理图像中的细胞区轮廓，调整第一、第二病理图像的角度和位置。
执行S21，识别第一、二病理图像中的细胞区。图3为根据本发明实施例的一病理图像的示意图。如图3所示，病理图像中一般会包括细胞区和非细胞区，经过染色以后细胞区会呈现不同颜色，以免疫组化染色图像为例，细胞区会呈现蓝色或紫色，H&E染色图像的细胞区则会显示粉色，个别的细胞也会呈现不一样的颜色，相对于细胞区，非细胞区以白色为主。所述识别细胞区，可以采用传统的图像分割法进行，也可以采用AI图像识别算法进行识别，在此不作限定。
执行S22，首先获取第一、第二病理图像的细胞区轮廓。在获得第一、第二病理图像的细胞区轮廓后，根据所述轮廓调整第一、第二病理图像的角度和位置。所述调整的过程是使第一、第二病理图像上的细胞区处于相同的位置。
执行S12，确定第二病理图像中对应所述第一显示区的第二显示区。其中，所述第二病理图像也是经过染色后扫描获得的数字病理图像，但是是不同于第一病理图像的染色图像，也即所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像，如第一病理图像为免疫组化图像，所述第二病理图像为H&E染色图像。
本实施例中，所述确定第二病理图像中对应所述第一显示区的第二显示区包括：基于所述第一坐标在第二病理图像中确定第二显示区。如上所述，第一病理图像和第二病理图像为针对同一组织块的病理切片，两张病理图像大致相同，因此第一显示区在第一病理图像的位置和第二显示区在第二病理图像上的位置也大致相同。基于此原理，本实施例中通过第一坐标确定第二病理图像中的第二显示区。
本实施例中具体地，基于所述第一坐标在所述第二病理图像中确定所述第二显示区，包括：
S31，基于所述第一坐标，在所述第二病理图像中确定备选区；
S32，将所述备选区扩大指定倍数生成第一检索区；
S33，提取所述第一显示区和所述第一检索区的特征；
S34，根据所述特征在所述第一检索区确定所述第二显示区。
本实施例中，考虑到对第一、第二病理图像进行预处理后还可能存在的误差，进一步地可以通过第一显示区和第一检索区的特征比对来确定第二显示区。
图4为根据本发明实施例的备选区和第一检索区的示意图。如图4所示，图中左侧为第一病理图像和位于其中的第一显示区；右侧为第二病理图像及位于其中的备选区和第一检索区。以下结合图4对所述过程进行详细说明。
执行S31，基于所述第一坐标，在所述第二病理图像中确定备选区。如前文所述，所述第一坐标表示第一显示区在第一病理图像上的位置，第一病理图像和第二病理图像基本相似，先以第一坐标确定第二病理图像上的备选区。
执行S32，将所述备选区扩大指定倍数生成第一检索区。所述扩大是以备选区中心不变的前提下扩大指定倍数，如1.2倍。扩大的目的是即使第一病理图像和第二病理图像中的细胞区有偏差时，所述第一检索区也能完全包含对应第一显示区的区域。本实施例中所述检索区的扩大倍数大于1.1倍，小于1.5倍。
执行S33，提取所述第一显示区和所述第一检索区的特征。本实施例中，所述第一显示区的特征可以包括该区域内细胞的类型及各细胞的分布信息，本实施例中各细胞的分布信息可以包括各细胞的位置，细胞的位置可以用细胞核的中心点进行替代。以下通过具体实施对提取第一显示区的特征过程进行详细说明。
本实施例中第一病理图像以免疫组化染色图像为例，所述第一病理图像中可包括：非肿瘤细胞、肿瘤细胞、免疫细胞等，所述肿瘤细胞又可以细分为阳性肿瘤细胞和阴性肿瘤细胞，因此第一显示区的不同类型细胞是指识别第一显示区的细胞为上述细胞中的哪一种细胞。判断细胞类型的过程包括：
S41，确定第一显示区中各细胞核的中心点，基于所述细胞核的中心点确定细胞核；
S42，将所述细胞核输入至第一分类模型以获得细胞是指定细胞的置信度；
S43，基于所述细胞是指定细胞的置信度和第一阈值识别所述第一显示区中的指定细胞。
执行S41，确定第一显示区中各细胞核的中心点，基于所述细胞核的中心点确定细胞核。首先，可以将所述第一显示区输入至分割模型以获得每一个像素点为细胞核的中心点的置信度。所述分割模型可以为以VGG作为backbone的U-NET神经网络模型，也可以是全卷积神经网络(FCN，Fully Convolutional Network)模型等。所述分割模型可以包括依次连接的特征提取模块、下采样模块和上采样模块。其中，特征提取模块可以包括连续的第一卷积单元和第二卷积单元，第一卷积单元可以包括一个2D卷积层、一个批量归一化(BN，Batch Narmalization)层和一个激励函数层，第二卷积单元也可以包括一个2D卷积层、一个批量归一化层和一个激励函数层。本实施例中的激励函数可以为多种类型的激励函数，如，可以为线性整流函数(ReLU，Rectified Linear Unit)。
本实施例中，上采样模块和下采样模块的数量可以由本领域技术人员根据实际经验设定，如可以包括一个下采样模块和一个上采样模块，也可以包括多个(两个或两个以上)上采样模块和下采样模块。其中，每个下采样模块可以包括一个2D下采样层以及一个卷积特征提取模块，2D下采样层的尺寸可以为2×2。相应地，每个上采样模块可以包括一个2D反卷积上采样层、一个拼接层以及一个卷积特征提取模块，2D反卷积上采样层的尺寸可以为2×2。本发明实施例中，上采样模块的拼接层可以与下采样模块的下采样层的输出结果相对应，从而可以拼接下采样层的输出结果，得到特征图。最后对特征图进行卷积可以得到分割的结果。本实施例中，输入为第一显示区时，输出为第一显示区中的每一个像素点为细胞核的中心点的置信度。
然后，判断在以第一显示区中的每一个像素点为中心的预定邻域中，该像素点为细胞核的中心点的置信度是否为最大，若是最大，则以该像素点为细胞核的中心点的置信度和中心点阈值确定第一显示区中细胞核的中心点。
具体地，本实施例中，以每一个像素点为中心的预定邻域可以为正方形、也可以为矩形、圆形等。若该邻域为正方形，其边长可以为7～15个像素点之间，如，以该像素点为中心的边长为11个像素点的正方形。在确定该像素点为细胞核的中心点的置信度为预定邻域中所有像素点为细胞核的中心点的置信度中最大的那个时，以该像素点为细胞核的中心点的置信度和中心点阈值来确定第一显示区中细胞核的中心点。本实施例中，所述中心点阈值可以根据实际经验而定，如中心点阈值可以为0.3。也即当像素点为细胞核的中心点的置信度为其预定邻域中最大时，若该像素点为细胞核的中心点的置信度大于0.3，则该像素点为细胞核的中心点。
最后，基于所述细胞核的中心点确定细胞核。具体地，本实施例中，可以在所述第一显示区中，以所述细胞核的中心点为中心，形成预设邻域，所述细胞核包含于所述预设邻域中。预设邻域可以为正方形、矩形、圆形等。所述预设邻域为正方形，则正方形的边长可以在18～30个像素点之间，如可以为24个像素点。所述细胞核则位于该预设邻域中。
执行S42，将所述细胞核输入至第一分类模型以获得细胞是指定细胞的置信度。本实施例中，以所述指定细胞为肿瘤细胞为例，即判断细胞是否为肿瘤细胞时，所述第一分类模型可以包括：特征提取网络和分类网络，特征提取网络的输出作为分类网络的输入。特征提取网络，可以包括若干个连续的卷积模块，以输出特征图。每一个卷积模块可以均包括一个3×3的2D卷积层，一个批归一化层(BN，Batch Normalization)、一个激活层和一个2×2的最大池化(max pooling)层。激活函数可以为线性整流函数(ReLU，Recified LinearUnit)。分类网络可以包括2个依次连续的全连接层，全连接层和全连接层之间可以为通过率为0.5的dropout层。第二个全连接层输出细胞是指定细胞的置信度，并通过softmax操作使得细胞是肿瘤细胞的置信度和细胞不是肿瘤细胞的置信度之和为1。如：若细胞为肿瘤细胞，则输出细胞是肿瘤细胞的置信度，并通过softmax操作使得细胞是肿瘤细胞的置信度和细胞不是肿瘤细胞的置信度之和为1。
执行S43，基于所述细胞是指定细胞的置信度和第一阈值识别所述第一显示区中的指定细胞。本实施例中，所述第一阈值可以为0.5，也即当细胞是肿瘤细胞的置信度大于0.5时，确定该细胞为第一显示区中的指定细胞。
如上所述，当第一病理图像为免疫组化染色图像时，第一显示区会包括非肿瘤细胞、肿瘤细胞、免疫细胞等，所述肿瘤细胞又可以细分为阳性肿瘤细胞和阴性肿瘤细胞，本实施例中，所述指定细胞可以为上述细胞中的任意一种，而当指定细胞为肿瘤细胞时，本实施例的判断细胞类型的过程包括还包括：将所述肿瘤细胞输入至第二分类模型以获得细胞是阳性肿瘤细胞的置信度。
基于所述细胞是阳性肿瘤细胞的置信度和第二阈值识别所述第一显示区中的阳性肿瘤细胞。
第二分类模型的结构与第一分类模型的结构相类似，此处不再赘述。本实施例中，所述第二阈值也可以为0.5，也即当细胞是阳性肿瘤细胞的置信度大于0.5时，该细胞为阳性肿瘤细胞。
此外，本实施例中还可以通过其他分类模型知晓第一显示区中免疫细胞和其他细胞的分布情况，将所述细胞核输入至对应的分类模型，则可以获得细胞是免疫细胞的置信度或细胞为其他细胞的置信度。分类模型的结构与第一分类模型的结构相类似，此处不再赘述。然后基于所述细胞是免疫细胞的置信度和相应的阈值识别第一区域中的免疫细胞，基于所述细胞是其他细胞的置信度和相应的阈值识别第一区域中的其他细胞。
通过上述方法即可提取第一显示区的细胞的类型及分布信息，采用同样的方法可以获取第一检索区的各细胞的类型及分布信息，
执行S34，根据所述特征在所述第一检索区确定所述第二显示区。具体地，可以采用第一显示区的特征信息在第一检索区中寻找匹配的位置，以确定第二显示区。
在其他实施例中，基于所述第一坐标在所述第二病理图像中确定所述第二显示区，包括：
S51，基于所述第一坐标，在所述第二病理图像中确定第二检索区；
S52，提取所述第一显示区中的指定区和所述第二检索区的特征；
S53，根据所述特征在所述第二病理图像中确定所述第二显示区。
图5是根据本发明实施例的指定区和第二检索区的示意图。如图5所示，图中左侧图为第一病理图像和位于其中的第一显示区和指定区；右侧为第二病理图像及位于其中的第二检索区。以下参考附图对所述过程进行详细说明。
执行S51,基于所述第一坐标，在所述第二显示区确定第二检索区。区别于上述实施例，本实施例中直接将第二病理图像中，对应第一坐标的区域作为第二检索区。
执行S52,提取第一显示区中的指定区和第二检索区的特征。如图5所示，所述指定区是指，在第一病理图像的第一显示区内选择一个小于第一显示区的区域，本实施例中，指定区可以是与所述第一显示区的中心同中心，面积为所述第一显示区的面积的四分之一的区域。提取第一显示区中的指定区和第二检索区的特征可以包括提取各区的细胞的类型及分布信息。提取各区特征的过程与上述实施例类似，此处不再赘述。
执行S53，根据所述特征在所述第二病理图像中确定所述第二显示区。在S52中获取指定区和第二检索区的特征后，用指定区的特征信息在第二检索区中寻找匹配的位置，指定区与第一显示区的位置关系是已知的，且知道第二病理图像中对应指定区的位置，则可确定第二显示区。
本实施例中通过指定区的特征寻找第二病理图像中的第二显示区，由于指定区小于第一显示区，无论是从特征的提取过程还是寻找匹配位置的过程来看，都可以有效的减少计算量，提高在第二病理图像中确定第二显示区的效率。
实际应用中，医生在对病理图片阅片时，有可能并不是对第一显示区中的所有细胞都感兴趣，而是仅对第一显示区中的部分细胞感兴趣，此时医生可以通过阅片软件提供的选取工具，在第一显示区中选取感兴趣区。为了进一步便于医生阅片，本实施例中，在显示第二显示区时，支持同时显示感兴趣区。
为了实现上述目的，本实施例中，
所述识别第一病理图像中的第一显示区包括：识别所述第一显示区在所述第一病理图像中的第一坐标，所述第一显示区包括至少一感兴趣区。本实施例中，所述感兴趣区是用户通过阅片软件提供的标记工具在第一显示区中自定义的区域。
所述确定所述第二病理图像中对应所述第一显示区的第二显示区，包括；
S61，基于所述第一坐标，在所述第二病理图像中确定第三检索区；
S62，提取所述第一显示区的感兴趣区和所述第三检索区的特征；
S63，基于所述感兴趣区和所述第三检索区的特征在所述第二病理图像中确定包含所述感兴趣区的所述第二显示区。
执行S61，基于第一坐标，在所述第二病理图像中确定第三检索区。所述第三检索区是基于第一坐标生成的，可以是与第一显示区相同，也可以比第一显示区大或者小，在此不作限定。
执行S62，提取所述第一显示区的感兴趣区和所述第三检索区的特征。
本实施例中所述第一显示区的感兴趣区的特征可以包括：该区域内细胞的类型及各细胞的分布信息。同样地，所述第三检索区的特征也可以包括：该区域内细胞的类型及各细胞的分布信息。提取所述感兴趣区和所述第三检索区的特征与上述实施例相类似，此处不再赘述。
执行S63，基于所述感兴趣区和所述第三检索区的特征在所述第二病理图像中确定包含所述感兴趣区的所述第二显示区。在通过S61和S62获取第三检索区和感兴趣区的特征后，用感兴趣区的特征信息在第三检索区中寻找匹配的位置，感兴趣区与第一显示区的位置关系是已知的，且知道第二病理图像中对应感兴趣区的位置，则可以确定第二显示区。
本实施例中，医生在切换不同染色的病理图片时，保留其选取的感兴趣区的标记显示，便于医生快速找到感兴趣区，方便阅片的同时提高阅片效率
执行S13，响应于第一操作，显示所述第二显示区。所述第一操作，可以是用户通过鼠标点击或对触摸屏的触摸或键盘的输入等生成的用于显示第二显示区的指令，当接收到所述指令后显示所述第二显示区。显示的方式可以是只显示第二显示区，也可以是同时显示第一显示区和第二显示区，也可以是以缩略图形式在第一显示区周围显示第二显示区，在此不作限定。
本实施例还提供一种基于所述方法的病理图像的显示装置，包括：
识别单元，用于识别第一病理图像中的第一显示区；
确定单元，用于确定第二病理图像中对应所述第一显示区的第二显示区；
显示单元，响应于第一操作，用于显示所述第二显示区；
所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像。
本实施例还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的病理图像的显示方法。
本实施例还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的病理图像的显示方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种病理图像的显示方法，其特征在于，包括：
识别第一病理图像中的第一显示区；
确定第二病理图像中对应所述第一显示区的第二显示区；
响应于第一操作，显示所述第二显示区；
所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像。
2.如权利要求1所述的方法，其特征在于，
所述第一、第二病理图像为免疫组化染色图、苏木素-伊红染色图、阴性对照染色图、阳性对照染色图中的一种。
3.如权利要求1所述的方法，其特征在于，所述识别第一病理图像中的第一显示区包括：识别第一显示区在第一病理图像中的第一坐标；
所述确定第二病理图像中对应所述第一显示区的第二显示区包括：基于所述第一坐标在所述第二病理图像中确定所述第二显示区。
4.如权利要求3所述的方法，其特征在于，还包括：
识别第一、第二病理图像中的细胞区；
基于第一、第二病理图像中的细胞区轮廓，调整第一、第二病理图像的角度和位置。
5.如权利要求4所述的方法，其特征在于，所述基于所述第一坐标在所述第二病理图像中确定所述第二显示区，包括：
基于所述第一坐标，在所述第二病理图像中确定备选区；
将所述备选区扩大指定倍数生成第一检索区；
提取所述第一显示区和所述第一检索区的特征，
根据所述特征在所述第一检索区确定所述第二显示区。
6.如权利要求4所述的方法，其特征在于，所述基于所述第一坐标在所述第二病理图像中确定所述第二显示区，包括：
基于所述第一坐标，在所述第二病理图像中确定第二检索区；
提取所述第一显示区中的指定区和所述第二检索区的特征；
根据所述特征在所述第二病理图像中确定所述第二显示区。
7.如权利要求5或6所述的方法，其特征在于，
提取特征包括：提取该区的细胞的类型及分布信息。
8.如权利要求1所述的方法，其特征在于，
所述识别第一病理图像中的第一显示区包括：识别所述第一显示区在所述第一病理图像中的第一坐标，所述第一显示区包括至少一感兴趣区；
所述确定第二病理图像中对应所述第一显示区的第二显示区，包括；
基于所述第一坐标，在所述第二病理图像中确定第三检索区；
提取所述第一显示区的感兴趣区和所述第三检索区的特征；
基于所述感兴趣区和所述第三检索区的特征在所述第二病理图像中确定包含所述感兴趣区的所述第二显示区。
9.一种病理图像的显示装置，其特征在于，包括：
识别单元，用于识别第一病理图像中的第一显示区；
确定单元，用于确定第二病理图像中对应所述第一显示区的第二显示区；
显示单元，响应于第一操作，用于显示所述第二显示区；
所述第一病理图像和第二病理图像是针对同一组织块的不同病理切片染色图像。
10.一种计算机设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行权利要求1至8任一项所述的病理图像的显示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164532.9A CN113052166A (zh) | 2021-02-05 | 2021-02-05 | 病理图像的显示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164532.9A CN113052166A (zh) | 2021-02-05 | 2021-02-05 | 病理图像的显示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113052166A true CN113052166A (zh) | 2021-06-29 |
Family
ID=76508865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110164532.9A Pending CN113052166A (zh) | 2021-02-05 | 2021-02-05 | 病理图像的显示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052166A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114171167A (zh) * | 2022-02-11 | 2022-03-11 | 广州安必平医药科技股份有限公司 | 图像显示方法、装置、终端及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102221961A (zh) * | 2010-04-16 | 2011-10-19 | 索尼公司 | 信息处理装置、信息处理方法及其程序 |
| CN103164840A (zh) * | 2013-02-08 | 2013-06-19 | 宁波江丰生物信息技术有限公司 | 数字切片图像存储方法及装置、电子图书显示方法及装置 |
| CN104135935A (zh) * | 2012-02-13 | 2014-11-05 | 霍罗吉克公司 | 用于利用合成图像数据导航层析堆的系统和方法 |
| US20150070016A1 (en) * | 2012-06-20 | 2015-03-12 | Kabushiki Kaisha Toshiba | Medical image processing apparatus, magnetic resonance imaging apparatus, medical image processing method and magnetic resonance imaging method |
| CN106934807A (zh) * | 2015-12-31 | 2017-07-07 | 深圳迈瑞生物医疗电子股份有限公司 | 一种医学影像分析方法、系统及医疗设备 |
| CN108140117A (zh) * | 2015-08-25 | 2018-06-08 | 皇家飞利浦有限公司 | 组织微阵列分析 |
| CN109698952A (zh) * | 2017-10-23 | 2019-04-30 | 腾讯科技（深圳）有限公司 | 全景视频图像的播放方法、装置、存储介质及电子装置 |
| CN109919010A (zh) * | 2019-01-24 | 2019-06-21 | 北京三快在线科技有限公司 | 图像处理方法及装置 |
| CN110349151A (zh) * | 2019-07-16 | 2019-10-18 | 科大讯飞华南人工智能研究院（广州）有限公司 | 一种目标识别方法及装置 |
| CN111273840A (zh) * | 2020-02-28 | 2020-06-12 | 杭州依图医疗技术有限公司 | 细胞染色图像的显示方法、病理图像分析系统及存储介质 |
| JP2020123400A (ja) * | 2020-05-07 | 2020-08-13 | ソニー株式会社 | 病理画像表示システム、病理画像表示方法及びプログラム |
| CN111738247A (zh) * | 2020-05-15 | 2020-10-02 | 上海望友信息科技有限公司 | 极性标识的识别方法、识别装置、电子设备及存储介质 |
| CN111751371A (zh) * | 2020-06-24 | 2020-10-09 | 武汉中纪生物科技有限公司 | 一种免疫组化数字玻片阅片系统及方法 |
-
2021
- 2021-02-05 CN CN202110164532.9A patent/CN113052166A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102221961A (zh) * | 2010-04-16 | 2011-10-19 | 索尼公司 | 信息处理装置、信息处理方法及其程序 |
| US20110267267A1 (en) * | 2010-04-16 | 2011-11-03 | Sony Corporation | Information processing apparatus, information processing method, and program therefor |
| CN104135935A (zh) * | 2012-02-13 | 2014-11-05 | 霍罗吉克公司 | 用于利用合成图像数据导航层析堆的系统和方法 |
| US20150070016A1 (en) * | 2012-06-20 | 2015-03-12 | Kabushiki Kaisha Toshiba | Medical image processing apparatus, magnetic resonance imaging apparatus, medical image processing method and magnetic resonance imaging method |
| CN103164840A (zh) * | 2013-02-08 | 2013-06-19 | 宁波江丰生物信息技术有限公司 | 数字切片图像存储方法及装置、电子图书显示方法及装置 |
| CN108140117A (zh) * | 2015-08-25 | 2018-06-08 | 皇家飞利浦有限公司 | 组织微阵列分析 |
| CN106934807A (zh) * | 2015-12-31 | 2017-07-07 | 深圳迈瑞生物医疗电子股份有限公司 | 一种医学影像分析方法、系统及医疗设备 |
| CN109698952A (zh) * | 2017-10-23 | 2019-04-30 | 腾讯科技（深圳）有限公司 | 全景视频图像的播放方法、装置、存储介质及电子装置 |
| CN109919010A (zh) * | 2019-01-24 | 2019-06-21 | 北京三快在线科技有限公司 | 图像处理方法及装置 |
| CN110349151A (zh) * | 2019-07-16 | 2019-10-18 | 科大讯飞华南人工智能研究院（广州）有限公司 | 一种目标识别方法及装置 |
| CN111273840A (zh) * | 2020-02-28 | 2020-06-12 | 杭州依图医疗技术有限公司 | 细胞染色图像的显示方法、病理图像分析系统及存储介质 |
| JP2020123400A (ja) * | 2020-05-07 | 2020-08-13 | ソニー株式会社 | 病理画像表示システム、病理画像表示方法及びプログラム |
| CN111738247A (zh) * | 2020-05-15 | 2020-10-02 | 上海望友信息科技有限公司 | 极性标识的识别方法、识别装置、电子设备及存储介质 |
| CN111751371A (zh) * | 2020-06-24 | 2020-10-09 | 武汉中纪生物科技有限公司 | 一种免疫组化数字玻片阅片系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114171167A (zh) * | 2022-02-11 | 2022-03-11 | 广州安必平医药科技股份有限公司 | 图像显示方法、装置、终端及存储介质 |
| CN114171167B (zh) * | 2022-02-11 | 2022-06-03 | 广州安必平医药科技股份有限公司 | 图像显示方法、装置、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| US11681418B2 (en) | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning | |
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| CN111445478B (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 | |
| CN108140249B (zh) | 用于显示生物标本的多个图像的图像处理系统和方法 | |
| JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
| CN109584156B (zh) | 显微序列图像拼接方法及装置 | |
| CN111819569A (zh) | 对组织切片图像的虚拟染色 | |
| JP2022534157A (ja) | 組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー | |
| JP2004522228A (ja) | ディジタル画像を表現し比較する方法 | |
| CN101542527A (zh) | 可组合图像的基于特征的配准 | |
| US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
| CN110648762A (zh) | 病灶区识别模型生成方法、装置及病灶区识别方法、装置 | |
| Pécot et al. | Background fluorescence estimation and vesicle segmentation in live cell imaging with conditional random fields | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN114972461A (zh) | 一种适用于多分辨率数字病理图像配准方法及系统 | |
| Cai et al. | IOS-Net: An inside-to-outside supervision network for scale robust text detection in the wild | |
| CN111916206A (zh) | 一种基于级联的ct影像辅助诊断系统 | |
| CN111950544A (zh) | 一种确定病理图像中感兴趣区域的方法及装置 | |
| CN110220902B (zh) | 数字病理切片分析方法和装置 | |
| CN115082389A (zh) | 医学影像的肋骨检测方法、设备及介质 | |
| CN113033287A (zh) | 病理图像的显示方法及装置 | |
| CN113052166A (zh) | 病理图像的显示方法及装置 | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |