CN106408573A - 一种全切片数字病理图像处理分析方法 - Google Patents

Abstract

本发明公开了一种全切片数字病理图像处理分析方法，属于全切片数字病理图像处理分析软件的最优化方法领域。其步骤为：第一步将整张切片(WSI)图像分割成几个区域，分别分析每个区域；第二步拼接区域边界附近的对象。本发明克服了现有的组织病理分析软件仅能对全切片数字图像进行浏览，不能实现全切片的分析和无缝拼接，且效率低、耗时长、图像模糊的缺点。本发明的主要用途是.处理全切片数字病理图像分析，借助计算机以及精细的算法将整张切片图像分割成多区域，自动进行高精度多视野无缝隙拼接和处理，缩短分析时间和精度，获得优质的可视化数据以应用于病理组织学的各个领域。

Description

一种全切片数字病理图像处理分析方法

技术领域

本发明属于医学数字图像处理领域，具体涉及一种全切片数字病理图像处理分析方法。

背景技术

目前，病理检验医学正朝着“五化”发展，即标准化、自动化、信息化、人性化和临床化。高清晰度、高分辨率的数字扫描切片的出现完成了光学显微图像-数字化显微图像的转换，但这只是数字病理技术的基础，研究和开发数字病理图像处理分析方法，对数字病理技术的发展起着更大的决定性作用。

尽管数字扫描切片和数字切片图像分析技术逐渐在各大医院及研究机构推广应用，但是医生主要还是通过肉眼浏览全切片数字病理图像，根据经验对其进行分析诊断，没有客观的量化数据，主观性强，凭个人的经验进行分析诊断，不同病理医生对同一张切片的判断相异；且肉眼所能判断的变化有限，很难对组织切片中所提示的病理现象进行完整的观察。

虽然现有技术也有采用计算机对全切片数字病理图像分析技术，其中通常采用的也仅是对局部多个视野的图像进行选取及分析，这些预选区域被认为是代表着生物学重要的表达，然而，区域分配是主观的，依赖于观察者的经验，一旦选择偏差将导致结果缺乏再现性。再者由于全切片数字扫描图像高通量的特点，通常一张全切片数字扫描图像的大小在几百MB甚至几个GB之间，因此，现有技术中对全切片图像的分析耗时较长，未能得到普及。同时，有现有技术中对全切片图像的分析只是基于像素的分析，其分析结果只是简单的根据像素给出阳性百分比。基于像素的WSI分析可以很简单的直接完成，因为相邻的区域仅仅简单的合并在一起，而并未考虑对象大小和边界连接处的多样性，从而导致分析结果不准确。

虽然现有技术还存在诸多问题，但对全切片数字病理图像全片分析的需求却日渐增长，世界上的专家争相攻克这个难题。故，针对现有技术的问题，实有必要提供一种技术方案，以克服现有技术存在的缺陷。

发明内容

本发明的目的是提供一种全切片数字病理图像处理分析方法，借助计算机以及精细的算法将整张切片图像分割成多区域，自动进行高精度多视野无缝隙拼接和处理，缩短分析时间和精度，获得优质的可视化数据以应用于病理组织学的各个领域。

为了克服现有技术的缺陷，本发明的技术方案如下：

一种全切片数字病理图像处理分析方法，包括以下步骤：

步骤1：计算机获取全切片数字病理图像；

步骤2：将全切片数字病理图像分割为多个能够直接加载分析的矩形区域；

步骤3：以多线程的方式对分割好的每个矩形区域进行对象分析并存储分析结果；

步骤4：根据矩形区域边界线处的对象情况划分用于实现无缝拼接的边界区域，其中，相邻的矩形区域的边界区域至少包含同一对象中的至少一个共同特征；

步骤5：根据所包含对象的共同特征实现相邻矩形区域的无缝拼接；

步骤6：对每个矩形区域进行无缝拼接，该无缝拼接过程需要先从左到右再从上到下或先从上到下再从左到右不断重复直至所有边界区域内的对象完成拼接或替换；

步骤7：去除边界区域的拼接线，完成无缝拼接。

优选地，在所述步骤5中，找到相邻矩形区域中各自边界区域所包含的共同特征并且确定该共同特征在相应矩形区域中坐标的对应关系，进而完成相邻矩形区域的图像拼接。

优选地，当边界区域中的对象的像素较大时，根据该对象的轮廓边界直接拼接。

优选地，当边界区域中的对象的像素较小时，屏蔽边界区域中所有完整对象，并在原图中重新查找进行替换。

优选地，所述边界区域的宽度应至少为期望对象最大直径的两倍。

采用本发明提供的技术方案，与现有技术相比，具有如下显著效果：

本发明摈弃了现有的图像无缝拼接所使用的加权平均法，率先提出通过基于对象的无缝拼接技术实现了全切片数字病理图像基于对象(如细胞核、细胞质膜)的检测和量化的WSI分析，从而大大提高了分析结果的准确性以及分析速度。在图像拼接中，给定的序列图像中有一个或若干个共同点，即在两幅切割图像的边界处都有一部分图像包含了同一对象，若能找到两幅相邻图像中交界区域的相应目标，并且确定该目标在两幅图像中坐标的对应关系，通过一些拼接处理算法和重新查找替代程序对其进行处理，即可完成图像的拼接。本发明可移除所有的边界目标，进一步改进了分析的准确性和效率。当相当多的对象与边界相交时，若未移除边界效应，则会有计算出错误和耗时过长等问题。

说明书附图

图1为本发明全切片数字病理图像处理分析方法的流程框图。

图2为本发明中直接拼接边界连接的对象的示意图。

图3A是最简单的拼接对象拼接的示意图。

图3B是内部有空洞的对象拼接的示意图。

图4是处在角落里的对象拼接的示意图。

图5是复杂对象拼接的示意图。

图6是通过屏蔽所有完整对象再重新查找对象进行拼接的示意图。

图7是本发明实施例中底部的肿瘤区域被分割为20个左右的子区域的示意图。

图8是本发明实施例中拼接后的肿瘤细胞的示意图。

图9是本发明实施例中20倍下观察示意图。

图10是本发明实施例中查看细胞核信息的示意图。

具体实施方式

为进一步了解本发明的内容，结合附图对本发明作详细描述。

现有的组织病理分析技术仅能对全切片数字图像进行浏览，不能实现全切片的分析和无缝拼接，且效率低、耗时长。如德国Definiens公司的Tissue Studio分析一张2GB的WSI数字切片图像需耗时5小时以上。现有的图像无缝拼接通常使用的是加权平均法，虽然可在一定程度上平滑缝隙，但也使图像过于模糊，无法用于病理切片图像这种对图像精度要求非常高的应用。

为了解决上述技术问题，参见图1，所示为本发明一种全切片数字病理图像处理分析方法的流程框图，具体包括以下步骤：

步骤1：计算机获取全切片数字病理图像；

步骤2：将全切片数字病理图像分割为多个能够直接加载分析的矩形区域；

步骤3：以多线程的方式对分割好的每个矩形区域进行对象分析并存储分析结果；

步骤4：根据矩形区域边界线处的对象情况划分用于实现无缝拼接的边界区域，其中，相邻的矩形区域的边界区域至少包含同一对象中的至少一个共同特征；

步骤5：根据所包含对象的共同特征实现相邻矩形区域的无缝拼接；

步骤6：对每个矩形区域进行无缝拼接，该无缝拼接过程需要先从左到右再从上到下或先从上到下再从左到右不断重复直至所有边界区域内的对象完成拼接或替换；

步骤7：去除边界区域的拼接线，完成无缝拼接。

步骤2中，将WSI图像分割成几个区域，分别分析每个区域。图像分割的具体算法如下：

1)按照协议文件分析WSI图像，确定目标区域；

2)目标区域有大有小，小的可以在一个框架中加载后直接分析，针对过大区域，根据适合的长宽比例，分割成为大小合适可以直接加载分析的矩形区域，区域边缘部分非矩形；

3)这些区域被临时保存在文件夹中，为后续分析做准备。

4)单线分析速度慢，耗时长。本发明运用多线程并行分析，从而达到时间优化的同时，保证精确度。

步骤4中，查找拼接区域边界附近的对象并使相邻局域区域中所划定的边界区域中包含该对象的部分共同特征。拼接区域边界的对象是WSI分析中最大的挑战，其具体实现如下：对选择的目标区域进行区域划分。主界面放大某一倍后，对操作者自行定义的目标区域自动地平均划分为若干个小格区域。然后对划分的每个区域进行逐个分析后，进行无缝拼接。无缝拼接是WSI图像分析的关键。多种算法需要独立应用于对象的形态、大小及其复杂性。无缝拼接过程需要先从左到右再从上到下或先从上到下再从左到右。此过程需要不断重复直至所有边界内的对象并完整拼接或替换。实际中可以采用如下两种拼接方法。

方法一采用的技术方案为：当边界区域中的对象的像素较大时，根据该对象的轮廓边界直接拼接。由于实际中对象和边界情况各异，具体操作又分为多种情况。如图2所示直接拼接边界连接的对象，先将图像分割为区域1、区域2、区域3、区域4，在每个小区域分别寻找出所有对象，然后拼接。图3A是最简单的拼接，需要拼接的对象仅在一侧相交且在内部没有洞。具体方法为，获取边缘对象的坐标，将两张相连接的图目标物相同坐标位置连接成为一个整体。去掉中间的切割线。图3B是很具有挑战性的一种拼接，该对象内部有两个空洞。对于内部有空洞的对象，用最简单拼接法拼接对象外缘，再将内部空洞按相同坐标位置连接形成完整空洞。图4是处在角落里的对象，更为复杂，需要拼接水平和垂直方向上的多个对象。按顺序将目标对象整体拼接，再多角度拼接内部空洞。图5拼接需要考虑各种类型的形状和情况。先按顺序将细胞核拼接完成，再完成其他部分的拼接。

方法二采用的技术方案为：当边界区域中的对象的像素较小时，屏蔽边界区域中所有完整对象，并在原图中重新查找进行替换。如图6所示，通过先删除接触到或者和边界非常靠近的对象，屏蔽所有完整对象，再重新查找。例如，AD，FC是区域1和区域2的边缘。其组成的十字形R区域(如图6)若纵观整个WSI图像则为网状图形(如图6-1)，其中包含了所有可以重新查找的对象。在R区域内屏蔽已找寻到所有完整的不需要拼接的对象，后再次寻找对象。只有这些找到的对象会被认为是正确的。边界区域的宽度应至少为期望对象最大直径的两倍。

如果拼接R区域太大而导致无法被加载在一个框架内，则较低放大率的图像需要再次按照如上所述方法，将边界区域图像作为一个WSI图像，进一步加载、分割、分析和合并，这个过程将一直重复，直到所有感兴趣的对象分析完成。

两种无缝拼接方法系统将自动评判审核，如若目标对象很大(例如几百个像素)，用第二种方法会使得边界区域面积过大，重新分析时间长，第一个方法将会更有效且会占用很少的内存。第二种方法更适合于对象像素适中，拼接情况复杂，若采用第一种方法计算时间长，影响精确度。

本发明总体就是将大通量的WSI数字图像分割成更小的部分，采用多线程并行处理方式，大大缩短处理时间，提高分析图像的效率。然后对划分的每个区域进行逐个分析后，进行无缝拼接。

实施例1

寻找肿瘤区域需要用到的是软件功能中的人工智能。在这个例子中，全切片中的组织分为两类，肿瘤组织和正常组织，所要研究的是肿瘤区域中细胞核定量和分级。通过此分析，结合附图7-10，具体说明本发明实施方式，分析步骤包括图像分割和分析、无缝拼接和导出数据三个部分。

1，图像分割和分析

根据设定的协议文件，查找组织并分类，肿瘤组织部分为小块组成，可以直接分析，仅有一个底部的肿瘤区域由于太大而无法在一个框架中加载，因此它被分割为20个左右的子区域，如图7所示。

2，无缝拼接

1)图7所示，拼接组织对象内部有空隙，且像素大，使用第一种无缝拼接方法，根据接缝处的目标对象坐标，多角度拼接内部空洞。

2)在每个区域内寻找细胞核，且细胞核直径小，接缝处的细胞核被分割开来，需要运用无缝拼接技术进行拼接，软件根据此情况选用第二种无缝拼接方法，将边缘上的被分割的细胞核先删除，并将拼接R区域完整的细胞核屏蔽，重新查找边缘细胞核，得到拼接后的肿瘤细胞，如图8所示。

3)图9显示的是在更高的放大倍数下的显示效果，这样有更好的视觉显示效果。但是，如果拼接R区域太大而导致无法被加载在一个框架内，则较低放大率的图像需要按照如上所述方法进行加载、分割、分析和合并，个别提取对象将在如上所述WSI高倍镜下被分析。这个过程将一直重复，直到所有感兴趣的对象分析完成。

3，导出数据

按照协议文件对拼接好的细胞核进行分级，得出细胞核信息，每块肿瘤区域为一个小组，按拼接好的结果，可查看每个细胞核对应的数据信息。如图10所示。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (5)

1.一种全切片数字病理图像处理分析方法，其特征在于，包括以下步骤：

步骤1：计算机获取全切片数字病理图像；

步骤2：将全切片数字病理图像分割为多个能够直接加载分析的矩形区域；

步骤3：以多线程的方式对分割好的每个矩形区域进行对象分析并存储分析结果；

步骤4：根据矩形区域边界线处的对象情况划分用于实现无缝拼接的边界区域，其中，相邻的矩形区域的边界区域至少包含同一对象中的至少一个共同特征；

步骤5：根据所包含对象的共同特征实现相邻矩形区域的无缝拼接；

步骤6：对每个矩形区域进行无缝拼接，该无缝拼接过程需要先从左到右再从上到下或先从上到下再从左到右不断重复直至所有边界区域内的对象完成拼接或替换；

步骤7：去除边界区域的拼接线，完成无缝拼接。

2.根据权利要求1所述的全切片数字病理图像处理分析方法，其特征在于，在所述步骤5中，找到相邻矩形区域中各自边界区域所包含的共同特征并且确定该共同特征在相应矩形区域中坐标的对应关系，进而完成相邻矩形区域的图像拼接。

3.根据权利要求2所述的全切片数字病理图像处理分析方法，其特征在于，当边界区域中的对象的像素较大时，根据该对象的轮廓边界直接拼接。

4.根据权利要求2所述的全切片数字病理图像处理分析方法，其特征在于，当边界区域中的对象的像素较小时，屏蔽边界区域中所有完整对象，并在原图中重新查找进行替换。

5.根据权利要求4所述的全切片数字病理图像处理分析方法，其特征在于，所述边界区域的宽度应至少为期望对象最大直径的两倍。