CN111275717B - 不同染色切片的对比展示方法、电子设备及可读介质 - Google Patents

Abstract

本发明涉及不同染色切片的对比展示方法，包括：获取n+1张连续切片，对其分别采用不同染色方法进行染色，并获得n+1张染色切片的数字切片全场图；将所述n+1张数字切片全场图的缩略图展示在所述第一显示区域；从n+1张数字切片全场图的缩略图中选择1张作为模型切片，其他缩略图作为目标切片；将模型切片展示在所述第二显示区域；选择目标切片中的k张作为参考切片，将参考切片展示在所述显示装置的第三显示区域，其中k≤n；独立或同步对所述第二显示区域和第三显示区域的图像进缩放、标注操作。本申请可以帮助医生对多张切片进行对比观察，实现多切片内容的同步操作，方便标示出同一图像内容在不同染色切片中的图像差别，有助于医生观察判断。

Description

不同染色切片的对比展示方法、电子设备及可读介质

技术领域

本发明涉及医学图像处理领域，特别是涉及不同染色切片的对比展示方法、电子设备及可读介质。

背景技术

在科研工作中，为了观察到同一区域中的各种不同染色的结果(通常是多种抗原或基因的表达情况)，常常会对多张连续切片分别进行多种染色(免疫组化染色、荧光染色)，但是一般的web应用程序(比如爱读片)在诊断切片的时候，一个病例只能同时看一张切片，这就使得医生在做切片图像对比时很不方便，需要来回更换染色切片，也有通过在一张切片上同时进行多种染色的方法来达到上述目的的，但这样做需要特殊的染色方案和染色试剂，意味着需要更高的成本。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了不同染色切片的对比展示方法和电子设备，用于方便医生在同一显示界面下进行不同染色切片的对比观察。

根据本申请的一个方面，提供了不同染色切片的对比展示方法，适用于不同染色切片的对比展示系统，所述展示系统包括显示装置，显示装置包括第一显示区域、第二显示区域以及第三显示区域，第三显示区域的大小是第二显示区域大小的n倍，所述展示方法包括：

所述展示方法包括：

获取n+1张连续切片；

对所述n+1张连续切片分别采用不同染色方法进行染色，获得n+1张染色切片；获取n+1张染色切片的数字切片全场图；

将所述n+1张数字切片全场图的缩略图展示在所述第一显示区域；

从n+1张数字切片全场图的缩略图中选择1张作为模型切片，其他缩略图作为目标切片；

调取所述模型切片对应的数字切片全场图，展示在所述第二显示区域；

选择目标切片中的k张作为参考切片，调取所述参考切片对应的数字切片全场图，展示在所述显示装置的第三显示区域，其中k≤n；

独立或同步对所述第二显示区域和第三显示区域的图像进行缩放、标注操作。

进一步地，当n＝1时，第三显示区域与第二显示区域左右对齐或者上下对齐；当n≠1时，从第三显示区域中划分出k个与所述第二显示区域相同大小的显示区域，k个显示区域分别与第二显示区域左右对齐或者上下对齐。

进一步地，还包括：接收图像锁定命令，将所述第二显示区域的图像和第三显示区域m副图像相关联，实现m+1幅图像的同步操作,其中m≤k。

进一步地，还包括：接收图像解锁命令，将所述第二显示区域的图像和第三显示区域上的图像取消关联，实现n+1幅图像的独立操作。

进一步地，还包括：所述第二显示区域展示内容包括：所述模型切片的数字切片全场图的全部或局部图像内容，和当前展示内容在所述模型切片的数字切片全场图中的位置图像。

进一步地，还包括：所述第三显示区域展示内容包括：所述参考切片的数字切片全场图的全部或局部图像内容，和当前展示内容在对应参考切片的数字切片全场图中的位置图像。

进一步地，在所述独立或同步对所述第二显示区域和第三显示区域的图像进行缩放、标注操作前，对所述第二显示区域显示的数字切片全场图和第三显示区域显示的数字切片全场图进行图像配准。

进一步地，所述图像配准的方法包括：对两个待配准的数字切片全场图进行特征点提取生成二维点云，从第一待配准的数字切片全场图提取特征点生成模型点云，从第二待配准的数字切片全场图提取特征点生成场景点云；采用判别优化算法有监督的学习计算出所述模型点云和场景点云的配准度；根据所述配准度作为所述两个待配准的数字切片全场图的空间映射关系，对两个待配准的数字切片全场图进行图像配准。

根据本申请的又一方面，提供了一种电子设备，包括处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行所述的不同染色切片的对比展示方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行所述的不同染色切片的对比展示方法。

与现有技术相比，采用本申请实施例的不同染色切片的对比展示方法，可以使得医生方便的对多张切片进行对比观察，还能实现多切片内容的同步操作，这样更加方便的标示出同一图像内容在不同染色切片中的图像差别，更加有助于医生的观察判断。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本发明不同染色切片的对比展示方法的流程图；

图2是显示装置上的图像分布示例；

图3是本发明图像配准方法流程图；

图4是图3中S120判别优化算法的流程图；

图5是图4图像配准中点云配准的示意图；

图6是本申请实施例的电子设备框图。

具体实施方式

下面，将参考附图详细描述本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

病理医生及科研工作者在工作中，常常需要对连续切片的病理切片图像进行观察及处理。比如在观察免疫组化切片时，常常需要制备2张或多张连续切片，其中一张进行HE染色，另一张进行免疫组化染色。病理医生在观察这两张切片时，经常需要比对两张切片上的同一部位的染色情况，比如先通过HE染色来识别切片上的哪些区域是肿瘤，再在另一张免疫组化切片上找到对应的区域，观察这些区域中的免疫组化染色情况(通常是某种抗原的表达情况)；或者反过来，当在免疫组化染色切片上观察到不易分辨的----区域时，就需要在HE切片上找到对应的区域，借助HE染色来进一步分辨。但是现有的应用程序在诊断切片时无法实现多张染色切片的同屏显示，医生往往需要对染色切片进行切换显示，先看一张，然后关掉这一张，再看另一张，对于病理区域的对比观察十分不便。

针对上述技术问题，本申请的构思是开发一种能够同时展示多个切片内容的图像展示方法，可以使得医生方便的对多张切片进行对比观察，还能实现多切片内容的同步操作，这样更加方便的标示出同一图像内容在不同染色切片中的图像差别，更加有助于医生的观察判断。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性电子设备和方法

不同染色切片的对比展示系统，所述展示系统包括显微镜、处理器、输入装置以及显示装置，显微镜上安装有限位摄像头用于采集显微镜下的切片图像，显微镜摄像头与处理器电连接，将采集的切片图像传输至处理器存储，处理器与输入装置、显示装置电连接，输入装置接收外部指令，根据外部指令，调用存储在处理器中的图像并显示在显示装置上，还可实现对显示装置上的图像的编辑/保存。显示装置可以是常用的显示器，显示器的显示界面在进行不同染色切片数字图像的对比展示时，至少包括第一显示区域100、第二显示区域200以及第三显示区域300，第三显示区域300的大小是第二显示区域200大小的n倍。当n＝1时，第三显示区域与第二显示区域左右对齐或者上下对齐；当n≠1时，从第三显示区域中划分出k个与所述第二显示区域相同大小的显示区域，k个显示区域分别与第二显示区域左右对齐或者上下对齐。

不同染色切片的对比展示方法，适用于上述对比展示系统，如图1所示，所述展示方法包括：

S10：获取n+1张连续切片；

S20：对所述n+1张连续切片分别采用不同染色方法进行染色，获得n+1张染色切片；

S30：获取n+1张染色切片的数字切片全场图；将染色切片置于显微镜下，通过显微摄像头获取显微镜下染色切片的数字病理全场图；

S40：将所述n+1张数字切片全场图的缩略图展示在所述第一显示区域；

S50：从n+1张数字切片全场图的缩略图中选择1张作为模型切片，其他缩略图作为目标切片；

S60：调取所述模型切片对应的数字切片全场图，展示在所述第二显示区域；

S70：选择目标切片中的其中k张作为参考切片，调取所述参考切片对应的数字切片全场图，展示在所述显示装置的第三显示区域；图2中示出了当n＝1时显示装置的显示区域的分布情况。

S80：独立或同步对所述第二显示区域和第三显示区域的图像进行缩放、标注操作。

输入装置接收图像锁定命令，将所述第二显示区域的图像和第三显示区域m副图像相关联，实现m+1幅图像的同步操作,其中m≤k。

输入装置接收图像解锁命令，将所述第二显示区域的图像和第三显示区域上的图像取消关联，实现k+1幅图像的独立操作。

具体地，第二显示区域图像和相关联的第三显示区域图像的同步操作包括：

1.拖动其中某个图像，相关联的其它图像会跟随移动，图像上的标注也会移动；

2.在其中一个图像上进行标注，相关联的其它图像也会显示一样的标注；

3.缩放其中一个图像，相关联的其它图像也会跟随缩放；

4.选中其中一个图像的标注,相关联的其它图像的同一标注也会被选中；

5.删除其中一个图像上的标注,相关联的其它图像标注也会删除；

6.对其中一个图像进行旋转操作，相关联的其它图像也会跟着旋转。

第二显示区域展示内容包括：所述模型切片的数字切片全场图的全部或局部图像内容，和当前展示内容在所述模型切片的数字切片全场图中的位置图像(如图2中111所示)。所述第三显示区域展示内容包括：所述参考切片的数字切片全场图的全部或局部图像内容，和当前展示内容在对应参考切片的数字切片全场图中的位置图像(如图2中121所示)。这样可以清楚的显示经放大后的图像位于原图像的位置。

在此之前，由于显微摄像头在采集染色切片的图像时，可能获取到的数字图像在角度、方向上存在偏差，这样医生在观察时会产生不便，无法进行相同区域的直接对比，因此需要先对所述第二显示区域显示的数字切片全场图和第三显示区域显示的数字切片全场图进行图像配准，以其中一张全场图作为参考图。可选的，以第二显示区域显示的数字切片全场图作为参考图，以第三显示区域有多张数字切片全场图时，每张作为输入图像，与参考图像进行配准，配准后的图像作为输出图像代替对应输入图像展示在第三显示区域处。

图像配准方法包括：

S110：对两个待配准的数字切片全场图进行特征点提取并生成二维点云，从第一待配准的数字切片全场图提取特征点生成模型点云，从第二待配准的数字切片全场图提取特征点生成场景点云；

S120：采用判别优化算法有监督的学习计算出所述模型点云和场景点云的配准度；所述模型点云和场景点云作为所述两个待配准的数字切片全场图的空间映射关系；

S130：根据所述配准度对两个待配准的数字切片全场图进行图像配准。

图像配准过程采用判别优化算法，判别优化算法是一种基于监督学习的优化算法，主要包括两部分，分别为训练阶段和测试阶段。判别优化算法通过直接从数据中学习一系列更新序列来模拟未知目标函数的梯度方向，并将特征函数h映射到该方向上，用来实现参数的更新。在获取更新序列时，利用求解最小二乘问题的方式，避免了设计损失函数和直接搜索参数空间带来的复杂数学计算。

在具体训练测试时，判别优化算法包括3个步骤，如图4所示：

S121、生成训练数据集，包括模型点云和添加了干扰和噪声后的场景点云；

S122、训练判别优化过程，逐对输入模型点云和场景点云，获得更新序列D；

S123、应用测试数据集，根据最终更新序列D不断更新刚性变换参数，判断最终场景点云与模型点云配准度。

在具体的配准应用时，不需要耗费大量计算时间重新生成更新序列D，算法只需使用经过训练和测试得到的性能比较完善的更新序列D，来迭代得出当前的二维旋转平移参数即可。

因为算法本身的限制，与常规的图像配准相比，本申请中算法增添以下设置：

1.旋转平移参数化

刚性变换通常用非线性约束矩阵进行表示，由于该判别式优化算法属于无约束优化方法，因此如何将具有约束的转换矩阵转变无约束参数矩阵是一个挑战。刚性变换的矩阵可以用李代数进行表示。李代数是一个线性向量空间，其维数与变换的自由度相同；例如，R3是三维刚性变换的李代数。李代数中的每一个元素都通过指数和对数映射与李群中的一个元素相关联。作为一个线性向量空间，李代数无需约束就可以对旋转平移矩阵进行参数化。

2.图像特征点提取和特征向量构建

图像的特征点提取采用LIFT特征描述。LIFT是一种应用深度学习框架来进行特征点描述的算法，总共包含图像特征点检测、方向估计和描述符提取三个部分，每一部分都是基于卷积神经网络(CNN)实现的。与传统的SIFT特征描述符相比，LIFT在亮度和对比度差异明显的图片上仍具有很强的鲁棒性。受到光照或者染色效果的影响时，不同染色方式的切片图像会出现较大差异，特征点检测算法必须保证可以克服巨大的差异性。LIFT特征点检测应用深度学习的思想，通过充足的训练样本使算法模型可以精确鲁棒的进行特征点检测。通过LIFT特征点检测，可以将两张病理图像配准转化为两个二维点云的配准。对于点云配准，本申请中设计了一个直方图表示方法，用每个模型点的“前”和“后”边的场景点的权重作为特征函数h的元素,位于模型点m1前后的场景点计算所得权重组成特征向量h，如图5所示。

通过判别优化算法可以求得模型切片的特征点和目标切片特征点的刚性变换参数，这个刚性变化也是两张图片的配准结果，同时也是选定区域的配准变换。刚性变换参数包含了平移值和旋转值，找到目标切片对应数字全场图中的相应区域，依据刚性变换参数对目标切片对应数字全场图进行调整，并显示在计算机显示器端。示例性电子设备

下面，参考图6来描述本申请实施例的电子设备。该电子设备10可以是集成有输入装置13的电子设备10，或者是与所述输入装置独立的单机设备，该单机设备可以与所述输入装置进行通信，以从输入装置接收所采集到的输入信号。这该电子设备10可以是集成有输出装置14的电子设备10，或者是与所述输出装置独立的单机设备，该单机设备可以与所述输出装置进行通信，以将处理器11处理的图像输出在输出装置14上。输出装置14可以是显示器，用于显示或呈现病理图像。

如图6所示，电子设备10包括一个或多个处理器11和存储器12。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的驾驶行为决策方法以及/或者其他期望的功能。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和系统以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的不同染色切片的对比展示方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的不同染色切片的对比展示方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.不同染色切片的对比展示方法，适用于不同染色切片的对比展示系统，所述展示系统包括显示装置，显示装置包括第一显示区域、第二显示区域以及第三显示区域，第三显示区域的大小至少为第二显示区域大小的n倍，其特征在于，所述展示方法包括：

获取n+1张连续切片；

对所述n+1张连续切片分别采用不同染色方法进行染色，获得n+1张染色切片；

获取n+1张染色切片的数字切片全场图；

将所述n+1张数字切片全场图的缩略图展示在所述第一显示区域；

从n+1张数字切片全场图的缩略图中选择1张作为模型切片，其他缩略图作为目标切片；

调取所述模型切片对应的数字切片全场图，展示在所述第二显示区域；

选择目标切片中的k张作为参考切片，调取所述参考切片对应的数字切片全场图，展示在所述显示装置的第三显示区域，其中k≤n；

独立或同步对所述第二显示区域和第三显示区域的图像进行缩放、标注操作。

2.根据权利要求1所述的不同染色切片的对比展示方法，其特征在于，当n＝1时，第三显示区域与第二显示区域左右对齐或者上下对齐；当n≠1时，从第三显示区域中划分出k个与所述第二显示区域相同大小的显示区域，k个显示区域分别与第二显示区域左右对齐或者上下对齐。

3.根据权利要求1所述的不同染色切片的对比展示方法，其特征在于，还包括：接收图像锁定命令，将所述第二显示区域的图像和第三显示区域m副图像相关联，实现m+1幅图像的同步操作,其中m≤k。

4.根据权利要求3所述的不同染色切片的对比展示方法，其特征在于，还包括：接收图像解锁命令，将所述第二显示区域的图像和第三显示区域上的图像取消关联，实现m+1幅图像的独立操作。

5.根据权利要求4所述的不同染色切片的对比展示方法，其特征在于，还包括：所述第二显示区域展示内容包括：所述模型切片的数字切片全场图的全部或局部图像内容，和当前展示内容在所述模型切片的数字切片全场图中的位置图像。

6.根据权利要求5所述的不同染色切片的对比展示方法，其特征在于，还包括：所述第三显示区域展示内容包括：所述参考切片的数字切片全场图的全部或局部图像内容，和当前展示内容在对应参考切片的数字切片全场图中的位置图像。

7.根据权利要求1所述的不同染色切片的对比展示方法，其特征在于，在所述独立或同步对所述第二显示区域和第三显示区域的图像进行缩放、标注操作前，对所述第二显示区域显示的数字切片全场图和第三显示区域显示的数字切片全场图进行图像配准。

8.根据权利要求7所述的不同染色切片的对比展示方法，其特征在于，所述图像配准的方法包括：

对两个待配准的数字切片全场图进行特征点提取生成二维点云，从第一待配准的数字切片全场图提取特征点生成模型点云，从第二待配准的数字切片全场图提取特征点生成场景点云；

采用判别优化算法有监督的学习计算出所述模型点云和场景点云的配准度；

根据所述配准度对两个待配准的数字切片全场图进行图像配准。

9.一种电子设备，包括

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的不同染色切片的对比展示方法。

10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的不同染色切片的对比展示方法。

Images