CN105740378A - 一种数字病理全切片图像检索方法 - Google Patents

Abstract

本发明公开了一种数字病理全切片图像检索方法，应用于数字病理全切片图像数据库，所述方法包括：对数据库中数字病理全切片图像提取离散SIFT特征点的位置以及SIFT特征向量；使用LDA模型得到每个SIFT特征点的高层语义特征值；以有重叠的滑窗方法选取备选区域，统计每个备选区域内的所有SIFT特征点的语义特征值得到备选区域的语义表示向量；将查询图像视为一个区域，使用相同的方法得到查询图像的语义表示向量，计算查询图像的语义表示向量与所有备选区域的语义表示向量的余弦距离并对这些距离排序，返回距离最小的若干区域。本发明能为病理医生提供诊断参考信息，可用于数字病理全切片图像数据库管理查询系统和计算机辅助诊断。

Description

一种数字病理全切片图像检索方法

技术领域

一种数字病理全切片图像检索方法，属于数字图像处理与机器学习领域，特别涉及尺度不变特征变换(Scale-invariantfeaturetransform,SIFT)等数字图像处理技术，以及基于内容的图像检索、潜在狄利克雷分配(LatentDirichletAllocation,LDA)等机器学习技术。

背景技术

数字病理全切片图像(以下简称全切片)是将传统的玻璃病理切片通过全自动显微镜或光学放大系统扫描采集得到的大尺寸高分辨数字图像，是病理医生在诊断时的重要依据。近年来，随着病理学和计算机技术的发展，数字病理全切片图像的数量迅速增长，从全切片数据库中查找与一张未诊断的小尺寸病理图像类似的全切片区域对病理医生有很大诊断参考价值，这需要基于内容的病理图像检索系统实现，但是目前基于内容的病理图像检索算法大都面向小尺寸病理图像数据库，不符合病理切片的存储习惯。为了解决病理全切片检索问题进而在计算机辅助诊断起到重大作用，有必要提出一种面向全切片的检索框架。

针对在全切片数据库中检索小图像时如何选择备选区域的问题，国内外学者进行了广泛的研究，目前有三类方法：1、请病理专家在每张全切片中标记备选区域，这种方法结果准确，但需要花费专家的大量时间，在大规模数据库中无法实现；2、设计算法自动在全切片中选择备选区域，这种方法受限于选择算法，可能会丢失重要区域；3、将全切片直接分割为互不重叠的备选区域，这种方法没有考虑完整结构被分割到多个备选区域的情况，同样可能丢失重要结构。在没有准确的区域预选择方法的前提下，应当考虑尽量多的备选区域。

针对图像的表示问题，目前有两类方法：1、直接使用底层特征表示图像，但是底层特征与人类对图像理解有很大差异，不能准确概括图像内容，影响图像检索精度；2、语义模型表示图像，语义模型一般是对底层特征的总结概括，更符合人类思维，提高图像检索精度。

发明内容

(一)要解决的技术问题

本发明提供一种数字病理全切片图像检索方法，流程如图1所示。本方法对象为全切片(尺寸巨大，可达100000×100000)数据库与病理查询图像(大小在2000×2000以下)，在线下训练阶段，本方法对数据库中全切片提取离散SIFT特征点的位置以及SIFT特征向量，并使用LDA模型计算每个SIFT特征向量得到对应的SIFT特征点的语义特征值，然后用有重叠的滑窗方法在全切片中选取备选区域，统计位于每个备选区域内所有SIFT特征点的语义特征值，得到对应备选区域的语义表示向量；在线上检索阶段，本方法将查询图像视为一个区域，使用与线下训练阶段相同的方法得到查询图像的语义表示向量，然后计算查询图像的语义表示向量与所有备选区域的语义表示向量的余弦距离，返回距离最小的若干备选区域，以及这些区域所在的切片和区域在切片中的位置。本发明不需要人工标注即可达到较高检索准确率，由于数据库中切片已经附带的诊断信息可以为查询图像的诊断提供参考，所以本发明能用于大型切片数据库的计算机辅助诊断系统。

(二)技术方案

一种数字病理全切片图像检索方法，其特征在于包括以下具体步骤：

步骤一、在线下训练阶段，对数据库中全切片提取离散SIFT特征点的位置以及SIFT特征向量。

步骤二、使用LDA模型计算步骤一得到的每个SIFT特征向量得到对应的SIFT特征点的语义特征值。

步骤三、用有重叠的滑窗方法在全切片中选取备选区域，统计位于每个备选区域内的所有SIFT特征点的步骤二得到的语义特征值，得到对应备选区域的语义表示向量。

步骤四、在线上检索阶段，将查询图像视为一个区域，使用步骤一到步骤三中的方法得到查询图像的语义表示向量。

步骤五、计算步骤四得到的查询图像的语义表示向量与步骤三得到的所有备选区域的语义表示向量的余弦距离，返回距离最小的若干备选区域，以及这些区域所在的全切片和区域在全切片中的位置。

(三)有益效果

本发明能在大尺寸切片图像数据库中检索小尺寸查询图像，并反馈相似区域及其位置；通过滑窗方法在全切片中寻找备选区域的策略能改善传统病理图像检索算法无法整体考虑全切片、损失备选区域的问题，更加适用于病理切片；SIFT特征是图像的局部描述子，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；LDA模型可以提取病理图像中的语义信息，按照人类的理解准确描述图像，提升检索准确率；余弦距离可以反映向量之间的相似度，从而得到与查询图像最相似的备选区域。本发明所提框架可以在大规模病理切片数据库中取得准确检索效果，为病理医生提供诊断参考。

附图说明

图1：本发明的检索框架流程图；

图2：SIFT特征点位置示意，(a)为原始病理图像，(b)为提取SIFT特征结果，圆圈中心为SIFT特征点位置。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。

本发明是一种数字病理全切片图像检索方法，该方法主要包括以下几个步骤：

1.在线下训练阶段，对数据库中全切片提取离散SIFT特征点的位置以及SIFT特征向量。

2.使用LDA模型计算步骤1得到的每个SIFT特征向量得到对应的SIFT特征点的语义特征值。

3.用有重叠的滑窗方法在全切片中选取备选区域，统计位于每个备选区域内的所有SIFT特征点的步骤2得到的语义特征值，得到对应备选区域的语义表示向量。

4.在线上检索阶段，将查询图像视为一个区域，使用步骤1到步骤3中的方法得到查询图像的语义表示向量。

5.计算步骤4得到的查询图像的语义表示向量与步骤3得到的所有备选区域的语义表示向量的余弦距离，返回距离最小的若干备选区域，以及这些区域所在的全切片和区域在全切片中的位置。

本发明的具体实现流程如图1所示，各部分具体实施细节如下：

1.在线下训练阶段，对数据库中全切片提取离散SIFT特征点的位置以及SIFT特征向量

本发明使用经典的尺度不变特征变换SIFT作为底层图像特征，SIFT特征检测主要包括以下4个基本步骤：(1)尺度空间极值检测，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。(2)关键点定位，在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。(3)方向确定，基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。(4)关键点描述，在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。最终数据库中全切片的每个SIFT特征点的位置定义为特征所在全切片以及特征在全切片中的横纵坐标，SIFT特征向量以128维向量表示。一幅病理图像中的SIFT特征点位置如图2所示。SIFT特征点位置及SIFT特征向量表示公式为

l_i＝[s_i,x_i,y_i],f_i＝[f₁ ⁽ⁱ⁾,f₂ ⁽ⁱ⁾,…,f₁₂₈ ⁽ⁱ⁾],(1)

其中l_i表示表示数据库中第i个SIFT特征点位置，该位置位于第s_i个全切片中，横坐标为x_i，纵坐标为y_i，f_i表示数据库中第i个SIFT特征点的SIFT特征向量，f_k ⁽ⁱ⁾表示f_i的第k维(k＝1,2,…128)。

2.使用LDA模型计算步骤1得到的每个SIFT特征向量对应的SIFT特征点的语义特征值LDA模型是本发明的核心，能通过训练大量数据将底层特征转化为高层语义特征，图像的底层特征一般不符合人类对图像内容的理解，对底层特征的相似度计算也不能准确反映图像真实的相似性，但将底层特征转化为高层语义特征后这些问题都得到很大程度改善。LDA将一幅图像视为一篇文档，通过聚类的方法将所有图像包含的局部特征描述子抽象为一个字典，每一个聚类中心称为字典中的视觉单词，每一幅图像形成一个关于视觉单词的特征表示，通过挖掘潜藏在文档和单词中的主题分布，利用主题更为准确地表示图像内容。LDA的参数可以通过全切片数据训练进行优化，使模型有最好的表现，同时训练好的LDA模型被存储，在线上检索阶段再次使用。最终LDA得到的语义特征公式为

t_i＝F_K(f_i)＝k,k∈1,2,…,K(2)

其中t_i表示数据库中第i个SIFT特征点的语义特征值，F_K表示参数为正整数K的LDA模型，t_i是一个取值范围为1到K之间的正整数，t_i的位置与f_i相同。

3.用有重叠的滑窗方法在全切片中选取备选区域，统计位于每个备选区域内的步骤2得到的所有SIFT特征点的语义特征值，得到对应备选区域的语义表示向量

设置窗口大小为W×W，步长为P(P<W)，在数据库中每个全切片内横纵滑动窗口，可以得到相互有重叠的备选区域，以这些备选区域代表全切片，P越小，备选区域越多，结果越准确，但计算量与查询时间也更长。备选区域的语义表示为

L_i＝[S_i,X_i,Y_i],R_i＝[n₁ ⁽ⁱ⁾,n₂ ⁽ⁱ⁾,…,n_K ⁽ⁱ⁾],(3)

其中L_i表示数据库中第i个备选区域的位置，该位置位于第S_i个全切片中，左上角横坐标为X_i，纵坐标为Y_i，R_i表示数据库中第i个备选区域的语义表示向量，是一个K维直方图向量，n_k ⁽ⁱ⁾表示在据库中第i个备选区域内主题为k的SIFT特征点个数，计算公式为

${n_k}^{\left(i\right)}=\underset{s_j=S_i,X_i<x_j<X_i+W,Y_i<y_j<Y_i+W}{\&Sigma;}1(t_j=k),---\left(4\right)$

其中1(t_j＝k)当且仅当t_j＝k时为1，其他情况为0。

4.在线上检索阶段，将查询图像视为一个区域，使用步骤1到步骤3中的方法得到查询图像的语义表示向量

对查询图像的处理过程与训练阶段的一个备选区域基本一致，提取查询图像，使用训练阶段得到的LDA模型得到查询图像中的语义特征，并统计得到K维查询图像的语义表示向量R_Q，公式为

R_Q＝[m₁,m₂,…,m_K],(5)

其中m_k表示在查询图像内主题为k的SIFT特征点个数。

5.计算步骤4得到的查询图像的语义表示向量与步骤3得到的所有备选区域的语义表示向量的余弦距离，返回距离最小的若干备选区域，以及这些区域所在的全切片和区域在全切片中的位置

本发明通过计算余弦距离倒数获得相似度计算可以通过多种方法，例如经典的欧氏距离、余弦距离等，然后对所有相似度进行排序，检索结果即为相似度最大(距离最小)的前若干区域，以及这些区域所在的切片和区域在切片中的位置。查询图像的语义表示向量与备选区域的语义表示向量的余弦距离定义公式为

$d_i=\frac{R_Q\&CenterDot;R_i}{\left|R_Q\right|\&CenterDot;\left|R_i\right|},---\left(6\right)$

其中d_i表示查询图像的语义表示向量R_Q与数据库中第i个备选区域的语义表示向量R_i的余弦距离，对所有备选区域按照d_i由小到大顺序排序，定义d_(i)表示排序后的第i个备选区域的距离，L_(i)表示排序后的第i个备选区域的位置，则L₍₁₎,…,L_(T)即为检索结果，其中T为正整数表示返回结果个数。

本发明可应用于数字病理全切片图像数据库管理查询系统和计算机辅助诊断。

Claims (4)

1.一种数字病理全切片图像检索方法，应用于数字病理全切片图像数据库，其特征在于包括以下步骤：

(1)在线下训练阶段，对数据库中全切片提取离散SIFT特征点的位置以及SIFT特征向量；

(2)使用LDA模型计算步骤(1)得到的每个SIFT特征向量得到对应的SIFT特征点的语义特征值；

(3)用有重叠的滑窗方法在全切片中选取备选区域，统计位于每个备选区域内的所有SIFT特征点的步骤(2)得到的语义特征值，得到对应备选区域的语义表示向量；

(4)在线上检索阶段，将查询图像视为一个区域，使用步骤(1)到步骤(3)中的方法得到查询图像的语义表示向量；

(5)计算步骤(4)得到的查询图像的语义表示向量与步骤(3)得到的所有备选区域的语义表示向量的余弦距离，返回距离最小的若干备选区域，以及这些区域所在的全切片和区域在全切片中的位置。

2.根据权利要求1所述的一种数字病理全切片图像检索方法，其特征是：所述步骤(2)使用LDA模型计算步骤(1)得到的每个SIFT特征向量对应的SIFT特征点的语义特征值，其方法是采用公式

t_i＝F_K(f_i)＝k,k∈1,2,…,K(2)

其中t_i表示数据库中第i个SIFT特征点的语义特征值，F_K表示参数为正整数K的LDA模型，表示数据库中第i个SIFT特征点的SIFT特征向量，t_i是一个取值范围为1到K之间的正整数，t_i的位置与f_i相同。

3.根据权利要求1所述的一种数字病理全切片图像检索方法，其特征是：所述步骤(3)以有重叠的滑窗方法在全切片中选取备选区域，统计位于每个备选区域内的所有SIFT特征点的步骤(2)得到的语义特征值，得到对应备选区域的语义表示向量，其公式为

L_i＝[S_i,X_i,Y_i],R_i＝[n₁ ⁽ⁱ⁾,n₂ ⁽ⁱ⁾,…,n_K ⁽ⁱ⁾],(3)

其中L_i表示数据库中第i个备选区域的位置位于第S_i个全切片中，左上角横坐标为X_i，纵坐标为Y_i，R_i表示数据库中第i个备选区域的语义表示向量，是一个K维直方图向量，n_k ⁽ⁱ⁾表示在据库中第i个备选区域内主题为k的SIFT特征点个数，计算公式为

${n_k}^{\left(i\right)}=\underset{s_j=S_i,X_i<x_j<X_i+W,Y_i<y_j<Y_i+W}{\&Sigma;}1(t_j=k),---\left(4\right)$

其中1(t_j＝k)当且仅当t_j＝k时为1，其他情况为0。

4.根据权利要求1所述的一种数字病理全切片图像检索方法，其特征是：所述步骤(5)计算步骤(4)得到的查询图像的语义表示向量与步骤(3)得到的所有备选区域的语义表示向量的余弦距离，d_i表示查询图像的语义表示向量R_Q与数据库中第i个备选区域的语义表示向量R_i的余弦距离，对所有备选区域按照d_i由小到大顺序排序，定义定义d_(i)表示排序后的第i个备选区域的距离，L_(i)表示排序后的第i个备选区域的位置，则L₍₁₎,…,L_(T)即为检索结果，其中T为正整数表示返回结果个数。