CN106446004A - 数字病理全切片图像检索方法 - Google Patents

Abstract

本发明涉及一种数字病理全切片图像检索方法，属于数字图像处理技术领域。本发明针对传统的基于内容的数字病理图像方法难以适用于数字病理全切片检索的问题，发明了一种应用于存储大量数字病理全切片数据库的，适应查询图像尺寸大幅度变化的快速检索方法，能够在临床诊断中，为医生提供准确的参考信息，有效提升病理科医生的诊断质量。

Description

数字病理全切片图像检索方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种数字病理全切片图像检索方法。

背景技术

数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。在临床诊断中，大量的已诊断病理的数字切片被保存起来，形成了宝贵的病例数据库。基于病理图像的癌症诊断是一项对医生诊断经验要求很高的工作，然而我国偏远地区的大部分病理医生还不能准确的利用病理切片对癌症进行诊断，这迫切需要一种计算机辅助诊断算法为医生提供相关的已确诊病例作为诊断参考，并逐步提升其诊断水平。

传统的基于文本的图像检索方法需要用户输入图像的文字描述，并不适用于只有图像信息而病变类型未知的数字病理切片的检索中。为了满足这一需求，数字图像处理与模式识别领域的科学家将基于内容的病理图像检索(Content-based image retrieval,CBIR)方法应用的于数字病理切片中，该方法能够通过对图像本身进行分析，提取关键特征，并利用这些特征计算查询图像与数据库中图像的相似度，从而返回在图像内容上与待诊断病例中的图像最相关的一批图像，供医生进行参考。医生通过对返回的病例进行分析，并与待诊断病例进行对比，最终给出更加可靠的诊断结果。

近年来，国内外学者在基于内容的数字病理图像检索领域进行广泛的研究，所用方法逐渐成熟，已经具备将其应用到临床诊断中的条件。

传统方法流程图如图1所示。

可以看出，当前对数字病理图像检索方面的研究基本停留在独立小规模图像的水平，将其应用到临床应用中，需要解决以下两个关键问题：

1、病理切片一般存储为一个空间上连续的超大规模的数字图像，称为全切片图像(Whole Slide Image,WSI)，图像大小可达90000×90000像素。而医生在诊断过程中通常在待诊断病例的切片中截取一个感兴趣区域(Region of Interest,ROI)作为检索应用的输入，在一次检索中将ROI与数据库中大量WSI的每一区域进行对比显然是不可行。如何在存有大量WSI的数字病例切片库中快速准确的定位到与ROI相似的区域是该应用中的一项关键问题。

2、医生根据诊断需要，所选取ROI的尺寸变化范围很大。当医生关心高倍率下细胞细节时，所截取的ROI区域较小；而在观察病变区域整个组织分布时，所截取的ROI较大，其尺寸要远大于前者。如果对较大ROI进行分析时使用与较小ROI同样的特征表示方法，将会损失掉大量的局部组织信息，导致检索结果不准确。发明一种能够适应ROI尺寸大范围变化的特征表示策略是该应用的另一关键问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何针对传统的基于内容的数字病理图像方法难以适用于数字病理全切片检索的问题，设计一种应用于存储大量数字病理全切片数据库的，适应查询图像尺寸大幅度变化的快速检索方法。

(二)发明内容

为了解决上述技术问题，本发明提供了一种数字病理全切片图像检索方法，包括以下步骤：

首先确定将图像编码为二进制编码矩阵的方法，具体包括步骤1～4：

步骤1.用切片扫描仪将病理切片扫描到电子计算机中得到数字病理全切片，并将数字病理全切片在RGB颜色空间中进行表示；

用到公式如下：

其中I_r(x,y),I_g(x,y),I_b(x,y)分别表示数字病理全切片I在坐标(x,y)位置红绿蓝三个颜色通道的像素值；

步骤2.对数字病理全切片进行分块存储；

令S_ij表示分割后的第i行，第j列的图像块，数字病理全切片图像I表示为：

其中，A表示图像块，m和n分别表示图像块的列数和行数；

步骤3.使用数字图像处理方法，对数字病理全切片提取特征；

用到公式如下：

S_ij＝f(A_ij),

其中，S_ij表示图像块A_ij的特征向量，f(*)代表数字图像特征提取方法；

步骤4.对数字病理全切片图像进行二进制编码，形成二进制编码矩阵；

用到公式如下：

H_ij＝h_b(S_ij),

其中，H_ij为特征向量S_ij的二进制编码，h_b(*)为哈希函数组，b表示哈希函数组中函数的个数，具体为：h_b(*)＝{h₁(*),h₂(*),…,h_b(*)}，函数组中每个哈希函数h_k(*)将特征向量S_ij编码成一位二进制数字，b个哈希函数则生成b位的二进制编码，将数字病理全切片的所有图像块进行二进制编码后，将其表示成一个与图像块的行数和列数相对的二进制编码矩阵，用到公式如下：

其中，H表示数字病理全切片图像的二进制编码矩阵，H_ij表示第i行，第j列的图像块的二进制编码；

步骤5.选取典型已确诊病例建立数据库，将数据库中每个病例的数字病理全切片均使用步骤1～4的方法编码为二进制编码矩阵，将第k张数字病理全切片图像的二进制编码矩阵表示为H^(k)；

步骤6.在诊断过程中，使用感兴趣区域进行检索；

在使用病理全切片进行诊断时，随时截取感兴趣的图像区域检索，这一区域称为查询图像，用I^(Q)表示，检索的步骤为：

A.使用步骤1～4的方法对查询图像I^(Q)进行编码，生成二进制编码矩阵H^(Q)；

B.使用图像块的二进制编码查找备选区域；

C.在备选区域中查找与查询图像I^(Q)最为相似的区域。

优选地，在步骤C中，定义基于二进制编码矩阵的相似性度量算法公式如下：

其中，代表第l个备选区域的二进制编码矩阵，m_q和n_q分别表示查询图像中包含图像块的行数和列数，H_rc表示查询图像的二进制编码矩阵中第r行，第c列的二进制编码，H_ij表示备选区域图像的二进制编码矩阵中第i行，第j列的二进制编码，hamming(X,Y)表示汉明距离，其输入X,Y为二进制编码，计算结果为X和Y中编码位数不相同的个数；

使用公式(1)计算查询图像与步骤B中产生的所有备选区域的差异度并对其进行从小到大排序，按照需求返回最为相似的前N个备选区域及其所在的切片作为检索最终结果。

(三)有益效果

本发明设计了一种应用于存储大量数字病理全切片数据库的，适应查询图像尺寸大幅度变化的快速检索方法，该方法中将数字病理全切片分割成等大小的图像块进行二进制编码；在检索时，利用两步搜索策略。首先使用图像块的二进制编码在整个全切片数据库中定位一些与查询图像大小相等的备选区域，然后利用本发明提出的相似性度量方法在备选区域中进行精确查找，得到检索结果。该方法能够在临床诊断中，为医生提供准确的参考信息，有效提升病理科医生的诊断质量。

附图说明

图1为传统检索方法流程图；

图2为本发明实施例的检索方法流程图；

图3为本发明实施例的检索方法与传统检索方法对比图；

图4为本发明实施例中检索算法框图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

参照图2和图3，本发明实施例提出的一种数字病理全切片图像检索方法，涉及病理图像特征提取和基于内容的数字图像检索技术，该方法包括以下步骤：

首先确定将图像编码为二进制编码矩阵的方法，包括步骤1～4：

步骤1.用切片扫描仪将病理切片扫描到电子计算机中得到数字病理全切片，将数字病理全切片图像在RGB颜色空间中进行表示；

数字病理全切片是由专用的切片扫描仪将病理切片扫描并存储在计算机中的病理图像，并通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，从而获得了图像的数据信息，这些数据信息是数字病理全切片检索技术的基础，用到公式如下：

其中I_r(x,y),I_g(x,y),I_b(x,y)分别表示数字病理全切片I在坐标(x,y)位置红绿蓝三个颜色通道的像素值。

步骤2.对数字病理全切片进行分块存储；

为了便于存储和后续处理，数字病理全切片图像在计算机中一般被分割成等大小的图像块进行存储，单个图像块的大小根据实际需要和计算机的处理能力而定。本发明中使用的数字病理图像块大小为512×512像素，但本发明方法可以使用的图像块大小不限于512×512。令S_ij表示分割后的第i行，第j列的图像块，数字病理全切片图像I可以表示为：

其中，A表示图像块，m和n分别表示图像块的列数和行数。

步骤3.使用数字图像处理方法，对数字病理全切片提取特征；

在步骤2中已经将数字病理全切片分块存储，在对其提取特征时可以对每个图像块分别处理，达到简化计算的目的。特征提取用到公式如下：

S_ij＝f(A_ij),

其中，S_ij表示图像块A_ij的特征向量，f(*)代表数字图像特征提取方法，可以选用但不限于图像颜色、形状、纹理、频谱以及基于语义分析和深度学习的高级图像特征提取方法。

步骤4.对数字病理全切片图像进行二进制编码，形成二进制编码矩阵；

为了节省存储空间，提高检索效率，通常对图像特征向量进行进一步处理，生成更为简洁的二进制编码，这一过程称为哈希编码，用到公式如下：

H_ij＝h_b(S_ij),

其中，H_ij为特征向量S_ij的二进制编码，h_b(*)为哈希函数组，b表示哈希函数组中函数的个数，具体为:h_b(*)＝{h₁(*),h₂(*),…,h_b(*)}，函数组中每个哈希函数h_k(*)将特征向量S_ij编码成一位二进制数字，b个哈希函数则可以生成b位的二进制编码，每个二进制数字在计算机中只需一个比特存储，b位二进制编码在计算机中只占据b比特的存储空间。本发明的哈希函数h_k(*)可选用但不限于：局部敏感哈希、谱哈希，核哈希以及基于机器学习的哈希算法。将数字病理全切片的所有图像块进行二进制编码后，可以将其表示成一个与图像块的行数和列数相对的二进制编码矩阵，用到公式如下：

其中，H表示数字病理全切片图像的二进制编码矩阵，H_ij表示第i行，第j列的图像块的二进制编码。

步骤5.选取典型已确诊病例建立数据库，将数据库中每个病例的数字病理全切片均使用上述1～4步的方法编码为二进制编码矩阵，为了便于区分每张切片的二进制编码，这里将第k张数字病理全切片图像的二进制编码矩阵表示为H^(k)。

步骤6.医生在诊断过程中，使用感兴趣区域进行检索；

医生在使用病理全切片进行诊断时，可以随时截取感兴趣的图像区域检索，这一区域称为查询图像，用I^(Q)表示。检索的整个流程附件2所示，具体步骤为：

A.使用步骤1～4所述方法对查询图像I^(Q)进行编码，生成二进制编码矩阵H^(Q)，为了便于展示，图4中将二进制编码以十进制数字显示；

B.使用图像块的二进制编码查找备选区域。在步骤5建立的检索数据库中，查找与H^(Q)中二进制编码相同的图像块，并提取包含这些图像块的、与查询图像I^(Q)大小相等的图像区域作为检索结果的备选区域。

C.在备选区域中查找与查询图像I^(Q)最为相似的区域。定义基于二进制编码矩阵的相似性度量算法，用到公式如下：

其中，代表第l个备选区域的二进制编码矩阵，m_q和n_q分别表示查询图像中包含图像块的行数和列数，H_rc表示查询图像的二进制编码矩阵中第r行，第c列的二进制编码，H_ij表示备选区域图像的二进制编码矩阵中第i行，第j列的二进制编码，hamming(X,Y)表示汉明距离，其输入X,Y为二进制编码，计算结果为X和Y中编码位数不相同的个数，汉明距离越小，说明X,Y越相似，汉明距离为0表示X,Y相等。例如：X＝01001,Y＝01010(不同的位数用粗体显示),则hamming(X,Y)＝2。公式(1)直观理解为：对查询图像中的每一个图像块，在备选区域中查找与之最为相似的图像块，并计算二者的差异度D，作为此查询图像块与备选区域的相似度衡量标准；将查询图像中所有图像块均与备选区域的差异度加和，作为查询图像与备选图像的差异度。差异度越小代表越相似。

使用公式(1)计算查询图像与上述步骤B中产生的所有备选区域的差异度并对其进行从小到大排序。按照医生的需求返回最为相似的前N个备选区域及其所在的切片作为检索最终结果，返回给医生，作为医生的诊断参考。

由以上实施例可以看出，本发明方法中将数字病理全切片分割成等大小的图像块进行二进制编码；并在检索时，利用两步搜索策略。首先使用图像块的二进制编码在整个全切片数据库中定位一些与查询图像大小相等的备选区域，然后利用本发明提出的相似性度量方法在备选区域中进行精确查找，得到检索结果。该方法能够在临床诊断中，为医生提供准确的参考信息，有效提升病理科医生的诊断质量。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种数字病理全切片图像检索方法，其特征在于，包括以下步骤：

首先确定将图像编码为二进制编码矩阵的方法，具体包括步骤1～4：

步骤1.用切片扫描仪将病理切片扫描到电子计算机中得到数字病理全切片，并将数字病理全切片在RGB颜色空间中进行表示；

用到公式如下：

$I(x,y)=\left\{\begin{array}{c}{I}_r(x,y)\\ I_g(x,y)\\ I_b(x,y)\end{array}\right.$

其中I_r(x,y),I_g(x,y),I_b(x,y)分别表示数字病理全切片I在坐标(x,y)位置红绿蓝三个颜色通道的像素值；

步骤2.对数字病理全切片进行分块存储；

令S_ij表示分割后的第i行，第j列的图像块，数字病理全切片I表示为：

其中，A表示图像块，m和n分别表示图像块的列数和行数；

步骤3.使用数字图像处理方法，对数字病理全切片提取特征；

用到公式如下：

S_ij＝f(A_ij),

其中，S_ij表示图像块A_ij的特征向量，f(*)代表数字图像特征提取方法；

步骤4.对数字病理全切片图像进行二进制编码，形成二进制编码矩阵；

用到公式如下：

H_ij＝h_b(S_ij),

其中，H_ij为特征向量S_ij的二进制编码，h_b(*)为哈希函数组，b表示哈希函数组中函数的个数，具体为：h_b(*)＝{h₁(*),h₂(*),…,h_b(*)}，函数组中每个哈希函数h_k(*)将特征向量S_ij编码成一位二进制数字，b个哈希函数则生成b位的二进制编码，将数字病理全切片的所有图像块进行二进制编码后，将其表示成一个与图像块的行数和列数相对的二进制编码矩阵，用到公式如下：

其中，H表示数字病理全切片图像的二进制编码矩阵，H_ij表示第i行，第j列的图像块的二进制编码；

步骤5.选取典型已确诊病例建立数据库，将数据库中每个病例的数字病理全切片均使用步骤1～4的方法编码为二进制编码矩阵，将第k张数字病理全切片图像的二进制编码矩阵表示为H^(k)；

步骤6.在诊断过程中，使用感兴趣区域进行检索；

在使用病理全切片进行诊断时，随时截取感兴趣的图像区域检索，这一区域称为查询图像，用I^(Q)表示，检索的步骤为：

A.使用步骤1～4的方法对查询图像I^(Q)进行编码，生成二进制编码矩阵H^(Q)；

B.使用图像块的二进制编码查找备选区域；

C.在备选区域中查找与查询图像I^(Q)最为相似的区域。

2.如权利要求1所述的方法，其特征在于，在步骤C中，定义基于二进制编码矩阵的相似性度量算法公式如下：

$D\left(H^{\left(Q\right)},H_l^{\left(P\right)}\right)={\mathrm{\Σ}}_{r=1}^{m_q}{\mathrm{\Σ}}_{c=1}^{n_q}\left({\min }_{H_{ij}\∈H_l^{\left(P\right)}}ham\min g\left(H_{rc},H_{ij}\right)\right),---\left(1\right)$

其中，代表第l个备选区域的二进制编码矩阵，m_q和n_q分别表示查询图像中包含图像块的行数和列数，H_rc表示查询图像的二进制编码矩阵中第r行，第c列的二进制编码，H_ij表示备选区域图像的二进制编码矩阵中第i行，第j列的二进制编码，hamming(X,Y)表示汉明距离，其输入X,Y为二进制编码，计算结果为X和Y中编码位数不相同的个数；

使用公式(1)计算查询图像与步骤B中产生的所有备选区域的差异度并对其进行从小到大排序，按照需求返回最为相似的前N个备选区域及其所在的切片作为检索最终结果。