CN106157294A - 一种用于消化道肿瘤内镜图像识别的方法及应用 - Google Patents

Abstract

本发明涉及用于消化内镜图像识别的方法，及其在基于消化内镜图像的胃肠道肿瘤诊断中的应用。所述的方法分别改进了基于消化内镜图像的特征点的提取与相应的图像内部结构的建立，以及基于消化内镜图像的图的核算法以及复杂度计算方法等步骤；根据技术方案的不同，既避免了构建的图节点数过大的问题也解决了使用所有像素点会抓取很多没有必要的细节信息的问题；不但能避免将所有像素都看作节点的问题，还可以抓取一个消化内镜图像潜在的纹理信息；这些图像的分层信息与生物学结构分层信息呈一一对应关系。改进后的核算法的计算效率都比较高，不但能抓取节点标记信息的缺陷，还将能够有效地解决核算法针对同一对图的核值可能不是唯一的值的缺陷。

Description

一种用于消化道肿瘤内镜图像识别的方法及应用

技术领域

本发明涉及图像识别技术，更具体地说，涉及一种用于消化内镜图像识别的方法，及其在基于消化内镜图的胃肠道肿瘤诊断中的应用。

背景技术

目前计算机技术已被广泛应用于医学领域，如何使用计算机技术对医学图像进行数字化分析，辅助临床医师发现病灶。

现有技术公开了一些关于纹理特征及其描述的算法研究，也包括算法的应用及改进研究，例如基于Gabor滤波器的方法，符合人类视觉感知系统的特性和人眼生理视觉的特点，是纹理图像分析的重要发展方向。

现有技术公开的方法各有优缺点，而且在实际应用中许多纹理特征提取算法存在正确分类低，计算复杂，参数选择困难等问题，这些问题在一定程度上制约了这些算法的应用。

一幅消化内镜图像往往含有大量的信息，目前大部分基于图论的消化内镜图像分析算法都是将每一个消化内镜图像的像素作为一个图的节点，并对任意相邻的一对节点进行连接建立图的边。因此，这个边表达了消化内镜图像中像素与像素间的邻接关系。在建立了图的邻接关系后，可以通过对相邻两个节点代表的像素的信息进行计算来建立每一条边的权重。这个权重表达了图像中是像素与像素间的相似程度。

虽然这种构建图的方式可以极大的保留一个消化内镜图像的原始信息，然而针对每个像素都建立一个节点将会包括很多没有必要的局部信息，同时，对于一个分辨率比较高的消化内镜图像，这种方式还会使得构建的图的尺寸非常大并付出很大的计算量。因此，如何构建一个能有效表达消化内镜图像的特征并且尺寸不是很大的图是本课题要解决的首要问题。

目前，计算复杂网络的复杂度的方法都是基于单值(single-value based)的复杂度计算，例如各种已有的图的熵(graph entropy)和基于热力学深度(heat flow thermodynamic depthcomplexity)的网络复杂度方法。这些算法都不能够反映出复杂网络的内部拓扑结构和多维的复杂度信息。即，这些复杂度计算方法只能为一个图提供一个有限的、一维的信息。因此，这些算法都不能全面体现出一个图的信息。而且，这些复杂度计算方法的计算效率非常低，当针对尺寸比较大的图(例如节点数超过500)这些算法往往要付出很大的计算量。这些缺陷大大限制了图的复杂度计算方法的应用。

目前，基于图的核算法包括有向图的、无向图的、有标记的和无标记的图的核算法。然而，这些基于R-convolution的核算法都有一些固有的缺陷：

(1)将一个图分解成子结构本身就有可能付出很高的计算复杂度；

(2)如果一对子图的尺寸比较大，计算这两个子图是否同形也需要付出很大的计算量。

为了解决这些缺陷，现有的核算法都使用尺寸比较小的子图来进行同形匹配，然而这样做带来了另一个缺陷，即一个尺寸比较小的子图只能表达出一个图有限的信息。

另外，现有的核算法还有一个缺陷：只考虑那些同形的子图，从而丢弃了那些异形的子图。

这些缺陷都限制了现有的核算法性能，并使得这些核算法不能够真正地体现出一对图的相似度，无法平衡既能准确表达图的相似度又有很高的计算效率的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种准确高效的用于消化内镜图像识别的方法，及其在基于消化内镜图像的胃肠道肿瘤诊断中的应用。

本发明的技术方案如下：

一种用于消化内镜图像识别的方法，包括如下步骤：

1)提取消化内镜图像的纹理特征，构建图像内部结构；

2)对图像内部结构进行分析、分类，得到病灶的判断结果；

步骤1)将消化内镜图像分割为若干区域，在区域中选取特征点，将特征点作为节点，或者，将区域作为节点，连接任意相邻的两个节点，得到消化内镜图像的纹理特征。

作为优选，对消化内镜图像进行分割的方法为：将消化内镜图像的每一个像素都作为一个前期处理图的节点，计算每个节点间的灰阶相似度信息，计算任意两个节点在前期处理图中的相似度，将达到预设相似度阀值的节点进行聚类，将相邻并且属于同一类的节点聚类为同一个分割的区域；

其中，相似度为前期处理图的连接两个节点的边的权重值。

作为优选，通过核算法对图像内部结构进行分析，具体为：基于概率论和信息论，利用经典延森-香农分歧(classical Jensen-shannon divergence,CJSD)计算待识别的消化内镜图像与用于参照的消化内镜图像的相似度；并且使用基于任意漫步(random walk)的香农熵(Shannonentropy)和基于节点度数(vertex degree)的冯纽曼熵(von Neumann entropy)计算待识别的消化内镜图像与用于参照的消化内镜图像基于延森-香农分歧的相似度。

作为优选，进一步，使用基于树的标记算法加强待识别的消化内镜图像与用于参照的消化内镜图像的节点标记信息，然后计算出它们相应的概率分布已经香农熵，最后使用经典的香农分歧计算待识别的消化内镜图像与用于参照的消化内镜图像的熵的相似值，并作为待识别的消化内镜图像与用于参照的消化内镜图像的核值。

作为优选，基于量子物理理论，利用量子延森-香农分歧(quantum Jensen-Shannondivergence，QJSD)衡量待识别的消化内镜图像与用于参照的消化内镜图像的量子状态的距离；并且使用基于连续量子随机漫步(continuous-time quantum walk)的冯纽曼熵(von Neumannentropy)来计算待识别的消化内镜图像与用于参照的消化内镜图像基于量子延森-香农分歧的距离。

作为优选，进一步，使用图匹配的算法找出待识别的消化内镜图像与用于参照的消化内镜图像的节点间的对应信息，确定待识别的消化内镜图像与用于参照的消化内镜图像的节点间的匹配信息，计算出待识别的消化内镜图像与用于参照的消化内镜图像基于节点间匹配信息的混合量子状态矩阵。

作为优选，步骤1)中，如果构建图像内部结构带权重，则将带权重的图像内部结构的转化为有向的图结构；根据预设的规则，判断有向的图结构是否具有相应的病灶，得到判断结果；

其中，权重值为消化内镜图像的任意两个节点间的相似度，两个节点通过边进行连接，则相似度为边的权重值。

作为优选，有向的图结构为带权重的图像内部结构的点边转置图，权重为点边转置图的每个节点的标记。

作为优选，点边转置图的获取方法为：将带权重的图像内部结构的边转换为节点，将带权重的图像内部结构的节点转换为边。

所述的用于消化内镜图像识别的方法在基于消化内镜图的像胃肠道肿瘤诊断中的应用。

本发明的有益效果如下：

本发明所述的用于消化内镜图像识别的方法，分别改进了基于消化内镜图像的特征点的提取与相应的图像内部结构的建立，以及基于消化内镜图像的图的核算法以及复杂度计算方法等步骤；根据技术方案的不同，既避免了构建的图节点数过大的问题也解决了使用所有像素点会抓取很多没有必要的细节信息的问题；不但能避免将所有像素都看作节点的问题，还可以抓取一个消化内镜图像潜在的纹理信息；这些图像的分层信息与生物学结构分层信息呈一一对应关系，而当使用消化内镜图像对患者进行评估的时候，这些分层的信息对于病理的诊断非常重要。改进后的核算法的计算效率都比较高，不但能抓取节点标记信息的缺陷，还将能够有效地解决核算法针对同一对图的核值可能不是唯一的值的缺陷。

具体实施方式

以下结合实施例对本发明进行进一步的详细说明。

实施例1

本发明为了解决现有技术存在的不足，提供一种用于消化内镜图像识别的方法，包括如下步骤：

1)提取消化内镜图像的纹理特征，构建图像内部结构；

2)对图像内部结构进行分析、分类，得到病灶的判断结果。

关于步骤1)构建图像内部结构的算法，目前，比较流行的算法是将一个消化内镜图像所有的像素点都作为一个图的节点，并连接任意两个相邻的节点作为图的边。由于消化内镜图像的每一个像素都包含了灰度信息，为了能够通过不同像素的灰度信息抓取内镜(内镜)图像的纹理信息，可以使用一些算法来计算任意邻接的两个像素(即，任意一对图的邻接节点)的相似度，这个相似度可作为连接这两个像素所代表的节点的边的权重。由此，对于每一个消化内镜图像都可以构建一个带权重的图像内部结构(即，每条边都有一个权重来表达被这条边所连接的一对节点间的信息)。这种算法虽然最大限度保留每个消化内镜图像的像素信息，但同时很多一些完全没有必要的细节信息也被保留下来。此外，这种构建图像内部结构的方式还有一个极大缺点，那就是对于一个分辨率比较高的消化内镜图像，所构建的图像内部结构的尺寸可能非常大，从而需要付出很大的计算量。例如，对于一个分辨率为100乘以100的消化内镜图像，其相应的图像内部结构将会有10000个节点。在图理论中，当面对节点数量超过500的图时，几乎大部分算法都很难高效地完成计算，对于节点数量超过10000的图所要付出的计算复杂度往往是不能够接受的。当面对那些高分辨率的消化内镜图像时，这个缺点将极大限制使用基于图理论方法在消化内镜图像分析上的应用。

因此，本发明提供了一种构建能有效表达消化内镜图像的特征并且尺寸不是很大的图像内部结构的方法。

步骤1)将消化内镜图像分割为若干区域，在区域中选取特征点，将特征点作为节点。对于一幅消化内镜图像，为了避免将所有的像素都作为节点考虑使用Harris和SIFT方法来选取节点。Harris和SIFT方法都是经典的、可以在图像上选取特征点的算法。这些算法可以对一个图像的某个区域选择一个具有代表性的节点，由于这个具有代表性的节点是通过衡量这个区域内所有像素的信息选取出来的。因此，这个节点可以代表这个区域像素的主要信息。同时，由于避免了将每个像素都作为要构建的图像内部结构的节点，既避免了构建的图像内部结构的节点数过大的问题，也解决了使用所有像素点会抓取很多没有必要的细节信息的问题。对于一个消化内镜图像和它相应的基于Harris或SIFT方法的特征点，可以通过德劳耐三角测量法来连接相应的两个节点来构建图像内部结构。

本发明还提供另一种构建图像内部结构的方法。将区域作为节点，连接任意相邻的两个节点，得到消化内镜图像的纹理特征，即基于图像分割(image segmentation)的消化内镜图像的图像内部结构的构建方法。

首先，将一个消化内镜图像的每一个像素都作为一个前期处理图的节点(前期处理图并非最终要建立的图像内部结构)；

其次，计算每个节点间(即，像素间)的灰阶相似度信息，将任意两个节点间的相似度作为前期处理图的连接这两个节点的边的权重值；

然后，使用例如commute time或者quantum commute time来计算任意两个节点在前期处理图中的相似度，从而可以将相似的节点进行聚类，即，将消化内镜图像的像素进行了聚类。

将这个消化内镜图像相邻并且属于一类的像素看作一个分割的区域，由此可将一个消化内镜图像分割成若干个独立的区域，并把每一个独立的区域看作是要生成的图的节点，任意两个区域间的相似度可被看作连接这两个区域所代表的图节点的权重。

由此，可以为一个消化内镜图像构建出一个基于图像分割的权重图。

和基于Harris与SIFT方法构建的图结构相比，由于图分割需要将相似的像素进行聚类，因此，基于图像分割的方法不但能避免将所有像素都看作节点的问题，还可以抓取一个消化内镜图像潜在的纹理信息。这些超声影像学的分层信息与生物学结构分层信息(食管壁的组织病理学)呈一一对应关系。而当使用消化内镜图像对患者进行评估的时候，这些分层的信息对于病理的诊断非常重要。可以观察到，每一层的灰阶都明显与邻近的分层的图像分割的方法应用于建立图结构的时候，这些相同层的像素都会被自动归为一类(即，同一个节点)，从而这个图像内部结构可以隐含地表示出这些分层的信息。

关于步骤2)对图像内部结构进行分析、分类的算法，为了能够对消化内镜图像所构建的权重图使用核算法，本发明提供了两个策略：

(1)针对每个消化内镜图像的权重图，首先忽略这个消化内镜图像的图的边权重。即，将每个消化内镜图像看作一个无权重的图像内部结构，从而现有的基于无权重图的核算法可以被应用到消化内镜图像的分析应用。

但需要注意的是，虽然忽略每条边的权重信息可以更为方便地开发基于图的核算法，但是同时也会丢弃消化内镜图像的某些细节信息。为了能够解决这个问题，本发明还提供下述的第(2)个策略。

(2)针对每个消化内镜图像的权重图，使用Perron-Frobenius算法将权重图转化为一个有向图。这个有向图是这个消化内镜图像的权重图的点边转置图，即，将权重图的边转换为节点并将权重图的节点转换为边。权重图的权重可以作为这个转置的有向图的每个节点的标记。

对于第(1)个策略(即，针对无权重的图)，本发明提供两种核算法对图像内部结构进行分析，两种核算法分别基于经典(classical)的和量子的(quantum)延森-香农分歧(Jensen-Shannon divergence)。

具体为：基于概率论和信息论，利用经典延森-香农分歧(classical Jensen-shannondivergence,CJSD)计算待识别的消化内镜图像与用于参照的消化内镜图像的相似度；并且使用基于任意漫步(random walk)的香农熵(Shannon entropy)和基于节点度数(vertex degree)的冯纽曼熵(von Neumann entropy)计算待识别的消化内镜图像与用于参照的消化内镜图像基于延森-香农分歧的相似度。

基于量子物理理论，利用量子延森-香农分歧(quantum Jensen-Shannon divergence，QJSD)衡量待识别的消化内镜图像与用于参照的消化内镜图像的量子状态的距离；并且使用基于连续量子随机漫步(continuous-time quantum walk)的冯纽曼熵(von Neumann entropy)来计算待识别的消化内镜图像与用于参照的消化内镜图像基于量子延森-香农分歧的距离。

由于在计算两个图或超图的CJSD或者QJSD时，都不需要对一个图进行结构分解(decomposition)，并且可以快速的计算出相应的图(graph)或者超图(hypergraph)的熵，因此这两种基于CJSD和QJSD的核算法的计算效率都比较高。

为了改进这两种核算法，使上述两种核算法能够抓取图节点的标记信息；并且对于基于量子的香农分歧核算法，使其针对同一个对图的值确定为唯一；本发明分别进一步地对两种核算法进行改进。

对于这个基于经典的延森香农分歧的核算法，使用基于树的标记算法加强待识别的消化内镜图像与用于参照的消化内镜图像的节点标记信息，然后计算出它们相应的概率分布已经香农熵，最后使用经典的香农分歧计算待识别的消化内镜图像与用于参照的消化内镜图像的熵的相似值，并作为待识别的消化内镜图像与用于参照的消化内镜图像的核值。

对于这个基于量子的延森香农分歧的核算法，使用图匹配的算法来找出两个图节点间的对应信息。使用图匹配的算法找出待识别的消化内镜图像与用于参照的消化内镜图像的节点间的对应信息，确定待识别的消化内镜图像与用于参照的消化内镜图像的节点间的匹配信息，计算出待识别的消化内镜图像与用于参照的消化内镜图像基于节点间匹配信息的混合量子状态矩阵。

对于一对已经被确认为对应的节点，如果它们间的节点标记信息也是一样的，那么这两个节点将被最终认为是互相匹配的。对于一对图，当确定了它们的节点间的匹配信息，就可以计算出它们基于节点间匹配信息的混合量子状态矩阵。用于两个图间的节点匹配信息是唯一的，因此它们的混合量子状态矩阵也将是唯一的。因此，最终两个图间基于量子延森香农分歧的量子距离值也将是唯一的。由此，不但能解决现有的量子延森香农核算法不能抓取节点标记信息的缺陷，还将能够有效地解决这个核算法针对同一对图的核值可能不是唯一的值的缺陷。

对于第(2)个策略，如果构建图像内部结构带权重，则将带权重的图像内部结构的转化为有向的图结构；根据预设的规则，判断有向的图结构是否具有相应的病灶，得到判断结果；

其中，权重值为消化内镜图像的任意两个节点间的相似度，两个节点通过边进行连接，则相似度为边的权重值。

实施例2

消化内镜图像的发展与普及，提高了胃肠道管壁成像的清晰度，成为早期癌症疾病的必要检查手段；但由于判图者的主观性，使其在应用上受到不同程度的限制。本发明基于所述的用于消化内镜图像识别的方法，实现在基于消化内镜图的像胃肠道肿瘤诊断中的应用。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (10)

1.一种用于消化内镜图像识别的方法，其特征在于，包括如下步骤：

1)提取消化内镜图像的纹理特征，构建图像内部结构；

2)对图像内部结构进行分析、分类，得到病灶的判断结果；

步骤1)中，将消化内镜图像分割为若干区域，在区域中选取特征点，将特征点作为节点，或者，将区域作为节点，连接任意相邻的两个节点，得到消化内镜图像的纹理特征。

2.根据权利要求1所述的用于消化内镜图像识别的方法，其特征在于，对消化内镜图像进行分割的方法为：将内镜图像的每一个像素都作为一个前期处理图的节点，计算每个节点间的灰阶相似度信息，计算任意两个节点在前期处理图中的相似度，将达到预设相似度阀值的节点进行聚类，将相邻并且属于同一类的节点聚类为同一个分割的区域；

其中，相似度为前期处理图的连接两个节点的边的权重值。

3.根据权利要求1所述的用于消化内镜图像识别的方法，其特征在于，通过核算法对图像内部结构进行分析，具体为：基于概率论和信息论，利用经典延森-香农分歧(classicalJensen-shannon divergence,CJSD)计算待识别的消化内镜图像与用于参照的消化内镜图像的相似度；并且使用基于任意漫步(random walk)的香农熵(Shannon entropy)和基于节点度数(vertex degree)的冯纽曼熵(von Neumann entropy)计算待识别的消化内镜图像与用于参照的消化内镜图像基于延森-香农分歧的相似度。

4.根据权利要求3所述的用于消化内镜图像识别的方法，其特征在于，进一步，使用基于树的标记算法加强待识别的消化内镜图像与用于参照的消化内镜图像的节点标记信息，然后计算出它们相应的概率分布已经香农熵，最后使用经典的香农分歧计算待识别的消化内镜图像与用于参照的消化内镜图像的熵的相似值，并作为待识别的消化内镜图像与用于参照的消化内镜图像的核值。

5.根据权利要求1所述的用于消化内镜图像识别的方法，其特征在于，基于量子物理理论，利用量子延森-香农分歧(quantum Jensen-Shannon divergence，QJSD)衡量待识别的消化内镜图像与用于参照的消化内镜图像的量子状态的距离；并且使用基于连续量子随机漫步(continuous-time quantum walk)的冯纽曼熵(von Neumann entropy)来计算待识别的消化内镜图像与用于参照的消化内镜图像基于量子延森-香农分歧的距离。

6.根据权利要求5所述的用于消化内镜图像识别的方法，其特征在于，进一步，使用图匹配的算法找出待识别的消化内镜图像与用于参照的消化内镜图像的节点间的对应信息，确定待识别的消化内镜图像与用于参照的消化内镜图像的节点间的匹配信息，计算出待识别的消化内镜图像与用于参照的消化内镜图像基于节点间匹配信息的混合量子状态矩阵。

7.根据权利要求1所述的用于消化内镜图像识别的方法，其特征在于，步骤1)中，如果构建图像内部结构带权重，则将带权重的图像内部结构的转化为有向的图结构；根据预设的规则，判断有向的图结构是否具有相应的病灶，得到判断结果；

其中，权重值为消化内镜图像的任意两个节点间的相似度，两个节点通过边进行连接，则相似度为边的权重值。

8.根据权利要求7所述的用于消化内镜图像识别的方法，其特征在于，有向的图结构为带权重的图像内部结构的点边转置图，权重为点边转置图的每个节点的标记。

9.根据权利要求8所述的用于消化内镜图像识别的方法，其特征在于，点边转置图的获取方法为：将带权重的图像内部结构的边转换为节点，将带权重的图像内部结构的节点转换为边。

10.权利要求1至9任一项所述的用于消化内镜图像识别的方法在基于消化内镜图的像胃肠道肿瘤诊断中的应用。