CN107145840B - 内镜专家诊断知识嵌入的计算机辅助wce序列图像数据识别方法 - Google Patents

Abstract

本发明提出了一种内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别模型，包括如下步骤：S1，获取WCE序列图像，获取原始图像I(x)的a通道图像I_a(x)；S2，对获取的图像进行降噪处理，排出无效图像的干扰；S3，从海量图片中对于不同位置的消化道进行分段，从而分辨出不同部位的异常图像，辅助专家进行异常检测。

Description

内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别 方法

技术领域

本发明涉及计算及人工智能领域，尤其涉及一种内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法。

背景技术

目前，无线胶囊内镜(WCE:WirelessCapsuleEndoscopy)作为一种重要的新型技术被广泛应用于人类胃肠道疾病的诊断。尤其是克服了传统内镜无法到达到小肠的缺陷，它可以到达消化道的任何位置，具有无创伤、耐受性好的特点。但是，由于胶囊内镜的运动主要是依靠消化道内胃肠道的蠕动，运动过程缓慢，故其在消化道内平均大致逗留8个小时左右，然而WCE拍摄系统的拍摄时间间隔却很短，平均2帧/s，所以，每个人将会采集到50000～60000幅彩色的消化道时序图像数据。这些图像数据是海量的且冗余的，且对图像数据处理人员要求高，处理数据时间长、强度大、效率低。因此，利用计算机算法，提出一套可靠的高效的基于内镜专家诊断知识的计算机辅助识别方法帮助医务人员自动识别或定位异常图像数据，提高工作效率，降低时耗和降低人工成本。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法。

为了实现本发明的上述目的，本发明提供了一种内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法，包括如下步骤：

S1，获取WCE序列图像，获取原始图像I(x)的a通道图像I_a(x)；

S2，对获取的图像进行降噪处理，排出无效图像的干扰；

S3，从海量图片中对于不同位置的消化道进行分段，从而分辨出不同部位的异常图像，辅助专家进行异常检测。

所述的内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法，优选的，所述S1包括：

RGB转XYZ：

I_X＝I_R×0.4124+I_G×0.3576+I_B×0.1805

I_Y＝I_R×0.2126+I_G×0.7152+I_B×0.0722

I_Z＝I_R×0.0193+I_G×0.1192+I_B×0.9505

其中

和

分别是通过校正函数g(x)获得的R、G和B通道的像素值，g(x)如下：

XYZ转Lab：

I_a＝500[f(I_X/X_n)-f(I_Z/Y_n)]+128，

其中X_n＝95.047，Y_n＝100.0。

故获得a通道图像I_a(x)，如下式所示：

I_a(x)＝500[f(X(x)/X_n)-f(Y(x)/Y_n)]。

所述的内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法，优选的，所述S2包括：

当图像I_a(x)的像素值从112到130的总频率大于阈值0.9，则该图像I(x)则被剔除，如下所示：

其中P(x)是图像I_a(x)在像素值为x的时的频率，M×N为I_a(x)的的大小。

所述的内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法，优选的，所述S3包括：

将图像也按不同的器官分为胃、小肠和结肠，在海量的数据和多种多样的干扰中寻找胃、小肠和结肠的分段处，通过计算机辅助方法用于自动分割消化道，使用者根据需要选择不同的方法来自动分割消化道。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

海量数据可以通过冗余排除，无效图像移除来解决。丰富的病变类型就意味着丰富的图像表现，通过上述方法对异常特征图像进行提取，后续提供给专家进行诊断带来了便利，提高了工作效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是现有技术中的杂乱图像；

图2是本发明获取的不同身体部位的图像；

图3是本发明工作流程图；

图4是本发明三种类型的图像的红绿通道颜色直方图的差异。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提出了一种用于完整的WCE序列视频图像数据的内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法。该方法是基于计算机自动识别算法结合内镜专家对于WCE序列图像的理解而提出的一套模拟内镜专家用人工识别WCE图像的过程的识别方法。对于内镜医生而已，WCE的序列图像可归纳为3类图像，即:诊断无关图像，诊断相关的正常图像和诊断相关的异常图像。因此，本发明将WCE序列图像也分为3类：无效图像(如图1所示)，正常图像和异常图像。正常图像是组织黏膜完全正常的WCE图像，异常图像是组织黏膜有一部分或者全部异样的WCE病变图像。由于在如此海量的WCE序列图像中，无效图像的数量往往占总数的1/4～1/3,所以，在进行异常图像自动识别之前，首先需要尽可能的排除无效图像的干扰。同时，WCE采集了整个消化道的图像，但是不同的器官，其黏膜组织的表现是不一样的(如图2所示)，根据这些特征，医生在进行识别异常之前需要分别定位WCE序列图像中的胃、小肠和大肠段。因此，接下来对消化道进行分段也是必须的。最后，根据不同消化道的不同的WCE图像特征，对图像进行自动识别，获得WCE图像的信息。内镜专家诊断知识嵌入的计算机辅助WCE图像数据识别方法如图3所示。

图1：无效图像。从左到右分别是场景(只出现在序列图像的最前面，胶囊还未进入人体以前拍摄的图像)、气泡、食物残渣、粪便、过度曝光和采光不足。

图2A-2C：不同消化道器官的WCE图像。从左到右分别是胃、小肠和结肠。

图3：内镜专家诊断知识嵌入的图像识别方法。

1)基于红绿单通道的感知颜色空间的无效图像单于阈值剔除算法

WCE图像是RGB彩色图像，其颜色特征分析对于WCE图像而已是一个必不可少的重要视觉特征。本发明提出了一种基于红绿单通道的感知颜色空间的无效图像单阈值剔除算法

(1)获取原始图像I(x)的a通道图像I_a(x)

由于WCE原始图像是按RGB颜色空间进行存储的，所以本发明首先需要将RGB颜色空间图像I(x)转化为Lab颜色空间的图像，但是RGB和Lab之间没有直接的转换公式，必须进行一次中间转化，先将RGB颜色空间图像转换为XYZ空间，然后在通过XYZ空间获得a通道图像I_a(x)，如下式所示：

RGB转XYZ：

I_X＝I_R×0.4124+I_G×0.3576+I_B×0.1805

I_Y＝I_R×0.2126+I_G×0.7152+I_B×0.0722

I_Z＝I_R×0.0193+I_G×0.1192+I_B×0.9505

其中

和

分别是通过校正函数g(x)获得的R、G和B通道的像素值，g(x)如下：

XYZ转Lab：

I_a＝500[f(I_X/X_n)-f(I_Z/Y_n)]+128，

其中X_n＝95.047，Y_n＝100.0。

故获得a通道图像I_a(x)，如下式所示：

I_a(x)＝500[f(X(x)/X_n)-f(Y(x)/Y_n)]

(2)单阈值剔除算法

本发明选用颜色直方图来描述WCE图像的颜色特征，其是一种简洁且广泛应用颜色特征表示方法。根据颜色直方图，本发明提出看一种单阈值剔除算法，当图像I_a(x)的像素值从112到130的总频率大于阈值0.9，是有具体是实验验证的。实验发现，如图4所示，无效图像的90％的I_a通道值都集中在像素值130之前。而有效图像则处于130之后。无效图像和有效图像的I_a通道的颜色直方图几乎无重叠。可见图4则该图像I(x)则被剔除，如下所示：

其中P(x)是图像I_a(x)在像素值为x的时的频率，M×N为I_a(x)的的大小。

2)消化道分段

不同的消化道器官拥有不同的组织结构，呈现出不同的图像特征。因此，本发明模拟内镜医生的诊断过程，将图像也按不同的器官分为胃、小肠和结肠。对于医生而言，在如此海量的数据和多种多样的干扰中寻找胃、小肠和结肠的分段处是相对困难的。因此，许多计算机辅助方法用于自动分割消化道已经被提出了。使用者可以根据需要选择不同的方法来自动分割消化道。

3)异常图像识别

对于WCE时序图像而言，其特点一是海量的数据量，特征二是丰富的病变类型,如：炎症、息肉、糜烂、克罗恩等。对于特征一而言，海量数据可以通过冗余排除，无效图像移除或则消化道分段等方法来解决。对于特征二，丰富的病变类型就意味着丰富的图像表现，即不同的病变将呈现出不同的颜色、纹理或者形状等特征。对于不同的病变将使用不同的识别方法，如：息肉的主要特征是其形状，因此对于息肉的识别，计算机算法设计人员主要选用自动分割息肉等方法；而对于炎症，其黏膜组织遭到病毒的侵蚀，将改变其黏膜组织结构，病变部位将在颜色和纹理上异于正常的黏膜组织，因此提取颜色和纹理特征并结合分类器来进行分类识别方法成为研究这类WCE病变图像的主流。

处理流程的一种基于内镜专家诊断过程模仿创建的计算机辅助的框架。适合于所有的在序列WCE图像上识别异常图像。

图4是本发明三种类型的图像的红绿通道颜色直方图的差异。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法，其特征在于，包括如下步骤：

S1，获取WCE序列图像，获取原始图像I(x)的a通道图像I_a(x)；

S2，对获取的图像进行降噪处理，排出无效图像的干扰；

S3，从海量图片中对于不同位置的消化道进行分段，从而分辨出不同部位的异常图像，辅助专家进行异常检测；

所述S2包括：当图像I_a(x)的像素值从112到130的总频率大于阈值0.9，则该图像I(x)则被剔除，所示：

其中P(x)是图像I_a(x)在像素值为x的时的频率，M×N为I_a(x)的的大小。

2.根据权利要求1所述的内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法，其特征在于，所述S1包括：

RGB转XYZ：

I_X＝I_R×0.4124+I_G×0.3576+I_B×0.1805

I_Y＝I_R×0.2126+I_G×0.7152+I_B×0.0722

I_Z＝I_R×0.0193+I_G×0.1192+I_B×0.9505

其中

和

分别是通过校正函数g(X)获得的R、G和B通道的像素值，g(X)如下：

XYZ转Lab：

其中X_n＝95.047，Y_n＝100.0

故获得a通道图像I_a(x)，如下式所示：

I_a(x)＝500[f(X(x)/Xn)-f(Y(x)/Yn)]。

3.根据权利要求1所述的内镜专家诊断知识嵌入的计算机辅助WCE序列图像数据识别方法，其特征在于，所述S3包括：

将图像也按不同的器官分为胃、小肠和结肠，在海量的数据和多种多样的干扰中寻找胃、小肠和结肠的分段处，通过计算机辅助方法用于自动分割消化道，使用者根据需要选择不同的方法来自动分割消化道。

Images