CN103984957A - 胶囊内窥镜图像可疑病变区域自动预警系统 - Google Patents

Abstract

本发明涉及计算机辅助诊断技术领域，提供了一种胶囊内窥镜图像可疑病变区域自动预警系统，包括：图像质量控制和标准化模块，对图像进行自适应增强，补偿光照不足、噪声、反光、分辨率低、运动模糊的影响；纹理特征提取模块，在无需人工干预的条件下对平坦性病变的纹理特征进行检测；分类学习预警模块，基于先期训练进行病理特征检测，利用医生预标记的训练图像进行监督学习，并进行自动分类和在线识别，实现辅助诊断与预警。本发明通过对病变区域进行自动预警，不仅可以提高诊断正确率，同时大大降低了医生的工作量。

Description

胶囊内窥镜图像可疑病变区域自动预警系统

【技术领域】

本发明涉及计算机辅助诊断技术领域，特别是涉及一种胶囊内窥镜图像可疑病变区域自动预警系统。

【背景技术】

消化道黏膜疾病以及由此进一步引发的消化道癌变是国民健康的最大杀手之一(约占我国全部恶性肿瘤发病率的60～70％)。根据美国癌症协会(AmericanCancer Society)的统计显示，消化道黏膜瘤变(neoplasia metastasis)的早期检测和诊断是降低消化道癌变死亡率(尤其是肠癌)的关键因素：如果肠癌病人在瘤变的早期阶段得以发现并采取治疗措施，五年存活率通常可以超过90％；如果未能在早期发现而是任其发展到中晚期，病人的五年存活率仅有不足10％。依照传统，医生需要借助光纤式内窥镜插入病人体内进行观测消化道内部情况或进行活检，以检测病变并确定需要采取的措施。然而由于光纤式内窥镜的物理局限性，既为医生的操作带来了不便，也造成了病人的痛苦，甚至存在着内窥镜穿破肠壁造成感染或者死亡的危险。因此，许多患者由于恐惧而放弃检查，这对于食道癌、胃癌、肠癌(尤其是小肠、十二指肠等光纤式内窥镜难以达到的部位)等发病率极高的消化道疾病的预防和早期治疗非常不利，严重危害了国民身体健康。

基于机器视觉和图像处理的计算机辅助诊断算法成为了近年来国内外非常热门的前沿领域之一。相对于传统的基于病理的活检，计算机辅助诊断具有无创性和低成本的两大优势。其中纹理分析作为核心算法之一受到了广泛关注并应用到了其他模式识别领域，较具代表性的方法有：在国际上，特拉维夫大学研究了一种基于纹理统计的病理组织自动分割算法，他们利用高斯混合模型对图像内的各区域进行模拟，并用期望最大化方法(EM算法)获得多参数最大似然统计模型的最优解；I.Claude等研制了基于人工神经网络的纹理分类算法；P.Mitra等研制了基于准则的辅助诊断系统用于鉴定癌变的不同阶段。

由于胶囊内窥镜图像本身特点，图像的清晰度以及纹理信息检测的技术难题，目前还没有非常完善的病变区域自动预警系统解决方案。现有的计算机辅助诊断算法方面的研究主要集中于CT、PET、MRI等功能性成像方式，通过直接利用相机等光学图像进行分析的研究则相对较少，主要是因为以下问题：

1、消化道内复杂的光照环境和较差的图像质量，例如运动模糊、光照不足、分辨率等；

2、消化道病变的病理特征具有不同的表现形式，基于形态的检测方法不适用于平坦性病变；

3、对纹理的分析需要模拟人脑中的大量推理过程，而这一过程通常主观性较强，而且需要长期的训练过程。

上述困难制约了直接利用相机等光学图像进行分析在临床上的应用。目前尚没有一个系统的解决方案对两者综合考虑，尤其是难以解决病理特征学习算法中的实时性和检测准确性之间的矛盾。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是提供一种胶囊内窥镜图像可疑病变区域自动预警系统，解决实际采集图像清晰度、标准化和病理图片诊断分析难题。

本发明采用如下技术方案：

一种胶囊内窥镜图像可疑病变区域自动预警系统，包括：

图像质量控制和标准化模块，对图像进行自适应增强，补偿光照不足、噪声、反光、分辨率低、运动模糊的影响；

纹理特征提取模块，在无需人工干预的条件下对平坦性病变的纹理特征进行检测；

分类学习预警模块，基于先期训练进行病理特征检测，利用医生预标记的训练图像进行监督学习，并进行自动分类和在线识别，实现辅助诊断与预警。

进一步地，所述图像质量控制和标准化模块通过如下方式对图像进行自适应增强：

步骤A1：通过自动颜色增强方法解决过渡曝光和光照不足的矛盾，基于FastMarching Method对图像进行插值处理以去除反光区域；

步骤A2：采用边缘驻留准则和各向异性扩散算法恢复所述图像的本质纹理，引入光滑约束解决噪声情况下的图像修复问题；

步骤A3：采用图像去卷积方法从所述图像的模糊程度中推断出鲜明的纹理和结构，解决图像去模糊问题；

步骤A4：采用反馈环路，通过信息扩散的机制对输入的低分辨率图像进行迭代运算，协助医生对病变区域放大进行细节查看。

进一步地，所述各向异性扩散算法为F_PDE算法。

进一步地，所述图像去卷积方法包括：退化的图像g(x,y)＝u(x,y)*h(x,y)+n(x,y)，其中u(x,y)为原始图像，h(x,y)为退化函数，n(x,y)为噪声图像，通过最大似然估计方法得到最大的u(x,y)，所述最大的u(x,y)为恢复出来的原图像。

进一步地，所述采用反馈环路通过根据多样性反馈机制动态调整惯性权重和主、辅子群粒子数量，解决多峰、高维函数的全局寻优问题；所述信息扩散的机制为信息扩散函数。

进一步地，所述纹理特征提取模块通过如下方式对平坦性病变的纹理特征进行检测：

步骤B1：采用mean-shift方法对输入图像进行预分割；

步骤B2：采用具有不变性的正交Zernike矩提取图像局部的纹理统计信息，在纹理计算过程中引入积分图和box filter的结合对Zernike矩卷积核进行近似，将大部分运算转化成有限复杂度的加法。

进一步地，所述步骤B2具体通过如下方式提取图像局部的纹理统计信息：

通过计算1－4阶Zenike矩共14个模板与图像进行卷积，形成高维特征向量后进行正则化并在高维空间上进行K-means聚类，得到输入图像的纹理特征的初步描述。

进一步地，所述分类学习预警模块包括：

基于监督学习的自动分类单元，在离线状态下循环的学习不同病例中已经标识好的平坦性病变区域，并将训练图像的纹理特征整合到一个区分式学习模型中，通过Adaboosting算法构造二类分类器，其中每一个纹理特征构成一个弱分类器，并通过加权求和构成强分类器，根据条件随机场理论，通过所述强分类器达到概率空间上的最佳分类结果；在在线状态下，使用训练好的分类器对采集到的图像进行识别；

辅助诊断与预警单元，当有可疑的病变区域被发现，启动警报并记录三维空间位置，提醒医生进行关注。

与现有技术相比，本发明的有益效果在于：本发明通过全自动、实时的纹理分析和图像识别，利用机器学习和计算机视觉方法对小肠平坦性病变等难以检测的早期症状进行预警，实现胶囊内窥镜的真正智能化，其不仅可以获取清晰、高分辨率的内窥镜图像，使医生能够观察到病理图片细节信息，更重要的是通过纹理监督学习方法，对病变区域进行自动预警，引起医生关注，不仅可以提高诊断正确率，同时大大降低了医生的工作量。

【附图说明】

图1是本发明实施例的胶囊内窥镜图像可疑病变区域自动预警系统结构框图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供了一种胶囊内窥镜图像可疑病变区域自动预警系统，如图1所示，包括图像质量控制和标准化模块、纹理特征提取模块和分类学习预警模块。其中，图像质量控制和标准化模块主要对图像进行自适应增强，补偿光照不足、噪声、反光、分辨率低、运动模糊的影响；纹理特征提取模块在无需人工干预的条件下对平坦性病变的纹理特征进行检测；分类学习预警模块主要基于先期训练进行病理特征检测，利用医生预标记的训练图像进行监督学习，并进行自动分类和在线识别，实现辅助诊断与预警。

由于胃道、肠壁等不可控制条件下的环境复杂性，通过胶囊内窥镜采集的光学图像通常具有较差的质量例如噪声、模糊、反光、照度不足、分辨率低等，本发明实施例通过设计高质量的图像增强算法补偿光照不足、运动模糊等因素的影响。在一优选实施例中，图像质量控制和标准化模块通过如下方式对图像进行自适应增强：

步骤A1：自适应光照增强和反光去除：通过自动颜色增强方法解决过渡曝光和光照不足的矛盾，基于Fast Marching Method对图像进行插值处理以去除反光区域；

步骤A2：采用边缘驻留准则和各向异性扩散算法恢复所述图像的本质纹理，引入光滑约束解决噪声情况下的图像修复问题；各向异性扩散算法可以采用F_PDE算法。

步骤A3：采用图像去卷积方法从所述图像的模糊程度中推断出鲜明的纹理和结构，解决图像去模糊问题；图像去卷积方法包括：退化的图像g(x,y)＝u(x,y)*h(x,y)+n(x,y)，其中u(x,y)为原始图像，h(x,y)为退化函数，n(x,y)为噪声图像，通过最大似然估计方法得到最大的u(x,y)，所述最大的u(x,y)为恢复出来的原图像。

步骤A4：采用反馈环路，通过信息扩散的机制对输入的低分辨率图像进行迭代运算，协助医生对病变区域放大进行细节查看；其中采用反馈环路通过根据多样性反馈机制动态调整惯性权重和主、辅子群粒子数量，解决多峰、高维函数的全局寻优问题；信息扩散的机制为信息扩散函数。

胶囊内窥镜获取的图像是医生进行疾病侦察和诊断的主要凭据，然而由于采集过程中的海量图像，医生需要花费数个小时来观看所有图像，这样一方面给医生带来了很大的劳动强度，另一方面也会由于人眼疲劳带来误诊。因此，在一优选实施例中，本发明通过自动、快速的特征提取方法，在无需人工干预的条件下对平坦性病变的纹理特征进行检测，进一步地，纹理特征提取模块通过如下方式对平坦性病变的纹理特征进行检测：

步骤B1：采用mean-shift方法对输入图像进行预分割，也即对图像YUV三个分量分别运用mean-shift方法进行平滑处理，其处理过程为：给定初始条件，即起始像素点位置，每个采样点的加权值w(x_i)，核函数为高斯核函数G(·)，误差ε，然后利用公式计算m(x)，如果|m(x)-x|＞ε将m(x)赋予x，并返回上一步重新计算m(x)，反之结束该像素点的迭代，指向下一个像素点，并返回计算m(x)直至整个图像遍历结束，从而实现对输入图像进行预分割；

步骤B2：采用具有不变性的正交Zernike矩提取图像局部的纹理统计信息，在纹理计算过程中引入积分图和box filter(指对给定区域内的所有像素求平均值滤波器方法)的结合对Zernike矩卷积核进行近似，将大部分运算转化成有限复杂度的加法，满足实时性要求；其中，

Zernike矩是一种具有旋转不变性和正交性的纹理描述子，第nm阶的Zernike矩定义为：

其中f(x,y)是图像的像素值，转化成极坐标系后： $V_{\mathrm{nm}}^{*}(\mathrm{\ρ},\mathrm{\θ}){=R}_{\mathrm{nm}}\left(\mathrm{\ρ}\right)e^{-\mathrm{jm\θ}},$

$R_{\mathrm{nm}}\left(r\right)=\underset{s=0}{\overset{\frac{n-\left|m\right|}{2}}{\mathrm{\Σ}}}\frac{{(-1)}^s(n-s)!}{s!(\frac{1}{2}(n+|m\left|\right)-s)!(\frac{1}{2}(n-|m\left|\right)-s)!}{r}^{n-2s}$

对一组训练图像经过上述的纹理特征提取后，生成如下形式的训练样本：其中i为训练样本的空间位置，r为样本的区域，l为样本所属聚类中心的序号，我们进一步使用l的积分图

进一步地，步骤B2具体通过如下方式提取图像局部的纹理统计信息：通过计算1－4阶Zenike矩共14个模板与图像进行卷积，形成高维特征向量后进行正则化并在高维空间上进行K-means聚类，得到输入图像的纹理特征的初步描述。

进行K-means聚类时首先从特征向量中随机选取k个聚类质心点为μ₁,μ₂,…μ_k∈Rⁿ，重复下面计算过程直到收敛为止：对于每一个样本i，计算其应该属于的类对于每一个类j，重新计算该类的质心重复迭代直到质心不变或者变化很小，可以得到输入图像的纹理特征的初步描述。这些初步聚类可以直接显示，也可以输入至下一步，完成监督学习中需要的样本准备。通过对所有聚类中心进行kd-tree构造(kd-tree又称k-d树，是k-dimensional树的简称，是一种分割k维数据空间的数据结构，k-d树是一个二叉树，每个节点表示一个空间范围)，可以实现快速的最近邻搜索，使得下一步中的实时在线识别成为可能。

由于医学图像的纹理特征中通常不存在显著的启发式准则，本发明实施例设计了一套基于先期训练的病理特征检测系统，利用医生预标记的训练图像进行监督学习，并在实时地检测中进行在线识别，在一优选实施例中，分类学习预警模块包括于监督学习的自动分类单元和辅助诊断与预警单元：

基于监督学习的自动分类单元，在离线(off-line)状态下循环的学习不同病例中已经标识好的平坦性病变区域，并将训练图像的纹理特征整合到一个区分式学习模型中，通过Adaboosting算法构造二类分类器，其中每一个纹理特征构成一个弱分类器，并通过加权求和构成强分类器，根据条件随机场理论，通过所述强分类器达到概率空间上的最佳分类结果；在在线(on-line)状态下，使用训练好的分类器对采集到的图像进行识别；具体地，Adaboosting算法对于给定的图像x和第i个像素点，循环选择特征构造“弱分类器”并通过条件随机场模型组合成最终的“强分类器”P(c|x,i)：

$\log P\left(c\right|x,\mathrm{\θ})=\underset{i}{\mathrm{\Σ}}{\mathrm{\ψ}}_i(c_i,x;\mathrm{\θ})-\log Z(\mathrm{\θ},x)$

其中c为分类标签，P为属于c的条件概率，θ为分类器参数，Z(θ,x)为对概率分布进行正则化的划分函数，ψ为每一个像素i对应特征的势函数，定义为：ψ_i(c_i,x；θ)＝log(P(c_i|x,i))，构造二类分类器(包括正常和平坦性病变)，其中每一个纹理特征构成了一个“弱分类器”，并通过加权求和构成“强分类器”。根据条件随机场理论，通过该“强分类器”可以达到概率空间上的最佳分类结果。

当有可疑的病变区域被发现，辅助诊断与预警单元启动警报并记录三维空间位置，提醒医生进行关注，更好地辅助医生完成疾病诊断。由于计算时间主要集中于离线过程，从而可以实现病理检测的实时速度。

本发明实施例可以自动、鲁棒、实时地实现可疑癌变区域检测和预警；针对平坦性病变的特性构造了实时地纹理特征提取和描述方法，能够得到病理信息和光学图像之间的定量关系，同时可以兼顾鲁棒性和计算速度；针对诊断的主观性引入了医生对计算机辅助诊断算法的监督学习，实现定量、自动、快速的二维病理分析检测系统。通过构造条件随机场模型和联合Boosting算法对医生预标记的病变区域进行监督学习，可以将训练过程和在线识别在概率理论上进行统一，具有很好的鲁棒性，一旦有可疑的病变区域被发现，则启动警报并记录三维空间位置提醒医生进行关注。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种胶囊内窥镜图像可疑病变区域自动预警系统，其特征在于，包括：

图像质量控制和标准化模块，对图像进行自适应增强，补偿光照不足、噪声、反光、分辨率低、运动模糊的影响；

纹理特征提取模块，在无需人工干预的条件下对平坦性病变的纹理特征进行检测；

分类学习预警模块，基于先期训练进行病理特征检测，利用医生预标记的训练图像进行监督学习，并进行自动分类和在线识别，实现辅助诊断与预警。

2.如权利要求1所述的系统，其特征在于，所述图像质量控制和标准化模块通过如下方式对图像进行自适应增强：

步骤A1：通过自动颜色增强方法解决过渡曝光和光照不足的矛盾，基于FastMarching Method对图像进行插值处理以去除反光区域；

步骤A2：采用边缘驻留准则和各向异性扩散算法恢复所述图像的本质纹理，引入光滑约束解决噪声情况下的图像修复问题；

步骤A3：采用图像去卷积方法从所述图像的模糊程度中推断出鲜明的纹理和结构，解决图像去模糊问题；

步骤A4：采用反馈环路，通过信息扩散的机制对输入的低分辨率图像进行迭代运算，协助医生对病变区域放大进行细节查看。

3.如权利要求2所述的系统，其特征在于，所述各向异性扩散算法为F_PDE算法。

4.如权利要求2所述的系统，其特征在于，所述图像去卷积方法包括：退化的图像g(x,y)＝u(x,y)*h(x,y)+n(x,y)，其中u(x,y)为原始图像，h(x,y)为退化函数，n(x,y)为噪声图像，通过最大似然估计方法得到最大的u(x,y)，所述最大的u(x,y)为恢复出来的原图像。

5.如权利要求2所述的系统，其特征在于，所述采用反馈环路通过根据多样性反馈机制动态调整惯性权重和主、辅子群粒子数量，解决多峰、高维函数的全局寻优问题；所述信息扩散的机制为信息扩散函数。

6.如权利要求1所述的系统，其特征在于，所述纹理特征提取模块通过如下方式对平坦性病变的纹理特征进行检测：

步骤B1：采用mean-shift方法对输入图像进行预分割；

步骤B2：采用具有不变性的正交Zernike矩提取图像局部的纹理统计信息，在纹理计算过程中引入积分图和box filter的结合对Zernike矩卷积核进行近似，将大部分运算转化成有限复杂度的加法。

7.如权利要求6所述的系统，其特征在于，所述步骤B2具体通过如下方式提取图像局部的纹理统计信息：

通过计算1－4阶Zenike矩共14个模板与图像进行卷积，形成高维特征向量后进行正则化并在高维空间上进行K-means聚类，得到输入图像的纹理特征的初步描述。

8.如权利要求1所述的系统，其特征在于，所述分类学习预警模块包括：

基于监督学习的自动分类单元，在离线状态下循环的学习不同病例中已经标识好的平坦性病变区域，并将训练图像的纹理特征整合到一个区分式学习模型中，通过Adaboosting算法构造二类分类器，其中每一个纹理特征构成一个弱分类器，并通过加权求和构成强分类器，根据条件随机场理论，通过所述强分类器达到概率空间上的最佳分类结果；在在线状态下，使用训练好的分类器对采集到的图像进行识别；

辅助诊断与预警单元，当有可疑的病变区域被发现，启动警报并记录三维空间位置，提醒医生进行关注。