CN102096917B - 胶囊内窥镜冗余图像数据的自动剔除方法 - Google Patents

Abstract

本发明公开了一种胶囊内窥镜冗余图像数据的自动剔除方法，包括以下步骤：首先，选择一个正常的图像样本得到图像像素平均灰度分布的均值和方差，再对待判断的图片数据中的每一帧图像计算其像素的平均灰度值，最后依据标准正态分布的特征，判定所述图像是否为曝光异常的图像，并予以剔除；然后，假定相邻两帧图像间归一化的相关系数或归一化的互信息量服从正态分布；其均值和方差从待处理的图像样本估计得到；然后对与待处理图像相邻的图像进行刚性配准；依据标准正态分布的特征，判定相邻两帧图像内容是否高度重复，并剔除重复图像。该方法在基于内容的图像检索之前进行，能很好地提高检索效率和尽可能去除干扰，缩短阅片时间以提高医生诊断率。

Description

胶囊内窥镜冗余图像数据的自动剔除方法

技术领域

本发明涉及一种图像处理方法，具体来说涉及一种胶囊内窥镜冗余图像数据的自动剔除方法。

背景技术

一次典型的胶囊内窥镜检查会产生五万帧左右的消化道内窥镜图像，其中包含病灶的具有诊断价值的图像往往只有几十张。诊断的时候，医生需要遍历胶囊内窥镜采集的所有图像，找到具有诊断价值的图像并据此做出诊断，这是是一项非常费时费力的工作。繁重的工作不但会浪费医生宝贵的时间，而且会使医生感到疲倦，大脑兴奋性下降，对病变的敏感程度和辨识能力降低，容易导致漏诊。

事实上，所拍摄出来的胶囊内窥镜图片有少部分图片是无效的。它们是由于光照不足或者曝光不正确而产生的。这类图像像素的亮度的动态范围狭窄，图像对比度低下，内容无法判读，是无效的图像。

另外，所获得的胶囊内窥镜图片中存在着大量相似的冗余图片，影响诊断速度。因为目前的胶囊内窥镜依靠胃肠道的蠕动产生的推挤力在消化道内缓慢移动，它的前进速度并不均匀。有时候胶囊相对于消化道几乎静止不动，这时采集到的相邻图像之间的内容几乎不变，产生冗余数据。有时候胶囊在原地绕自身轴线旋转而停滞不前，这时候，虽然表面上看邻近的图像之间内容有差异，但是经过简单的图像配准，纠正旋转运动后，可以发现它们的内容还是高度相似的，这也是冗余数据。

因此，从几万帧图像中自动甄别含有可能的病变和病灶的图像就变得非常有必要和重要。目前，胶囊内窥镜图像的处理主要包括图像畸变矫正、去噪、运动模糊恢复和增强等，但仍然没有减少图片数据量。关于胶囊内窥镜无效与相似图像的判断和剔除，国内并没有发现相关的论文和专利发表。

发明内容

本发明的目的在于提供一种胶囊内窥镜冗余图像数据的自动剔除方法，该方法能很好地提高图片检索效率和尽可能去除干扰，缩短阅片时间，提高医生诊断效率。

本发明的目的可通过以下的技术措施来实现：

一种胶囊内窥镜冗余图像数据的自动剔除方法，包括以下步骤：

(1)剔除无效图片数据；

所述剔除无效图像的过程为：选择一个正常的图像样本得到图像像素平均灰度分布的均值和方差，再对待判断的图片数据中的每一帧图像计算其像素的平均灰度值，然后依据样本的正态分布来标准化所述当前图像的像素平均灰度，即变换为标准的正态分布N(0，1)，得到其正态分布标准化；最后依据标准正态分布的特征，给定一个判断阈值，进行双边判断，如果所述图像的正态分布标准化的绝对值大于阈值，则判定所述图像为曝光异常的图像，并作为无效图片数据予以剔除；

(2)剔除重复图片数据；

所述剔除内容重复图像数据的过程为：首先假定相邻两帧图像间归一化的相关系数或归一化的互信息量服从正态分布；其均值和方差从待处理的图像样本估计得到；然后对与待处理图像相邻的图像进行刚性配准，计算该相似性系数并对其进行标准化；依据标准正态分布的特征，给定一个判断阈值，进行判定；如果所述相似程度大于给定的阈值，就认为所述相邻两帧图像内容高度重复，后一帧图像为重复数据，予以剔除。

所述刚性配准只处理旋转和平移的刚性变换。

所述相邻两帧图片间的归一化相关系数为：

$\mathrm{NC}(A,B)=-1\×\frac{{\mathrm{\Σ}}_{i=1}^N(A_i\·B_i)}{\sqrt{{\mathrm{\Σ}}_{i=1}^N{A}_i^2\·{\mathrm{\Σ}}_{i=1}^N{B}_i^2}},$

其中，A_i为图像A的第i个像素，B_i为图像B的第i个像素，N是图片中有效区域内的像素个数。

所述图片中的有效区域设置为图片中央的圆形有效区域。

所述相邻两帧图片间的归一化互信息量为：

$\mathrm{NMI}=\frac{\mathrm{MI}(A,B)}{0.5(\mathrm{MI}\left(A\right)+\mathrm{MI}\left(B\right))},$

其中，MI(A)为图片A与图片A的互信息量，MI(B)为图片B与图片的互信息量，MI(A，B)为图片A和B的互信息量。

本发明的胶囊内窥镜冗余图像数据的自动剔除方法具有以下的有益效果：现有的胶囊内窥镜图像的处理方法主要包括图像畸变矫正、去噪、运动模糊恢复和增强等，但仍然没有减少图片数据量。而本发明提出的方法具有计算简便，剔除效率高的优点。不但大大减小后续的分析和辅助诊断的计算量，而且可以提高后续的分析和辅助诊断的稳定性。另外，本发明提出的方法使用正态分布模型，阈值选取简便，剔除率可以自由设定，具有计算简便，剔除效率高的优点。

附图说明

图1是胶囊内窥镜冗余图像数据的自动剔除方法；

图2是图1方法中无效图片剔除的流程图；

图3是图1方法中剔除内容高度相似的冗余图片的流程图。

具体实施方式

图1至图3所示是本发明的胶囊内窥镜冗余图像数据的自动剔除方法的流程图，包括以下步骤：

(1)先剔除无效图片数据：首先根据图像的平均亮度来判断图片是否有曝光缺陷，判断的过程为：由于正常的图像序列，其光照和曝光条件类似，假设其像素的平均灰度分布为正态的，曝光正确的图像的像素灰度的平均值服从正态分布，选择一个正常的图像样本得到图像像素平均灰度分布的均值和方差，再对待判断的图片数据中的每一帧图像计算其像素的平均灰度值，然后依据样本的正态分布来标准化所述当前图像的像素平均灰度，即变换为标准的正态分布N(0，1)，得到其正态分布标准化；最后依据标准正态分布的特征，给定一个判断阈值，进行双边判断，如果所述图像的正态分布标准化的绝对值大于阈值，则判定所述图像为曝光异常的图像，并作为无效图片数据予以剔除；阈值的确定，依据正态分布的特征，可以取3左右。在实际使用时，可由医生根据具体的图像质量状况予以调整；

(2)再剔除重复图片数据：利用相邻图片之间的相似度程度来衡量两图片是否为内容高度相似的“重复”图片。首先假定相邻两帧图像间归一化的相关系数或归一化的互信息量服从正态分布，其均值和方差从待处理的图像样本估计得到；然后对与待处理图像相邻的图像进行刚性配准，刚性配准只考虑旋转和平移的刚性变换，计算该相似性系数并对其进行标准化；依据标准正态分布的特征，给定一个判断阈值，进行判定；如果所述相似程度大于给定的阈值，就认为所述相邻两帧图像内容高度重复，后一帧图像为重复数据，予以剔除。把内容高度相似的后一帧图像剔除不会带来明显的漏诊风险。

下面根据一个具体实施例来说明本发明方法的具体过程：

1、利用胶囊内窥镜进行拍摄，获取大致50000帧图像数据。

2、图2描述了采集到的图片数据首先进行无效图片剔除的过程。无效图片是由于光照不足或者曝光不正确而产生的。这类图片像素的亮度的动态范围狭窄，图片对比度低下，内容无法判读。虽然所占的比例不大，但是为了后续快速和自动处理，需要首先剔除。

根据图像的平均亮度来判断图片曝光是否有缺陷。假定曝光正确的图像的像素灰度的平均值服从正态分布，就可以从一个正常的图像样本得到图像像素平均灰度分布的均值和方差。这个样本图像数据可以是经过人工判读为其他人的正常图像数据，或者是被处理的对像自身的正常数据。使用其他人的正常样本的好处是可以使用已有的均值或者方差，省去了人工干预的过程，便于自动处理。对于新的检查数据，对每一帧图像计算其像素的平均灰度值，然后计算它的Z-score(正态分布标准化)，变换为标准的正态分布N(0，1)。给定一个判断阈值，进行双边判断，那些z-score的绝对值大于阈值的图像即可判定为曝光异常的图像，予以剔除。一般情况下，阈值可以设置为3，得到置信度约为99.7％。为了提高敏感程度，可以在计算过程中使用掩模图像，只对图像中央圆形的有效区域进行计算。

3、图3示出了在剔除无效图片的基础上，再进行剔除内容高度相似的冗余图片的过程。相邻图像帧之间“内容”的冗余程度可以用它们之间的相似程度来衡量。如果相似程度大于给定的阈值，就认为相邻图像帧的内容高度相似，把后一帧图像剔除不会带来明显的漏诊风险。这里的相似程度可以使用图像间的归一化相关系数，或者归一化的互信息量来表示。其中，图像间的归一化相关系数的定义为：

$\mathrm{NC}(A,B)=-1\×\frac{{\mathrm{\Σ}}_{i=1}^N(A_i\·B_i)}{\sqrt{{\mathrm{\Σ}}_{i=1}^N{A}_i^2\·{\mathrm{\Σ}}_{i=1}^N{B}_i^2}},$

其中，Ai为图像A的第i个像素，Bi为图像B的第i个像素，N是图像圆形有效区域内的像素个数。图像间的归一化互信息量可以定义为：

$\mathrm{NMI}=\frac{\mathrm{MI}(A,B)}{0.5(\mathrm{MI}\left(A\right)+\mathrm{MI}\left(B\right))}$

其中，MI(A)为图像A与自身的互信息量，MI(B)为图像B与自身的互信息量，MI(A，B)为图像A和B的互信息量。这两种相似性定义都是在图像全局的统计意义上定义的。最后的阈值判定同样可以使用z-score进行。样本的均值和方差同样可以使用已有的样本的统计值来代替。

具体地说，相邻的内容高度相似的冗余图像的剔除流程可以描述为：

a、把图像i-1作为参考图像，将图像i与图像i-1进行刚性配准；

b、计算配准后的图像i与图像i-1的相似性系数(相关系数或者互信息量)；

c、根据预设的相应的均值和方差，对步骤b得到的相似性系数标准化(Z-score)；

d、根据预设的判别阈值(典型值为3)，如果Z-score大于阈值，就剔除图像i，否则保留图像i。

以上的具体剔除流程可以迭代进行，直到相邻图像间的相似性系数都小于给定的阈值或者图像的剔除率超过了预定的阈值为止。

本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。

Claims (5)

1.一种胶囊内窥镜冗余图像数据的自动剔除方法，其特征在于包括以下步骤：

（1）剔除无效图片数据；

所述剔除无效图片数据的过程为：选择一个曝光正确的图像样本得到图像像素平均灰度分布的均值和方差，再对待判断的图片数据中的每一帧图像计算其像素的平均灰度值，然后依据样本的正态分布来标准化当前图像的像素平均灰度，即变换为标准的正态分布N（0，1），得到标准化正态分布；最后依据标准化正态分布的特征，给定一个判断阈值，进行双边判断，如果所述当前图像的标准化正态分布的绝对值大于阈值，则判定所述图像为曝光异常的图像，并作为无效图片数据予以剔除；

（2）剔除重复图片数据；

所述剔除重复图片数据的过程为：首先假定相邻两帧图像间归一化的相关系数或归一化的互信息量服从正态分布；其均值和方差从待处理的图像样本估计得到；然后对与待处理图像相邻的图像进行刚性配准，计算相似性系数并对其进行标准化；依据标准化正态分布的特征，给定一个判断阈值，进行判定；如果所述相似性系数大于给定的阈值，就认为所述相邻两帧图像内容高度重复，后一帧图像为重复数据，予以剔除。

2.根据权利要求1所述的胶囊内窥镜冗余图像数据的自动剔除方法，其特征在于：所述相邻两帧图像间的归一化相关系数为：

$\mathrm{NC}(A,B)=-1\×\frac{{\mathrm{\Σ}}_{i=1}^N(A_i\·B_i)}{\sqrt{{\mathrm{\Σ}}_{i=1}^N{A}_i^2\·{\mathrm{\Σ}}_{i=1}^N{B}_i^2}},$

其中，A_i为图像A的第i个像素，B_i为图像B的第i个像素，N是图片中有效区域内的像素个数。

3.根据权利要求2所述的胶囊内窥镜冗余图像数据的自动剔除方法，其特征在于：所述图片中的有效区域设置为图片中央的圆形有效区域。

4.根据权利要求1所述的胶囊内窥镜冗余图像数据的自动剔除方法，其特征在于：所述相邻两帧图像间的归一化互信息量定义为：

$\mathrm{NMI}=\frac{\mathrm{MI}(A,B)}{0.5(\mathrm{MI}\left(A\right)+\mathrm{MI}\left(B\right))},$

其中，MI(A)为图像A与图像A的互信息量，MI(B)为图像与自身的互信息量，MI(A,B)为图像A和B的互信息量。

5.根据权利要求1所述的胶囊内窥镜冗余图像数据的自动剔除方法，其特征在于：所述刚性配准只处理旋转和平移的刚性变换。

Images