CN106780429A - 基于感知颜色空间和关键角点的wce视频时序冗余图像数据的关键帧提取方法 - Google Patents

Abstract

本发明提出了一种基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，包括如下步骤：S1，通过单通道感知颜色空间Lab图像提取a通道的图像；S2，如果两个相邻帧图像相似就顺序进行下一对相邻帧图像之间的判定，直到两个相邻图像之间不相似，然后通过物理角点检测算法提取这两幅图像的关键角点；S3，如果两幅图像相似，则继续进行S2步骤的顺序相邻帧两幅图像的颜色相似性判定，如果发现不相似的顺序相邻帧两幅图像；S4，将输出满足使用者需求的图像作为时序图像的关键帧摘要图像。帮助医务人员剔除冗余的图像数据，获取关键图像数据，提高工作效率，降低时耗和降低人工成本。

Description

基于感知颜色空间和关键角点的WCE视频时序冗余图像数据 的关键帧提取方法

技术领域

本发明涉及计算及图像处理领域，尤其涉及一种基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法。

背景技术

目前，无线胶囊内镜(WCE:Wireless Capsule Endoscopy)作为一种重要的新型技术被广泛应用于人类胃肠道疾病的诊断。尤其是克服了传统内镜无法到达到小肠的缺陷，它可以到达消化道的任何位置，具有无创伤、耐受性好的特点。但是，由于胶囊内镜的运动主要是依靠消化道内胃肠道的蠕动，运动过程缓慢，故其在消化道内平均大致逗留8个小时左右，然而WCE拍摄系统的拍摄时间间隔却很短，平均2帧/s，所以，每个人将会采集到50000～60000幅彩色的消化道时序图像数据。这些图像数据是海量的且冗余的，且对图像数据处理人员要求高，处理数据时间长、强度大、效率低。这就亟需本领域技术人员解决相应的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方 法。

为了实现本发明的上述目的，本发明提供了、一种基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，包括如下步骤：

S1，通过单通道感知颜色空间Lab图像提取a通道的图像，判定两个相邻帧图像之间的相似性；

S2，如果两个相邻帧图像相似就顺序进行下一对相邻帧图像之间的判定，直到两个相邻图像之间不相似，然后通过物理角点检测算法提取这两幅图像的关键角点，根据关键点匹配率判定两幅图像的相似性；

S3，如果两幅图像相似，则继续进行S2步骤的顺序相邻帧两幅图像的颜色相似性判定，如果发现不相似的顺序相邻帧两幅图像，则输出顺序相邻帧相似图像段；

S4，根据WCE序列图像相似度关键帧摘要提取方法，将输出满足使用者需求的图像作为时序图像的关键帧摘要图像。

所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，优选的，所述S1包括：

S1-1，在Lab图像中的数值描述正常视力的人能够看到的所有的颜色，其描述的是颜色的显示方式，所以Lab被视为与设备无关的基于感知的颜色模型，其中，L是代表图像的明度，a描述从洋红色至绿色的范围，b表示的是从黄色到蓝色的范围；结合WCE图像的实际情况，WCE图像主要呈现出粉红，橙红和绿色，选取符合WCE图像颜色性质的a通道图像的均值统计量来判定相邻图像之间的相似性；

S1-2，获取原始图像I(x)的a通道图像I_a(x)，

由于WCE原始图像是按RGB颜色空间进行存储的，首先需要将RGB颜色空间图像I(x)转化为Lab颜色空间的图像，但是RGB和Lab之间没有直接的转换公式，必须进行一次中间转化，先将RGB颜色空间图像转换为XYZ空间，然后在通过XYZ空间获得a通道图像I_a(x)，如下式所示：

RGB转XYZ：

其中r，g，b分别为RGB图像R、G、B的通道值；

XYZ转Lab图像：

a^*＝500[f(X/Y_n)-f(Y/Y_n)] (4)

其中Y_n＝100.0

故获得a通道图像I_a(x)，如下式所示：

I_a(x)＝500[f(X(x)/Y_n)-f(Y(x)/Y_n)] (5)；

S1-3，判定相邻两幅图像的相似性

其中t为视频时序帧图像的序列号，n为序列图像数据的图片总数量，M*N为单张序列图像的大小，其中I_at为第t张图像的在a通道的颜色值；

|mean_m-mean_m+1|≤T_v，1≤m＜n (7)

若相邻两幅图像小于阈值T_v，则此相邻的两幅图像相似。

所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，优选的，所述S2包括：

S2-1，获取关键角点，假设I₁(x)和I₂(x)是两幅相邻的WCE时序图像，则分别通过某一角点检测算法获得I₁(x)和I₂(x)的关键角点集和

S2-2，获取关键点的特征向量

根据和分别获取I₁(x)和I₂(x)的尺度和旋转不变的关键角点特征向量和

所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，优选的，所述S3包括：

进行图像相似性判定，根据特征向量和进行图像的相似性判定如公式10，目前，进行特征向量相似性比较流行的距离算法主要有欧式距离，曼哈顿距离、切比雪夫距离和闵可夫斯基距离，

Number(P)是求取集合P的关键点总数,是取两值之间的较小值，T_s≥0.5。

其中分别为图像I₁的关键角点总数和图像I₂的关键角点总数。

所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，优选的，所述S4包括：

S4-1，假设WCE视频时序图像有n帧，依次剪切每一幅图像，去除不相 干的边缘和黑边角，获得I₁，I₂...I_n幅被剪切后的图像数据和用于相似性判定的图像序列队(I₁，I₂)，(I₂，I₃)...(I_n-1，I_n)，初始化i＝1，m＝1，k＝1；

S4-2，根据公式(1)～(5)先获得序列对(I_i，I_i+1)，i＜n的感知颜色图像I_ai(x)与I_a(i+1)(x)；

S4-3，根据公式(6)～(7)判定I_i(x)和I_i+1(x)两幅图像的视觉感知颜色相似性，如果相似则i＝i+1,顺序取下一对序列对(I_i，I_i+1)执行S4-6，直到(I_i，I_i+1)不相似，，记录不相似图像I_m(x)和I_m+1(x),其中m＝i执行S4-4；

S4-4，根据公式(8)～(9)，获取图像的关键角点的特征向量和

S4-5，根据公式(10)～(11)，判定图像I_m(x)和I_m+1(x)的空间位置的相似性，如果I_m(x)和I_m+1(x)在空间位置上相似，则i＝m+1,如果顺序取下一个序列对(I_i，I_i+1)，转到S4-2；如果I_m(x)和I_m+1(x)空间位置上也不相似，则图像序列对(I_m，I_m+1)为两个相邻关键帧段的分段序列，I_k～I_m为相似序列段，I_m+1(x)则为下个关键帧序列段的开始图像，i＝m+1，k＝m+1，执行S4-6；

S4-6，若i＜n，则执行S4-2，否则结束循环。

S4-7，输出所有的相似序列段，根据序列在每个相似序列段中选择满足使用者需求的图像作为时序图像的关键帧摘要图像。如选取每个相似段的第一个帧、处于最中间位置的帧和最后以帧，作为关键帧摘要图像。或者，按间隔t进行选择关键帧，其中t要小于该相似段的实际长度。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

因此，本申请方法帮助医务人员剔除冗余的图像数据，获取关键图像数据，提高工作效率，降低时耗和降低人工成本。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明总体流程图；

图2是本发明WCE图像示意图；

图3是本发明胃和小肠的相邻的两幅相似图像示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能 理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，我们提出了一种基于感知颜色空间和关键角点的WCE视频时序图像的冗余数据的关键帧提取技术。该方法是基于图像的视觉颜色特征和图像的物理角点特征，进行视频图像关键帧摘要提取。首先我们通过感知颜色空间Lab提取a通道的颜色均值统计量，通过判定两个相邻帧图像之间的相似性，如果图像相似就顺序进行下一对相邻帧图像之间的判定，直到两个相邻图像之间不相似，然后通过物理角点检测算法提取这两幅图像的关键角点，根据关键点匹配率判定两幅图像的相似性，如果相似则继续进行顺序相邻帧的两幅图像的颜色相似性判定，如果不相似，则输出相似段。

1)基于单通道的感知颜色空间的图像颜色视觉相似性判定

WCE图像是彩色图像，其颜色特征是分析WCE图像属性的一个主要的必不可少的视觉特征。我们提出了一种基于单通道的感知颜色空间的图像颜色视觉相似性判定方法。因此，我们选择了一种基于人对颜色的感觉的彩色模型——Lab色彩模型。Lab中的数值描述正常视力的人能够看到的所有的颜色， 其描述的是颜色的显示方式，而不是设备生成颜色所需的特定色料的数量，所以Lab被视为与设备无关的基于感知的颜色模型。其中，L是代表图像的明度，a描述从洋红色至绿色的范围，b表示的是从黄色到蓝色的范围。结合WCE图像的实际情况，WCE图像主要呈现出粉红(图2(a))，橙红(图2(b))和绿色(图2(c))这3种颜色，因此我们选取了符合WCE图像颜色性质的a通道(公式(4))图像的均值统计量来判定相邻图像之间的相似性，既可以准确的匹配相似图像又可以进行高效计算。

(1)获取原始图像I(x)的a通道图像I_a(x)

由于WCE原始图像是按RGB颜色空间进行存储的，所以我们首先需要将RGB颜色空间图像I(x)转化为Lab颜色空间的图像，但是RGB和Lab之间没有直接的转换公式，必须进行一次中间转化，先将RGB颜色空间图像转换为XYZ空间，然后在通过XYZ空间获得a通道图像I_a(x)，如下式所示：

RGB转XYZ：

其中r，g，b分别为RGB图像R、G、B的通道值。

XYZ转Lab：

a^*＝500[f(X/Y_n)-f(Y/Y_n)] (4)

其中Y_n＝100.0

故获得a通道图像I_a(x)，如下式所示：

I_a(x)＝500[f(X(x)/Y_n)-f(Y(x)/Y_n)] (5)

(2)判定相邻两幅图像的相似性

其中t为视频时序帧图像的序列号，n为序列图像数据的图片总数量，M*N为单张序列图像的大小。

|mean_m-mean_m+1|≤T_v，1≤m＜n (7)

若相邻两幅图像小于阈值T_v(根据实际观察和统计，当T_v＝2时效果最好)，则此相邻的两幅图像相似。

2)基于尺度和旋转不变的角点匹配算法的图像相似性判定

在摄像的过程中，由于消化道内存在不确定的摄像环境的因素，因此摄像 机在存在胃液、肠液或者前方有遮挡物的时候或者当镜头转换一个小角度的时候就会拍摄出不同的强度的或者不同角度的同一位置的图像，这使得单一的依靠感知颜色强度均值统计量来获取WCE视频图像关键帧就可能出现错判和漏判。如图3(a)和(b)分别是胃和小肠的相邻的两幅相似图像，左(a)和左(b)分别和右(a)和右(b)分别是胃部和小肠同一个位置不同拍摄环境拍出的图像，虽然图像的色调也一致，但是左边的两幅图像比右边的两幅图像由于环境因素的影响，左侧图像的亮度都大于右边的图像。因此，空间的尺度和旋转不变性被考虑用来解决上述问题。目前比较流行的基于尺度和旋转不变的角点匹配算法主要有SIFT、PCA-SIFT和SURF，其图像匹配效果在不同的情形下具有不同的结果，可以根据实际的需要进行恰当的选择。如果需要旋转和尺度不变在匹配效果上达到最优，SIFT算法则是最佳选择，如果想要在时间效率上获得最优，则SURF算法是最佳的选择，而如果对尺度、旋转和时间都有要求，则需要折衷选择PCA-SIFT算法。

(1)获取关键角点

假设I₁(x)和I₂(x)是两幅相邻的WCE时序图像，则分别通过某一角点检测算法获得I₁(x)和I₂(x)的关键角点集和

(2)获取关键点的特征向量

根据和分别获取I₁(x)和I₂(x)的尺度和旋转不变的关键角点 特征向量和

(3)图像相似性判定

根据特征向量和进行图像的相似性判定(公式(10))，目前，进行特征向量相似性比较流行的距离算法主要有欧式距离，曼哈顿距离、切比雪夫距离和闵可夫斯基距离等。每种方法都各有自己的优缺点，可根据实际情况进行最优化选择。

Number(P)是求取集合P的关键点总数,是取两值之间的较小值，T_s≥0.5。

3)WCE序列图像相似段关键帧摘要提取

步骤1：假设WCE视频时序图像有n帧，依次剪切每一幅图像，去除不相干的边缘和黑边角，获得I₁，I₂...I_n幅被剪切后的图像数据和用于相似性判 定的图像序列队(I₁，I₂)，(I₂，I₃)...(I_n-1，I_n)，初始化i＝1，m＝1，k＝1；

步骤2：根据公式(1)～(5)先获得序列对(I_i，I_i+1)，i＜n的感知颜色图像I_ai(x)与I_a(i+1)(x)；

步骤3：根据公式(6)～(7)判定I_i(x)和I_i+1(x)两幅图像的视觉感知颜色相似性，如果相似则i＝i+1,顺序取下一对序列对(I_i，I_i+1)执行步骤6，直到(I_i，I_i+1)不相似，，记录不相似图像I_m(x)和I_m+1(x),其中m＝i执行步骤4；

步骤4：根据公式(8)～(9)，获取图像的关键角点的特征向量和

步骤5：根据公式(10)～(11)，判定图像I_m(x)和I_m+1(x)的空间位置的相似性，如果I_m(x)和I_m+1(x)在空间位置上相似，则i＝m+1,如果顺序取下一个序列对(I_i，I_i+1)，转到步骤2；如果I_m(x)和I_m+1(x)空间位置上也不相似，则图像序列对(I_m，I_m+1)为两个相邻关键帧段的分段序列，I_k～I_m为相似序列段，I_m+1(x)则为下个关键帧序列段的开始图像，i＝m+1，k＝m+1，执行步骤6；

步骤6：若i＜n，则执行步骤2，否则结束循环。

步骤7：输出所有的相似序列段，根据序列在每个相似序列段中选择满足使用者需求的图像作为时序图像的关键帧摘要图像。如选取每个相似段的第一个帧、处于最中间位置的帧和最后以帧，作为关键帧摘要图像。或者，按间隔t进行选择关键帧，其中t要小于该相似段的实际长度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，其特征在于，包括如下步骤：

S1，通过单通道感知颜色空间Lab图像提取a通道的图像，判定两个相邻帧图像之间的相似性；

S2，如果两个相邻帧图像相似就顺序进行下一对相邻帧图像之间的判定，直到两个相邻图像之间不相似，然后通过物理角点检测算法提取这两幅图像的关键角点，根据关键点匹配率判定两幅图像的相似性；

S3，如果两幅图像相似，则继续进行S2步骤的顺序相邻帧两幅图像的颜色相似性判定，如果发现不相似的顺序相邻帧两幅图像，则输出顺序相邻帧相似图像段；

S4，根据WCE序列图像相似度关键帧摘要提取方法，将输出满足使用者需求的图像作为时序图像的关键帧摘要图像。

2.根据权利要求1所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，其特征在于，所述S1包括：

S1-1，在Lab图像中的数值描述正常视力的人能够看到的所有的颜色，其描述的是颜色的显示方式，所以Lab被视为与设备无关的基于感知的颜色模型，其中，L是代表图像的明度，a描述从洋红色至绿色的范围，b表示的是从黄色到蓝色的范围；结合WCE图像的实际情况，WCE图像主要呈现出粉红，橙红和绿色，选取符合WCE图像颜色性质的a通道图像的均值统计量来判定相邻图像之间的相似性；

S1-2，获取原始图像I(x)的a通道图像I_a(x)，

由于WCE原始图像是按RGB颜色空间进行存储的，首先需要将RGB颜色空间图像I(x)转化为Lab颜色空间的图像，但是RGB和Lab之间没有直接的转换公式，必须进行一次中间转化，先将RGB颜色空间图像转换为XYZ空间，然后在通过XYZ空间获得a通道图像I_a(x)，如下式所示：

RGB转XYZ：

其中r，g，b分别为RGB图像R、G、B的通道值；

XYZ转Lab图像：

a^*＝500[f(X/Y_n)-f(Y/Y_n)] (4)

其中Y_n＝100.0

故获得a通道图像I_a(x)，如下式所示：

I_a(x)＝500[f(X(x)/Y_n)-f(Y(x)/Y_n)] (5)；

S1-3，判定相邻两幅图像的相似性

其中t为视频时序帧图像的序列号，n为序列图像数据的图片总数量，M*N为单张序列图像的大小，其中I_at为第t张图像的在a通道的颜色值；

|mean_m-mean_m+1|≤T_v，1≤m≤n (7)

若相邻两幅图像小于阈值T_v，则此相邻的两幅图像相似。

3.根据权利要求1所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，其特征在于，所述S2包括：

S2-1，获取关键角点，假设I₁(x)和I₂(x)是两幅相邻的WCE时序图像，则分别通过某一角点检测算法获得I₁(x)和I₂(x)的关键角点集和

S2-2，获取关键点的特征向量

根据和分别获取I₁(x)和I₂(x)的尺度和旋转不变的关键角点特征向量和

4.根据权利要求1所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，其特征在于，所述S3包括：

进行图像相似性判定，根据特征向量和进行图像的相似性判定如公式10，目前，进行特征向量相似性比较流行的距离算法主要有欧式距离，曼哈顿距离、切比雪夫距离和闵可夫斯基距离，

Number(P)是求取集合P的关键点总数,是取两值之间的较小值，T_s≥0.5。

其中分别为图像I₁的关键角点总数和图像I₂的关键角点总数。

5.根据权利要求1所述的基于感知颜色空间和关键角点的WCE视频时序冗余图像数据的关键帧提取方法，其特征在于，所述S4包括：

S4-1，假设WCE视频时序图像有n帧，依次剪切每一幅图像，去除不相干的边缘和黑边角，获得I₁，I₂...I_n幅被剪切后的图像数据和用于相似性判定的图像序列队(I₁，I₂)，(I₂，I₃)...(I_n-1，I_n)，初始化i＝1，m＝1，k＝1；

S4-2，根据公式(1)～(5)先获得序列对(I_i，I_i+1)，i＜n的感知颜色图像I_ai(x)与I_a(i+1)(x)；

S4-3，根据公式(6)～(7)判定I_i(x)和I_i+1(x)两幅图像的视觉感知颜色相似性，如果相似则i＝i+1,顺序取下一对序列对(I_i，I_i+1)执行S4-6，直到(I_i，I_i+1)不相似，，记录不相似图像I_m(x)和I_m+1(x),其中m＝i执行S4-4；

S4-4，根据公式(8)～(9)，获取图像的关键角点的特征向量和

S4-5，根据公式(10)～(11)，判定图像I_m(x)和I_m+1(x)的空间位置的相似性，如果I_m(x)和I_m+1(x)在空间位置上相似，则i＝m+1,如果顺序取下一个序列对(I_i，I_i+1)，转到S4-2；如果I_m(x)和I_m+1(x)空间位置上也不相似，则图像序列对(I_m，I_m+1)为两个相邻关键帧段的分段序列，I_k～I_m为相似序列段，I_m+1(x)则为下个关键帧序列段的开始图像，i＝m+1，k＝m+1，执行S4-6；

S4-6，若i＜n，则执行S4-2，否则结束循环。

S4-7，输出所有的相似序列段，根据序列在每个相似序列段中选择满足使用者需求的图像作为时序图像的关键帧摘要图像。如选取每个相似段的第一个帧、处于最中间位置的帧和最后以帧，作为关键帧摘要图像。或者，按间隔t进行选择关键帧，其中t要小于该相似段的实际长度。