CN105657580A - 一种胶囊内镜视频摘要生成方法 - Google Patents

Abstract

本发明提出一种基于显著图的胶囊内镜视频摘要生成方法，具体包括以下步骤：首先，进行图像预处理，去除图像无效区域；针对预处理后的胶囊内镜图像，提出一种显著图提取算法，得到感兴趣区域；然后，提取感兴趣区域的颜色特征和纹理特征，高斯归一化，并进行特征融合；最后，根据融合特征的欧氏距离进行帧间差测定，分别进行突变检测和渐变检测，得到关键帧，形成视频摘要。本发明用于胶囊内镜视频摘要生成，有效地减轻了阅片医生的劳动强度，提高了诊断效率。

Description

一种胶囊内镜视频摘要生成方法

技术领域

本发明属于计算机人工智能和视频处理领域，具体来说，涉及一种胶囊内镜视频摘要生成方法。

背景技术

消化道疾病，如肿瘤、溃疡和出血等极大地威胁着人体的健康。传统的消化道检查方式对人体有着不同程度的损伤，且无法对小肠部位进行检查。胶囊内镜，是一种新型的消化道疾病检测技术。患者吞服胶囊，胶囊利用胃肠蠕动提供的动力向前运动，并对人体消化道进行连续拍摄，拍摄的视频由阅片医生进行检查与诊断。检测过程无痛苦，且能对整个消化道进行诊断。

胶囊内镜扩展了消化道检查的视野，克服了传统消化道疾病检查的缺陷，成为消化道疾病尤其是小肠疾病诊断的首选方法。但是，由于胶囊内镜在整个检测过程中会产生约55000张胶囊内镜图像，医生一般需要2小时才能完成一个完整病例的诊断。数量庞大的视频数据限制了无线胶囊内镜的广泛应用，因此寻找一种快速筛选机制，使得医生在不必浏览全部视频的前提下，自动提取携带医生感兴趣信息的视频图像供医生进一步诊断，对于减轻医生诊断负担，提高医生的诊断效率十分重要。

视频摘要就是一种精炼视频的有效方法。视频摘要是对视频的结构和内容进行分析，从原始视频中提取出有意义的内容，并将其以设定的方式重新组合，形成简洁、能充分表现视频语义内容的概要，同时可也作为原始视频文件的索引，以供用户快速寻找每个事件的具体信息。因此，本发明提出一种基于感兴趣区域帧检测的胶囊内镜视频摘要生成方法，利用该方法对无线胶囊内镜视频进行处理，快速筛选出视频中可能含有医生感兴趣信息的图像。

发明内容

本发明针对胶囊内镜视频，提出一种基于感兴趣区域的帧检测视频摘要方法。

首先，对胶囊内镜视频图像进行预处理，去除黑色边界影响，如图2所示；然后，提取预处理后的胶囊内镜图像的感兴趣区域；最后，提取图像感兴趣区域的颜色特征和纹理特征，并特征融合，利用融合特征欧氏距离进行帧间差测量，选取关键帧，得到胶囊内镜视频摘要。具体操作流程如下：

1.图像预处理

利用胶囊内镜采集到的图像都有一个黑色边界区域，该区域不包含对研究有价值的信息。因此，为了排除这个区域对后续步骤的干扰，对胶囊内镜图像进行去除黑色边界的预处理操作。

2.预处理后感兴趣区域提取

对于胶囊内镜视频图像来说，医生只对图像中的部分区域感兴趣，这部分感兴趣区域代表了医生的审阅意图，而多数剩余的不感兴趣区域则与医生的审阅意图无关。显著区域是图像中最能引起人们兴趣、最能表现图像内容的区域。基于此，本发明以人的注意力机制为基础，提取胶囊内镜图像预处理后的感兴趣区域。

感兴趣区域提取即图像显著图提取，分为四个主要步骤：首先，利用输入图像构造高斯金字塔；然后，提取高斯金字塔各层特征；其次，利用提取的各层图像特征生成特征图；最后进行特征图融合，得到图像显著图。具体步骤如下：

(1)构造高斯金字塔

先将输入图像表示成9层的高斯金字塔，分别为第0层到第9层。其中，第0层是输入图像，第1到8层分别由5*5的高斯滤波器对输入图像进行滤波和采样形成，大小分别为输入图像的1/2到1/256。

(2)提取图像金字塔各层特征

针对胶囊内镜图像特点，本发明提取了图像高斯金字塔各层的亮度信息、颜色信息、方向信息与纹理信息。

亮度信息是重要的视觉显著特性之一，亮度值较大区域通常更能吸引人的注意。因此，本发明提取胶囊内镜图像的亮度信息用于显著图的生成，具体提取公式如下所示：

I(x,y)＝0.2989R(x,y)+0.5870G(x,y)+0.1140B(x,y)(1)

其中，I(x,y)表示点(x,y)处亮度信息。R(x,y)、G(x,y)、B(x,y)分别表示点(x,y)处R、G、B三颜色通道值。

颜色信息是医生判读胶囊内镜图像重要的参考信息之一，为了让胶囊内镜图像更加符合医生的视觉感知特性，本发明先将胶囊内镜图像由RGB颜色空间转化到Lab颜色空间，然后进行颜色特征的提取。具体提取公式如下：

$f_C(x,y)=\frac{1}{(z_1+e^{-\frac{AC(x,y)}{{\mathrm{AC}}_{ave}}})\·(z_2+e^{-\frac{BC(x,y)}{{\mathrm{BC}}_{avg}}})}---\left(2\right)$

式中，f_C(x,y)表示点(x,y)处的颜色特征，AC(x,y)表示点(x,y)处的红绿值大小，AC_ave表示图像的平均红绿值，BC(x,y)表示点(x,y)处的黄蓝值大小，BC_ave表示图像的平均黄蓝值。注意，这里AC(x,y)和BC(x,y)分别指的是原先的红绿值和黄蓝值都加上128，防止其均值AC_ave和BC_ave为0。z₁和z₂为常数，均为0.5。

上述提取的亮度信息和颜色信息是全局特征，无法反映胶囊内镜图像的局部信息，因此，本发明还提取能够反映图像局部特征的方向信息和纹理信息。

方向信息能有效地表达图像某些像素在一定方向上存在的内在排序关系，进而产生了视觉上的方向感。Gabor滤波是一种基于多分辨率和多通道的分析方法，故采用Gabor变换来提取图像的方向特征，具体公式如下：

$Kernel=e^{-\frac{x^2+y^2}{2{\mathrm{\β}}^2}}\·cos(w\·cos(\mathrm{\θ})+w\·y\·sin(\mathrm{\θ})+\frac{\mathrm{\π}}{2})---\left(3\right)$

其中，Kernel表示Gabor变换核函数，(x,y)表示图像像素点二维坐标，β决定了Gabor核函数的空间扩展是均衡的，取w＝1，θ＝nπ/k(n＝0,1,...,k-1)，k决定了Gabor滤波器方向的个数，本发明提取图像4个方向的特征，故取k＝4。通过该核函数提取图像4个方向特征O(θ)。

纹理信息与方向信息一样反映了图像的局部特征。本发明提取LBP纹理特征表述胶囊内镜图像的纹理信息。假设像素q(灰度值为D_q)拥有P个邻域像素(灰度值为D_n，1≤n≤P)。首先将图像分为若干个细胞。对细胞中的每一个像素，确定其为候选像素，其周围的像素定义为邻域像素；然后计算候选像素与其各邻域像素灰度值的差值d_nq。并根据如下公式计算该候选像素的局部二元模式特征值：

$L=\underset{n=0}{\overset{P-1}{\Σ}}{d}_{nq}\·2^P---\left(4\right)$

其中， $d_{nc}=\left\{\begin{array}{cc}1,& D_n\≥D_q\\ 0,& otherwise\end{array}\right..$

(3)特征图生成

为了模拟感受野的中心-外周拮抗的结构，对各种特征分别在特征金字塔的不同尺度间作差。感受野中心对应于尺度c的特征图像素点(c∈{2,3,4})，感受野周边区域对应于尺度s的特征图像素点(s＝c+δ,δ∈{3,4})。而不同尺度特征图的分辨率不同，需要通过插值使两幅图像大小相同后，再对两幅图像进行点对点作差。这个过程用Θ表示。得到的中心(尺度c)和外周(尺度s)的特征对比表示中心和外周的局部方向特征的对比。具体过程可表述如下：

I(c,s)＝|I(c)ΘI(s)|(5)

f_C(c,s)＝|f_C(c)Θf_C(s)|(6)

O(c,s,θ)＝|O(c,θ)ΘO(s,θ)|(7)

L(c,s)＝|L(c)ΘL(s)|(8)

其中，式(5)是亮度特征图，表示亮度的对比。式(6)是颜色特征图，表示视皮层中颜色的双拮抗反应。式(7)是方向特征图，由同一个方向θ的特征在不同尺度作差得到，表示中心和外周局部方向特征的对比。式(8)是纹理特征图。

(4)显著图生成

为了将上面生成的不同尺度和不同特征的特征图进行融合，首先将每幅特征图中的每个像素点的显著值归一化到一个区间[0,M]，这样是为了消除由于不同特征的显著值分布区间不同而产生的影响；其次，寻找特征图中的全局最大值M，计算所有其他局部最大值的平均值最后，对特征图中的每个位置乘以这样就将每幅特征图中潜在的显著区域位置进行了放大，使得那些位置的显著值相对于背景更突出。具体计算过程如下：

$\stackrel{\‾}{I}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+2}{\overset{c+4}{\⊕}}N\left(I\right(c,s\left)\right)---\left(9\right)$

$\stackrel{\‾}{F}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}\[N\left(f_C\right(c,s\left)\right)\]---\left(10\right)$

$\stackrel{\‾}{O}=\ΣN\left(\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\right(O\left(c,s,\mathrm{\θ}\right)\left)\right)---\left(11\right)$

$\stackrel{\‾}{L}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\left(L\right(c,s\left)\right)---\left(12\right)$

$S=\frac{1}{3}\left(N\right(\stackrel{\‾}{I})+N(\stackrel{\‾}{F})+N(\stackrel{\‾}{O})+N(\stackrel{\‾}{L}\left)\right)---\left(13\right)$

其中，分别表示分量I，分量f_C，分量O和分量L在不同尺度归一化后的结果，N(·)表示Itti归一化函数，表示异或关系。S为最终得到的视觉显著图，即图像的感兴趣区域。

3.感兴趣区域颜色特征提取

颜色信息是医生诊断胶囊内镜病例图像的重要参考依据之一，如出血症状所呈现的红色信息、胆汁异常胃部呈现的黄色物体等。但是由于胶囊内镜拍摄过程中，光照不均匀，且有消化道物体的遮挡，导致胶囊内镜图像亮度不足且明暗不均。为了有效地描述胶囊内镜图像的颜色信息，去除光照的影响，本发明先对原有的颜色空间进行如下转换：

$chc\_R=R-\stackrel{\‾}{R},chc\_G=G-\stackrel{\‾}{G},chc\_B=B-\stackrel{\‾}{B}---\left(14\right)$

$chc=\{\frac{chc\_R}{chc\_B},\frac{chc\_G}{chc\_B}\}---\left(15\right)$

$che\_R=\frac{dR}{dX},che\_G=\frac{dG}{dX},che\_B=\frac{dB}{dX}---\left(16\right)$

$che=\{\frac{che\_R}{che\_B},\frac{che\_G}{che\_B}\}---\left(17\right)$

上式中，R、G、B分别表示图像中的三颜色通道，表示整个图像三颜色通道的均值。表示一阶空间邻域微分。chc_R、chc_G、chc_B是由式(14)得到的三颜色分量。che_R、che_G、che_B是由式(16)得到另一组三颜色分量。最终利用这两组颜色分量，分别由式(15)和式(17)得到最终的颜色特征chc和che。

然后，利用概率密度函数对得到的颜色特征chc和che进行如下操作：

${\mathrm{DM}}_{ab}^C=\underset{r=0}{\overset{r_{\max }}{\Σ}}\underset{g=0}{\overset{g_{\max }}{\Σ}}{r}^a{g}^{b}p(r,g)---\left(18\right)$

$p(r,g)=\frac{Num(r,g)}{pixNum}---\left(19\right)$

式中，表示最终得到的离散概率密度值，C∈{chc,che}是选择的颜色空间，a和b为概率密度函数系数常量，且a,b∈{1,2,3}，r_max和g_max分别代表分量r和g在图像中的最大值。pixNum是图像总像素点数，Num(r,g)是图像中像素值组合为(r,g)的像素点数，p(r,g)表示像素值组合为(r,g)的像素点数与图像总像素点数的比值大小。

为了去除光照的影响，对进行归一化操作，具体公式如下：

${\mathrm{\ξ}}_{ab}^C=\frac{{\mathrm{DM}}_{ab}^C}{{\left({\mathrm{DM}}_{20}^C\right)}^{a/2}{\left({\mathrm{DM}}_{02}^C\right)}^{b/2}}---\left(20\right)$

从式(20)可以发现，因此，最终选取如下公式得到颜色特征F^C：

$F^C=({\mathrm{\ξ}}_{01}^C,{\mathrm{\ξ}}_{10}^C,{\mathrm{\ξ}}_{11}^C,{\mathrm{\ξ}}_{12}^C,{\mathrm{\ξ}}_{21}^C,{\mathrm{\ξ}}_{22}^C,{\mathrm{\ξ}}_{03}^C,{\mathrm{\ξ}}_{30}^C,{\mathrm{\ξ}}_{13}^C,{\mathrm{\ξ}}_{31}^C)---\left(21\right)$

4.感兴趣区域纹理特征提取

纹理是物体表面的固有特征之一，对于胶囊内镜图像，表面的纹理信息对于医生诊断有着重要的参考价值，如病变形成的裂纹、点刺等。本发明采用小波变换提取胶囊内镜图像感兴趣区域的纹理特征。小波变换对胶囊内镜图像进行多分辨率分析，能全面地描述图像特征。且本发明提取小波变换系数的均值和方差进行研究，能有效地排除图像噪声的干扰。

为了更好地表现胶囊内镜图像的纹理特征，本发明选取对称性更好的Symlets小波基。具体的纹理特征提取步骤如下：

(1)将胶囊内镜图像转化成灰度图，图像大小为W×H；

(2)进行四层小波分解；

(3)求分解后每个子带小波系数的均值u和标准差σ。设小波分解后的子带为f_i(x,y),i＝1,2,...,13，则：

$u_i=\frac{1}{W*H}\underset{j=1}{\overset{W}{\Σ}}\underset{l=1}{\overset{H}{\Σ}}\left|f_i(x,y)\right|---\left(22\right)$

${\mathrm{\σ}}_i=\sqrt{\frac{\underset{j=1}{\overset{W}{\Σ}}\underset{l=1}{\overset{H}{\Σ}}{\left(\right|f_i(x,y)|-u_i)}^2}{W*H}}---\left(23\right)$

(4)得到特征向量T：将各个子带小波系数的均值和标准差作为图像的纹理特征向量中的各个分量，则纹理特征向量为T＝(u₁,σ₁,u₂,σ₂,....,u₁₃,σ₁₃)。

5.帧间差计算

特征提取对于胶囊内镜关键帧的提取是至关重要的，通过步骤3和4得到了胶囊内镜图像的颜色特征F^C和纹理特征T。由于颜色特征和纹理特征具有不同的尺度空间，为了更好地融合这两个特征并以此来描述胶囊内镜图像，首先对它们进行归一化处理，具体步骤如下：

(1)颜色特征归一化

假设胶囊内镜图像颜色特征 $F^C=({\mathrm{\ξ}}_{01}^C,{\mathrm{\ξ}}_{10}^C,{\mathrm{\ξ}}_{11}^C,{\mathrm{\ξ}}_{12}^C,{\mathrm{\ξ}}_{21}^C,{\mathrm{\ξ}}_{22}^C,{\mathrm{\ξ}}_{03}^C,{\mathrm{\ξ}}_{30}^C,{\mathrm{\ξ}}_{13}^C,{\mathrm{\ξ}}_{31}^C)$ 的均值为方差为对各分量进行归一化操作，具体公式如下：

${\mathrm{\ξ}}_{01}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{01}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{10}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{10}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{11}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{11}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{12}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{12}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{21}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{21}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{22}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{22}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},$

${\mathrm{\ξ}}_{03}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{03}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{30}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{30}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{13}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{13}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{31}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{31}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C}---\left(24\right)$

得到归一化后的胶囊内镜图像颜色特征为 $F^{C^{\′}}=({\mathrm{\ξ}}_{01}^{C^{\′}},{\mathrm{\ξ}}_{10}^{C^{\′}},{\mathrm{\ξ}}_{11}^{C^{\′}},{\mathrm{\ξ}}_{12}^{C^{\′}},{\mathrm{\ξ}}_{21}^{C^{\′}},{\mathrm{\ξ}}_{22}^{C^{\′}},{\mathrm{\ξ}}_{03}^{C^{\′}},{\mathrm{\ξ}}_{30}^{C^{\′}},{\mathrm{\ξ}}_{13}^{C^{\′}},{\mathrm{\ξ}}_{31}^{C^{\′}}).$

(2)纹理特征归一化

同理，计算出胶囊内镜图像纹理特征归一化后的结果为T'＝(u₁',σ₁',u'₂,σ'₂,...,u₁'₃,σ₁'₃)。

(3)特征融合

颜色特征和纹理特征均进行高斯归一化后，两者具有了相同的尺度空间，为了更好地综合利用颜色特征和纹理特征来描述胶囊内镜图像，本发明将两者进行如下方式融合，得到最后的融合特征Rt：

$\begin{array}{c}Rt=(F^{C^{\′}},T^{\′})\\ =({\mathrm{\ξ}}_{01}^{C^{\′}},{\mathrm{\ξ}}_{10}^{C^{\′}},{\mathrm{\ξ}}_{11}^{C^{\′}},{\mathrm{\ξ}}_{12}^{C^{\′}},{\mathrm{\ξ}}_{21}^{C^{\′}},{\mathrm{\ξ}}_{22}^{C^{\′}},{\mathrm{\ξ}}_{03}^{C^{\′}},{\mathrm{\ξ}}_{30}^{C^{\′}},{\mathrm{\ξ}}_{13}^{C^{\′}},{\mathrm{\ξ}}_{31}^{C^{\′}},u_1^{\′},{\mathrm{\σ}}_1^{\′},u_2^{\′},{\mathrm{\σ}}_1^{\′},\mathrm{..},u_{13}^{\′},{\mathrm{\σ}}_{13}^{\′})\end{array}---\left(25\right)$

(4)帧间差距离测定

针对得到的融合特征Rt，本发明采用欧氏距离的方式来测定图像之间的帧间差距离。假设现有相邻两幅胶囊内镜图像，分别为A、B，那么它们帧间差的欧氏距离为：

Dis_AB＝|Rt_A-Rt_B|(26)

上式中，Dis_AB表示相邻两幅图像之间帧间差欧氏距离，Rt_A和Rt_B分别表示相邻两幅胶囊内镜图像A和B的融合特征。

6.视频摘要生成

由于无线胶囊内镜是依靠肠胃蠕动在患者消化道内进行移动和拍摄，其在人体内的运动方向是不可控的，所以两个连续视频帧的内容可能非常相似，也可能差别巨大。因此，无线胶囊内镜视频关键帧检测应包括突变检测和渐变检测。

(1)突变检测

突变是指胶囊内镜图像前后两帧的场景存在着巨大的差异。为了检测无线胶囊内镜视频内容的突变情况，本发明利用连续两帧图像之间融合特征Rt的欧氏距离来测定。

如果连续两帧图像A和B，它们之间融合特征的欧氏距离定义为Dis_AB＝|Rt_A-Rt_B|。当Dis_AB值变化范围过大，说明视频内容出现了突变；当Dis_AB值浮动范围较小，说明视频内容平稳变化或者保持不变。为了更好地适应不同胶囊内镜视频的突变帧检测，本发明采用自适应阈值提取方法，使用公式(27)设置阈值Th，用于检测视频中的突变帧。当相邻两帧之间融合特征的欧氏距离大于阈值Th，则认为视频发生突变，此突变帧选为视频关键帧。

Th＝μ_v+α_v×σ_v(27)

其中μ_v和σ_v分别代表视频v中融合特征的均值和方差，α_v代表平衡参数，且α_v∈[0,1]。

(2)渐变检测

渐变是指相邻两张图像之间的内容没有明显的变化。在无线胶囊内镜视频中，由于无线内镜移动缓慢，镜头的渐变经常发生。由于视频场景切换是一个逐渐的变化过程，所以相邻帧之间的差异并不像突变一样明显。然而，随着渐变的不断积累，这个差异最终将会导致视频场景发生转换。

为了量化度量渐变帧，定义一个累积差异，即相邻两帧图像之间的帧间差之和，大于阈值Th时，认为此帧为渐变关键帧。

(3)视频摘要生成

通过视频帧突变检测和渐变检测，得到胶囊内窥镜视频中的突变关键帧和渐变关键帧，最终形成胶囊内窥镜视频摘要。

有益效果

1.本发明提出了提取胶囊内镜图像的显著图分析方法，利用提出的显著图提取方法提取医生感兴趣区域进行分析，有效地去除了无效区域的干扰，增加了后续分析工作的准确性。

2.本发明针对胶囊内镜图像感兴趣区域，提取其颜色特征和纹理特征，颜色特征经过多步处理消除了光照对于图像的干扰，纹理特征提取采用了小波变换法，更好地描述了胶囊内镜图像的纹理特征。最后，进行特征融合，更加全面地描述了胶囊内镜图像特征。

3.本发明在帧间差检测时，分别进行了突变检测和渐变检测，不仅有效地检测出突变关键帧，同时避免了渐变关键帧的丢失，有效地保护了视频关键帧的完整性。

附图说明

图1是本发明的整体流程图；

图2是一张胶囊内镜彩色图像和预处理后的结果图；

其中(1)预处理前(红色区域为保留区域)(2)预处理后

图3是显著图算法流程图；

图4是视频摘要部分结果图。

具体实施方式

图1为本发明的整体流程图，下面为本发明的具体实施步骤：

1.视频图像预处理

为了去除黑色无用边界的影响，对胶囊内镜图像进行预处理操作。即选取内镜图像中心181*181的正方形区域(原始图像大小均为256*256)，如图2所示。

2.预处理后感兴趣区域提取

医生在进行胶囊内镜视频审阅时，针对病症的判断往往只集中图像部分区域，即感兴趣区域。为了有效地提取胶囊内镜图像医生的感兴趣区域，本发明提出一种预处理后图像的感兴趣区域提取方法。

感兴趣区域提取方法主要分为四个步骤：首先，利用输入图像构造图像高斯金字塔；然后，提取图像高斯金字塔各层特征；其次，利用各层提取的特征生成特征图；最后，根据特征图融合，形成图像显著图，即图像感兴趣区域图。具体步骤如下：

(1)构造9层高斯金字塔塔

首先把输入图像表示成9层金字塔，分别为第0层到第8层。其中第0层为输入图像，第1到8层分别用5*5的高斯滤波器对输入图像进行滤波和采样，形成了大小从1/2到1/256的9层金字塔。

(2)提取图像金字塔各层特征

对金字塔每一层分别提取如下特征：亮度特征I、颜色特征f_C、方向特征O和纹理特征L。具体步骤如下：

1)亮度特征提取

I(x,y)＝0.2989R(x,y)+0.5870G(x,y)+0.1140B(x,y)(28)

其中，I(x,y)表示提取的点(x,y)处亮度信息。R(x,y)、G(x,y)、B(x,y)分别表示点(x,y)处R、G、B三颜色通道值。

2)颜色特征提取

首先，将胶囊内镜图像由RGB颜色空间转换到HSI颜色空间，获取图像的饱和度和亮度信息。然后根据如下公式得到颜色特征：

$f_C(x,y)=\frac{1}{(z_1+e^{-\frac{AC(x,y)}{{\mathrm{AC}}_{avg}}})\·(z_2+e^{-\frac{BC(x,y)}{{\mathrm{BC}}_{avg}}})}---\left(29\right)$

式中，f_C(x,y)表示点(x,y)处的颜色特征，AC(x,y)表示点(x,y)处的红绿值大小，AC_ave表示图像的平均红绿值，BC(x,y)表示点(x,y)处的黄蓝值大小，BC_ave表示图像的平均黄蓝值。注意，这里AC(x,y)和BC(x,y)分别指的是原先的红绿值和黄蓝值都加上128，防止其均值AC_ave和BC_ave为0。z₁和z₂为常数，均为0.5。

3)方向特征提取

方向特征的获取公式如下所示：

$Kernel=e^{-\frac{x^2+y^2}{2{\mathrm{\β}}^2}}\·cos(w\·cos(\mathrm{\θ})+w\·y\·\sin (\mathrm{\θ})+\frac{\mathrm{\π}}{2})---\left(30\right)$

其中，Kernel表示Gabor变换核函数，(x,y)表示图像像素点二维坐标，β决定了Gabor核函数的空间扩展是均衡的，取w＝1，θ＝nπ/k(n＝0,1,...,k-1)，k决定了Gabor滤波器方向的个数，本发明提取图像4个方向的特征，取k＝4。通过该核函数提取图像4个方向特征O(θ)。

4)纹理特征提取：

假设像素q(灰度值为D_q)拥有P个邻域像素(灰度值为D_n，1≤n≤P)。首先将图像分为若干个细胞。对细胞中的每一个像素，确定其为候选像素，其周围的像素定义为邻域像素；然后计算候选像素与其各邻域像素灰度值的差值d_nq。并根据如下公式计算该候选像素的局部二元模式特征值：

$L=\underset{n=0}{\overset{P-1}{\Σ}}{d}_{nq}\·2^P---\left(31\right)$

其中， $d_{nq}=\left\{\begin{array}{cc}1,& D_n\≥D_q\\ 0,& otherwise\end{array}\right..$

(3)特征图生成

为了模拟感受野的中心-外周拮抗的结构，对各种特征分别在特征金字塔的不同尺度间作差。感受野中心对应于尺度c的特征图像素点(c∈{2,3,4})，感受野周边区域对应于尺度s的特征图像素点(s＝c+δ,δ∈{3,4})。而不同尺度特征图的分辨率不同，需要通过插值使两幅图像大小相同后，再对两幅图像进行点对点作差。这个过程用Θ表示。得到的中心(尺度c)和外周(尺度s)的特征对比表示中心和外周的局部方向特征的对比。具体过程可表述成如下公式：

I(c,s)＝|I(c)ΘI(s)|(32)

f_C(c,s)＝|f_C(c)Θf_C(s)|(33)

O(c,s,θ)＝|O(c,θ)ΘO(s,θ)|(34)

L(c,s)＝|L(c)ΘL(s)|(35)

其中，式(32)是亮度特征图，表示亮度的对比。式(33)是颜色特征图，表示视皮层中颜色的双拮抗反应。式(34)是方向特征图，由同一个方向θ的特征在不同尺度作差得到，表示中心和外周局部方向特征的对比。式(35)是纹理特征图。

(5)显著图生成

为了将上面生成的不同尺度和不同特征的特征图进行融合，首先对每幅特征图中的每个像素点的显著值归一化到一个区间[0,M]，这样是为了消除由于不同特征的显著值分布的区间不同而产生的影响；其次，寻找特征图中的全局最大值M，计算所有其他局部最大值的平均值最后，对特征图中的每个位置乘以这样就将每幅特征图中潜在的显著区域位置进行了放大，使得那些位置的显著值相对于背景更突出。具体计算过程如下：

$\stackrel{\‾}{I}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\left(I\right(c,s\left)\right)---\left(36\right)$

$\stackrel{\‾}{F}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}\[N\left(f_C\right(c,s\left)\right)\]---\left(37\right)$

$\stackrel{\‾}{O}=\ΣN\left(\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\right(O\left(c,s,\mathrm{\θ}\right)\left)\right)---\left(38\right)$

$\stackrel{\‾}{L}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\left(L\right(c,s\left)\right)---\left(39\right)$

$S=\frac{1}{3}\left(N\right(\stackrel{\‾}{I})+N(\stackrel{\‾}{F})+N(\stackrel{\‾}{O})+N(\stackrel{\‾}{L}\left)\right)---\left(40\right)$

其中，分别表示分量I，分量f_C，分量O和分量L在不同尺度归一化后的结果。N(·)表示Itti归一化函数，表示异或关系。S为最终得到的视觉显著图，即为提取的图像感兴趣区域。

3.感兴趣区域颜色特征提取

针对感兴趣区域颜色特征提取，首先，提取胶囊内镜图像的R(红色)、G(绿色)、B(蓝色)颜色分量，然后进行如下转换：

$chc\_R=R-\stackrel{\‾}{R},chc\_G=G-\stackrel{\‾}{G},chc\_B=B-\stackrel{\‾}{B}---\left(41\right)$

$che\_R=\frac{dR}{dX},che\_G=\frac{dG}{dX},che\_B=\frac{dB}{dX}---\left(42\right)$

上式中，R、G、B分别表示图像中的三颜色通道，分别表示整个图像三颜色通道的均值。表示一阶空间邻域微分。

通过上述转换，得到两种新的三颜色分量，分别为chc_R、chc_G、chc_B和che_R、che_G、che_B。利用这两种新的三颜色分量，进行如下变换，得到颜色特征chc和che。

$chc=\{\frac{chc\_R}{chc\_B},\frac{chc\_G}{chc\_B}\}---\left(15\right)$

$che=\{\frac{che\_R}{che\_B},\frac{che\_G}{che\_B}\}---\left(44\right)$

然后，利用概率密度函数对得到的颜色特征chc和che进行如下操作：

${\mathrm{DM}}_{ab}^C=\underset{r=0}{\overset{r_{\max }}{\Σ}}\underset{g=0}{\overset{g_{\max }}{\Σ}}{r}^a{g}^{b}p(r,g)---\left(45\right)$

$p(r,g)=\frac{Num(r,g)}{pixNum}---\left(46\right)$

式中，表示最终得到的离散概率密度值，C∈{chc,che}是选择的颜色空间，a和b为概率密度函数系数常量，且a,b∈{0,1,2,3}。r_max和g_max分别代表分量r和g在图像中的最大值。pixNum是图像总像素点数，Num(r,g)是图像中像素值组合为(r,g)的像素点数，p(r,g)表示像素值组合为(r,g)的像素点数与图像总像素点数的比值大小。

最后，为了去除光照的影响，对进行归一化操作，具体公式如下：

${\mathrm{\ξ}}_{ab}^C=\frac{{\mathrm{DM}}_{ab}^C}{{\left({\mathrm{DM}}_{20}^C\right)}^{a/2}{\left({\mathrm{DM}}_{02}^C\right)}^{b/2}}---\left(47\right)$

从式(45)可以发现，因此，最终选取的颜色特征表达式为：

$F^C=({\mathrm{\ξ}}_{01}^C,{\mathrm{\ξ}}_{10}^C,{\mathrm{\ξ}}_{11}^C,{\mathrm{\ξ}}_{12}^C,{\mathrm{\ξ}}_{21}^C,{\mathrm{\ξ}}_{22}^C,{\mathrm{\ξ}}_{03}^C,{\mathrm{\ξ}}_{30}^C,{\mathrm{\ξ}}_{13}^C,{\mathrm{\ξ}}_{31}^C)---\left(48\right)$

4.感兴趣区域纹理特征提取

为了更好地表现胶囊内镜图像感兴趣区域的纹理特征，本发明选取对称性更好地Symlets小波基。具体的纹理特征提取步骤如下：

(1)将胶囊内镜图像转化成灰度图，图像大小为W×H；

(2)进行四层小波分解；

(3)求分解后每个子带小波系数的均值u和标准差σ。设小波分解后的子带为f_i(x,y),i＝1,2,...,13，则：

$u_i=\frac{1}{W*H}\underset{j=1}{\overset{W}{\Σ}}\underset{l=1}{\overset{H}{\Σ}}\left|f_i(x,y)\right|---\left(49\right)$

${\mathrm{\σ}}_i=\sqrt{\frac{\underset{j=1}{\overset{W}{\Σ}}\underset{l=1}{\overset{H}{\Σ}}{\left(\right|f_i(x,y)|-u_i)}^2}{W*H}}---\left(50\right)$

(4)得到特征向量T：将各个子带小波系数的均值和标准差作为图像的纹理特征向量中的各个分量，则纹理特征向量为T＝(u₁,σ₁,u₂,σ₂,....,u₁₃,σ₁₃)。

5.帧间差计算

为了综合利用步骤3和步骤4得到的颜色特征F^C和纹理特征T，先将它们进行高斯归一化，使其拥有相同的尺度空间。颜色特征F^C的高斯归一化步骤如下：

假设胶囊内镜图像颜色特征 $F^C=({\mathrm{\ξ}}_{01}^C,{\mathrm{\ξ}}_{10}^C,{\mathrm{\ξ}}_{11}^C,{\mathrm{\ξ}}_{12}^C,{\mathrm{\ξ}}_{21}^C,{\mathrm{\ξ}}_{22}^C,{\mathrm{\ξ}}_{03}^C,{\mathrm{\ξ}}_{30}^C,{\mathrm{\ξ}}_{13}^C,{\mathrm{\ξ}}_{31}^C)$ 的均值为方差为对各分量进行归一化操作，具体公式如下：

${\mathrm{\ξ}}_{01}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{01}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{10}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{10}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{11}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{11}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{12}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{12}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{21}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{21}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{22}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{22}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},$

${\mathrm{\ξ}}_{03}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{03}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{30}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{30}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{13}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{13}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C},{\mathrm{\ξ}}_{31}^{C^{\′}}=\frac{{\mathrm{\ξ}}_{31}^C-u_{\mathrm{\ξ}}^C}{{\mathrm{\σ}}_{\mathrm{\ξ}}^C}---\left(51\right)$

得到归一化后的胶囊内镜图像颜色特征为 $F^{C^{\′}}=({\mathrm{\ξ}}_{01}^{C^{\′}},{\mathrm{\ξ}}_{10}^{C^{\′}},{\mathrm{\ξ}}_{11}^{C^{\′}},{\mathrm{\ξ}}_{12}^{C^{\′}},{\mathrm{\ξ}}_{21}^{C^{\′}},{\mathrm{\ξ}}_{22}^{C^{\′}},{\mathrm{\ξ}}_{03}^{C^{\′}},{\mathrm{\ξ}}_{30}^{C^{\′}},{\mathrm{\ξ}}_{13}^{C^{\′}},{\mathrm{\ξ}}_{31}^{C^{\′}}).$

同理可得纹理特征进行归一化得到的结果为：T'＝(u₁',σ₁',u'₂,σ'₂,...,u₁'₃,σ₁'₃)。

本发明按式(52)进行特征融合，得到融合特征Rt：

$\begin{array}{c}Rt=(F^{C^{\′}},T^{\′})\\ =({\mathrm{\ξ}}_{01}^{C^{\′}},{\mathrm{\ξ}}_{10}^{C^{\′}},{\mathrm{\ξ}}_{11}^{C^{\′}},{\mathrm{\ξ}}_{12}^{C^{\′}},{\mathrm{\ξ}}_{21}^{C^{\′}},{\mathrm{\ξ}}_{22}^{C^{\′}},{\mathrm{\ξ}}_{03}^{C^{\′}},{\mathrm{\ξ}}_{30}^{C^{\′}},{\mathrm{\ξ}}_{13}^{C^{\′}},{\mathrm{\ξ}}_{31}^{C^{\′}},u_1^{\′},{\mathrm{\σ}}_1^{\′},u_2^{\′},{\mathrm{\σ}}_1^{\′},\mathrm{..},u_{13}^{\′},{\mathrm{\σ}}_{13}^{\′})\end{array}---\left(52\right)$

帧间差的测定是基于胶囊内镜图像的融合特征Rt来进行的。假设，连续两帧视频图像分别为A和B，则帧间差Dis_AB的计算公式如下：

Dis_AB＝|Rt_A-Rt_B|(53)

6.视频摘要生成

通过步骤5，可以得到相邻两帧胶囊内镜图像之间的帧间差大小，然后进行关键帧选取的工作。选取的关键帧分为两种：一种是帧间差突变关键帧，即视频场景发生巨大变化；第二种是帧间差缓慢变化，积累到一定程度引发视频场景发生的变化，称为渐变关键帧。具体选取标准为：

(1)阈值Th的确定

本发明采用自适应阈值方式，根据不同视频内容确定不同的阈值大小，确定公式如下所示：

Th＝μ_v+α_v×σ_v(54)

其中μ_v和σ_v分别代表视频v中融合特征的均值和方差，α_v代表平衡参数，取σ_v＝0.5。

(2)突变关键帧选取

当连续两帧之间的帧间差大于阈值Th，则认为该帧为突变关键帧。

(3)渐变关键帧的选取

当连续两帧之间的帧间差累计和大于阈值Th，则认为该帧为渐变关键帧。

(4)视频摘要生成

通过步骤(2)和步骤(3)选取的胶囊内镜视频的突变关键帧和渐变关键帧，最终形成胶囊内镜视频摘要。

选取6个胶囊内镜视频片段，均包含1000张图片，根据本发明流程进行实验，生成视频摘要，部分结果如图4所示。最后，得到的结果填入下表。

根据上表可以得知，视频摘要生成结果最终的平均检索精度为89.58％，平均压缩比为94.32％，整体实验效果良好，证明了本发明提出方法的有效性。

Claims (8)

1.一种胶囊内镜视频摘要生成方法，其特征包括以下步骤：

(1)对胶囊内镜图像进行去除黑色边界的预处理操作；

(2)利用提出的显著图提取方法，提取预处理后的胶囊内镜图像的感兴趣区域：首先根据输入图像构造9层高斯金字塔；然后分别提取亮度特征、颜色特征、方向特征和纹理特征；其次，由提取的特征生成特征图；最后，对特征图进行融合，得到胶囊内镜图像显著图；

(3)针对感兴趣区域，提取其颜色特征和纹理特征，并高斯归一化，归一化后进行特征融合，以融合特征进行帧间差检测；

(4)利用融合特征欧氏距离来测定帧间差大小，分别进行突变检测和渐变检测，选取突变关键帧和渐变关键帧，形成胶囊内镜视频摘要。

2.根据权利要求1所述的一种胶囊内镜视频摘要生成方法，其特征在于：所述步骤(2)中提出的针对胶囊内镜图像的显著图提取方法中，亮度特征的提取公式：

I(x,y)＝0.2989R(x,y)+0.5870G(x,y)+0.1140B(x,y)(1)

其中，I(x,y)表示点(x,y)处亮度信息；R(x,y),G(x,y),B(x,y)分别表示点(x,y)处R、G、B三颜色通道值。

3.根据权利要求1所述的一种胶囊内镜视频摘要生成方法，其特征在于：所述步骤(2)中提出的针对胶囊内镜图像的显著图提取方法中，颜色特征提取步骤为：先将胶囊内镜图像由RGB颜色空间转化到HSI颜色空间，然后进行颜色特征的提取；具体提取公式如下：

$f_C(x,y)=\frac{1}{(z_1+e^{-\frac{AC(x,y)}{{\mathrm{AC}}_{ave}}})\·(z_2+e^{-\frac{BC(x,y)}{{\mathrm{BC}}_{ave}}})}---\left(2\right)$

式中，f_C(x,y)表示点(x,y)处的颜色特征，AC(x,y)表示点(x,y)处的红绿值大小，AC_ave表示图像的平均红绿值，BC(x,y)表示点(x,y)处的黄蓝值大小，BC_ave表示图像的平均黄蓝值；这里AC(x,y)和BC(x,y)分别指的是原先的红绿值和黄蓝值都加上128，防止其均值AC_ave和BC_ave为0；z₁和z₂为常数，均为0.5。

4.根据权利要求1所述的一种胶囊内镜视频摘要生成方法，其特征在于：所述步骤(2)中提出的针对胶囊内镜图像的显著图提取方法中，方向特征提取的提取的Gabor核函数公式为：

$Kernel=e^{-\frac{x^2+y^2}{2{\mathrm{\β}}^2}}\·cos(w\·cos(\mathrm{\θ})+w\·y\·sin(\mathrm{\θ})+\frac{\mathrm{\π}}{2})---\left(3\right)$

其中，Kernel表示Gabor变换核函数，(x,y)表示图像像素点二维坐标，β决定了Gabor核函数的空间扩展是均衡的，取w＝1，θ＝nπ/k(n＝0,1,...,k-1)，k＝4；通过该核函数提取图像4个方向特征O(θ)。

5.根据权利要求1所述的一种胶囊内镜视频摘要生成方法，其特征在于：所述步骤(3)提出的针对感兴趣区域颜色特征提取步骤如下：

$chc\_R=R-\stackrel{\‾}{R},chc\_G=G-\stackrel{\‾}{G},chc\_B=B-\stackrel{\‾}{B}---\left(4\right)$

$chc=\{\frac{chc\_R}{chc\_B},\frac{chc\_G}{chc\_B}\}---\left(5\right)$

$che\_R=\frac{dR}{dX},che\_G=\frac{dG}{dX},che\_B=\frac{dB}{dX}---\left(6\right)$

$che=\{\frac{che\_R}{che\_B},\frac{che\_G}{che\_B}\}---\left(7\right)$

上式中，R,G,B分别表示图像中的三颜色通道，表示整个图像三颜色通道的均值；表示一阶空间邻域微分；chc_R、chc_G、chc_B是由式(4)得到的三颜色分量；che_R、che_G、che_B是由式(6)得到另一组三颜色分量；最终利用这两组颜色分量，分别由式(5)和式(7)得到最终的颜色特征chc和che；

然后，利用概率密度函数对得到的颜色特征chc和che进行如下操作：

${\mathrm{DM}}_{ab}^C=\underset{r=0}{\overset{r_{\max }}{\Σ}}\underset{g=0}{\overset{g_{\max }}{\Σ}}{r}^a{g}^{b}p\left(r,g\right)---\left(8\right)$

$p(r,g)=\frac{Num(r,g)}{pixNum}---\left(9\right)$

式中，表示最终得到的离散概率密度值，C∈{chc,che}是选择的颜色空间，a和b为概率密度函数系数常量，且a,b∈{1,2,3}，r_max和g_max分别代表分量r和g在图像中的最大值；pixNum是图像总像素点数，Num(r,g)是图像中像素值组合为(r,g)的像素点数，p(r,g)表示像素值组合为(r,g)的像素点数与图像总像素点数的比值大小；

对进行归一化操作，具体公式如下：

${\mathrm{\ξ}}_{ab}^C=\frac{{\mathrm{DM}}_{ab}^C}{{\left({\mathrm{DM}}_{20}^C\right)}^{a/2}{\left({\mathrm{DM}}_{02}^C\right)}^{b/2}}---\left(10\right)$

最终选取如下公式得到颜色特征F^C：

$F^C=({\mathrm{\ξ}}_{01}^C,{\mathrm{\ξ}}_{10}^C,{\mathrm{\ξ}}_{11}^C,{\mathrm{\ξ}}_{12}^C,{\mathrm{\ξ}}_{21}^C,{\mathrm{\ξ}}_{22}^C,{\mathrm{\ξ}}_{03}^C,{\mathrm{\ξ}}_{30}^C,{\mathrm{\ξ}}_{13}^C,{\mathrm{\ξ}}_{31}^C)---\left(11\right).$

6.根据权利要求1所述的一种胶囊内镜视频摘要生成方法，其特征在于：所述步骤(3)提出的针对感兴趣区域纹理特征选取Symlets小波基。

7.根据权利要求1所述的一种胶囊内镜视频摘要生成方法，其特征在于：对步骤(3)中提取的颜色特征和纹理特征高斯归一化，并进行特征融合Rt，具体公式如下：

$\begin{array}{c}Rt=(F^{C^{\′}},T^{\′})\\ =\left({\mathrm{\ξ}}_{01}^{C^{\′}},{\mathrm{\ξ}}_{10}^{C^{\′}},{\mathrm{\ξ}}_{11}^{C^{\′}},{\mathrm{\ξ}}_{12}^{C^{\′}},{\mathrm{\ξ}}_{21}^{C^{\′}},{\mathrm{\ξ}}_{22}^{C^{\′}},{\mathrm{\ξ}}_{03}^{C^{\′}},{\mathrm{\ξ}}_{30}^{C^{\′}},{\mathrm{\ξ}}_{13}^{C^{\′}},{\mathrm{\ξ}}_{31}^{C^{\′}},u_1^{\′},{\mathrm{\σ}}_1^{\′},u_2^{\′},{\mathrm{\σ}}_2^{\′},...,u_{13}^{\′},{\mathrm{\σ}}_{13}^{\′}\right)\end{array}---\left(12\right).$

8.根据权利要求1所述的一种胶囊内镜视频摘要生成方法，其特征在于：所述步骤(4)中，帧间差检测的阈值选择：

Th＝μ_v+α_v×σ_v(13)

其中μ_v和σ_v分别代表视频v中融合特征的均值和方差，α_v代表平衡参数，且σ_v∈[0,1]。