CN104636497A - 一种视频数据智能检索方法 - Google Patents

Abstract

本发明提供了一种视频数据智能检索方法，该方法包括：采用自适应边缘检测算法提取视频图像的边缘，得到边缘二值图像；对视频区域进行分块，计算当前分块的白色像素所占比重；计算分块后的黑块数量，若黑块数量大于预设阈值，则通过基于边缘特征的视频分割方法提取视频目标进行检索，并比较图像间的欧氏距离。本发明一种视频数据智能检索方法，对目标与背景存在区分的视频图像实现了较好的检索结果，提高了准确率。

Description

一种视频数据智能检索方法

技术领域

本发明涉及视频图像检索，特别涉及一种视频数据智能检索方法。

背景技术

基于内容的视频检索通过提取视频图像特征进行特征匹配来达到检索的目的。现有技术大多为基于底层特征的检索。由于底层特征难以表现人对视频中目标的主观概念，而人能识别视频含义这个过程需要大量的生活经验和推理，故目前视频的底层特征和高层语义特征还存在着较大的断层带，在提高视频检索准确率及检索速度方面还不足以推广应用。例如，不同的视频具有不同的特性，故如果只针对视频的某一种特性进行特征提取，则检索结果精确度会受到影响。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种视频数据智能检索方法，包括：

采用自适应边缘检测算法提取视频图像的边缘，得到边缘二值图像；

对视频区域进行分块，即将边缘二值图像分成4×4小块；

完成分块后，将每一个小块中颜色为白色的像素的数量除以当前小块的总像素数量，得到当前分块的白色像素所占比重；

将不大于预设阈值的白色像素所占比重小块确定为黑块，计算分块后的黑块数量；

若视频中的黑块数量大于预设阈值，则通过基于边缘特征的视频分割方法提取视频目标进行检索；

计算待检索视频图像和目标视频图像间的欧氏距离。

优选地，若视频中的黑块数量大于预设阈值，则：

计算视频的颜色空间向量直方图；若该颜色空间向量直方图的方差σ²大于预设最小方差，则使用基于颜色特征的视频分割方法，否则不对其进行视频分割，直接进行全局处理；

其中所述基于颜色特征的视频分割方法进一步包括：

对HSV空间进行非等间隔量化，首先，把色调H空间分为8份，饱和度S和亮度V空间分别分为3份，即H＝

1，h∈[316°，359°]∪[0°，20°]

2，h∈[21°，40°]

3，h∈[41°，75°]

4，h∈[76°，155°]

5，h∈[156°，190°]

6，h∈[191°，270°]

7，h∈[271°，295°]

8，h∈[296°，315°]

S＝

1，s∈[0，0.2)

2，s∈[0.2，0.7)

3，s∈[0.7，1]

V＝

1，v∈[0，0.2)

2，v∈[0.2，0.7)

3，v∈[0.7，1]

然后，按照上述量化级，将3个颜色分量合成特征向量，如下式所示：

L＝9H+3S+V，L的取值范围为[13，14，…，84]；

将此量化结果形成直方图形式，得到颜色空间向量直方图；

确定颜色空间向量直方图的全局阈值，将颜色空间向量直方图分为两个区域A区域和B区域，计算A和B两区域的类间方差σ²：σ²＝p_A(ω_A-ω₀)²+p_B(ω_B-ω₀)²

其中，p_A和p_B为A，B颜色出现的概率；ω_A和ω_B分别为A区域和B区域的颜色值均值；ω₀为图像的总颜色值均值，迭代求出使σ²最大时的阈值T即为所求的最佳全局阈值；

将原视频中的背景设置为黑色，根据视频颜色分布，采用以下两类方案之一：

①保留颜色空间向量直方图中拥有最多像素的颜色值所在的半区，如果拥有最多像素的颜色值小于T，则保留颜色值小于等于T的像素的颜色，而将颜色值大于T的像素的颜色均设置为黑色；或

②去除颜色空间向量直方图中拥有最多像素的颜色值所在的半区，将此半区颜色值对应的像素设置为黑色；

完成视频图像中目标与背景的分割。

附图说明

图1是根据本发明实施例的视频数据智能检索方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种视频数据智能检索方法。图1是根据本发明实施例的视频数据智能检索方法流程图。基于此，本发明将视频图像的颜色特征以及边缘特征相结合，将视频分为三种类型，并结合视频的颜色直方图以及梯度直方图，使用不同的方法来分割具有不同特性的视频。然后，将视频图像分成多个块，计算欧氏距离时，根据其不同特征，自适应地给出每块图像的特征权重。

一般情况下获取的图像都是在RGB空间中进行描述，但RGB空间结构并不符合人类对颜色的主观判断。而HSV颜色空间由色调、饱和度和亮度3个分量组成，与人眼的视觉特性比较接近。因此，为了更符合人眼的视觉特性，经常需要做颜色空间转换，将RGB图像转换成HSV图像。

目前，大多数图像均以真彩色的格式存储。事实上，一幅图像中实际包含的颜色数目只是全部颜色数的一个很小子集。为了节约存储空间以及减少计算复杂度，可以对HSV空间进行非等间隔量化。本发明采用如下量化方法：

首先，把色调H空间分为8份，饱和度S和亮度V空间分别分为3份，即H＝

1，h∈[316°，359°]∪[0°，20°]

2，h∈[21°，40°]

3，h∈[41°，75°]

4，h∈[76°，155°]

5，h∈[156°，190°]

6，h∈[191°，270°]

7，h∈[271°，295°]

8，h∈[296°，315°]

S＝

1，s∈[0，0.2)

2，s∈[0.2，0.7)

3，s∈[0.7，1]

V＝

1，v∈[0，0.2)

2，v∈[0.2，0.7)

3，v∈[0.7，1]

然后，按照上述量化级，将3个颜色分量合成特征向量，如下式所示：

L＝9H+3S+V

这样，H、S、V三个分量便可以在颜色空间向量上体现。根据上式，L的取值范围为[13，14，…，84]。经量化，可有效减少计算量。将此量化结果形成直方图形式，即可得到颜色空间向量直方图。

得到视频的颜色空间向量直方图，即可确定一阈值，利用视频中目标区域和背景区域的颜色差异进行图像分割。本发明采用以下方法来确定颜色空间向量直方图的全局阈值，设th为所要求的阈值，可将颜色空间向量直方图分为两个区域A区域和B区域，则A和B两区域的类间方差σ²的计算公式为：σ²＝p_A(ω_A-ω₀)²+p_B(ω_B-ω₀)²

其中，p_A和p_B为A，B颜色出现的概率；ω_A和ω_B分别为A区域和B区域的颜色值均值；ω₀为图像的总颜色值均值。迭代求出使σ²最大时的th值T即为所求的最佳全局阈值，进而可将视频中目标与背景分割开来。

基于颜色空间向量直方图的视频分割的具体步骤如下：

(1)求出原视频的颜色空间向量直方图及其最佳全局分割阈值T。

(2)将原视频中的背景设置为黑色。由于不同的视频颜色分布不同，因此采用两类方案之一：

①保留颜色空间向量直方图中拥有最多像素的颜色值所在的半区(例如，如果拥有最多像素的颜色值小于T，则保留颜色值小于等于T的像素的颜色，而将颜色值大于T的像素的颜色均设置为黑色)。

②去除颜色空间向量直方图中拥有最多像素的颜色值所在的半区，将此半区颜色值对应的像素设置为黑色。

从视频的颜色空间向量直方图中可知，若阈值取值得当，两种方法均可较好地将原视频中目标与背景分割。

但是，单纯通过基于颜色的方法很难将主色较为分散视频中的目标与背景分割开来，这也是基于视频颜色特征的视频分割方法在应用上的局限性。传统的边缘检测算法使用的阈值需要人为确定，不具备自适应能力。本发明利用改进的边缘检测算法提取视频的边缘特征并进行视频分割，可以更好地适应实际应用。

首先获取梯度直方图：若一幅灰度图像包含N个像素，图像的梯度值经等间隔量化后取值范围为[0，1，…，100]，则梯度直方图H定义为<h₁，h₂，…，h_N>，其中，h_i为大小为i的梯度在整幅图像中所拥有的像素数占整幅图像总像素数的比例。

得到梯度直方图后，便可以计算边缘检测算法中所要用到的高低阈值。高阈值th必须在梯度直方图中的非边缘区域以外选取，否则将给结果带来很多虚假边缘。

采用最大类间方差自动取阈值法可以得到满意的视频分割结果，同时可计算出最佳全局阈值T，以及A区域和B区域梯度值的均值μ_A、μ_B和方差σ_A ²、σ_B ²。根据均值和方差的概率统计意义，利用μ_A、σ_A ²或者μ_B、σ_B ²计算出非边缘区域的范围。利用μ_A和σ_A ²确定非边缘区域进而自适应确定高低阈值的方法更好。在一个实施例中，当高阈值th＝μ_A+2.5σ_A ²和低阈值tl＝μ_A-0.3σ_A ²时，自适应边缘检测算子边缘检测效果最为理想。

根据本发明的可选实施例，在边缘检测算法中还可以根据以下过程获取改进的边缘检测算子：

(1)用高斯滤波器平滑图像。(2)用高斯函数的一阶偏导数计算平滑后的图像计算其梯度的幅值和方向并进行非极大值抑制。(3)用低阈值T_l得弱边缘E₁，用高阈值T_h得强边缘E，显然E₁包含E。(4)E₁中仅保留与E有连通关系的连通分量作为输出边缘E。

σ²的选取应该根据图像的实际情况进行自动获取。采用可根据图像的局部方差来调整滤波器输出的自适应滤波对图像进行平滑。将最小方差也作为参数σ²的恒定因子，参数σ²定义如下：

$A=\frac{1}{N\&times;N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}f(i,j),$

$E=\underset{n=1}{\overset{N\&times;N}{\mathrm{\&Sigma;}}}(f(i,j)-A)$

E_min＝min(E)，

σ²＝E/E_min ²，

其中：f(i，j)、A、E、σ为图像像素、N×N窗口内的均值、方差和高斯滤波器参数；E_min为整个图像中的最小方差。

此时，任一窗口内的高斯函数可定义为：G(x，y)＝12π(E/E_min)2exp(-(x²+y²)/2(E/E_min))²。

采用一个半径为1的圆形结构元素对候选边缘点进行膨胀运算，先解决经过非最大值抑制后得到的候选边缘点不连续的问题。只要选择合适的双阈值就能闭合边缘。通过搜索类间方差最大值，得到最优阈值，作为边缘检测算法的高阈值，再利用公式T_l＝0.5T_h确定低阈值。这样既有效地解决抑制噪声和保留精细边缘之间的矛盾，又得到理想的边缘图像。

1)选择一个近似值T_n作为图像f(x，y)的初始阈值：T_n＝(f_min+f_max)/2，其中f_min为最小灰度值，f_max为最大灰度值。

2)根据阈值T_n把图像分成目标区域R₁和背景区域R₂，并计算这2个区域出现的概率ω₁(t)、ω₂(t)，均值μ₁(t)、μ₂(t)和方差E₁(t)、E(t)：

$\mathrm{\&omega;}1\left(t\right)={\mathrm{\&Sigma;}}_{f_{\min }\&le;i\&le;T_n}{p}_i,$

$\mathrm{\&omega;}2\left(t\right)={\mathrm{\&Sigma;}}_{T_n<i\&le;f_{\max }}{p}_i,$

${\mathrm{\&mu;}}_1\left(t\right)={\mathrm{\&Sigma;}}_{f_{\min }\&le;i\&le;T_n}i{p}_i/{\mathrm{\&omega;}}_1\left(t\right),$

${\mathrm{\&mu;}}_2\left(t\right)={\mathrm{\&Sigma;}}_{T_n<i\&le;f_{\max }}i{p}_i/{\mathrm{\&omega;}}_2\left(t\right),$

$E_1\left(t\right)=(1/\mathrm{\&omega;}1\left(t\right)){\mathrm{\&Sigma;}}_{f_{\min }\&le;i\&le;T_n}{(i-{\mathrm{\&mu;}}_1\left(t\right))}^2{p}_i,$

$E_2\left(t\right)=(1/{\mathrm{\&omega;}}_2\left(t\right)){\mathrm{\&Sigma;}}_{T_n<i\&le;f_{\min }}{(i-{\mathrm{\&mu;}}_2\left(t\right))}^2{p}_i,$ 其中p_i为灰度值为i的概率。

3)计算类内方差E_i，类间方差E₀，继而得到总体方差E_t：E_i＝ω₁(t)E₁(t)+ω₂(t)E₂(t)，

E₀＝ω₁(t)ω₂(t)(μ₁(t)-μ₂(t))²，

E_t＝E_i+E₀。

4)计算类间方差与总体方差之比s_n＝E₀/E_t。

5)若s_n＜s_n-1，迭代结束，此时阈值为最优阈值。否则计算新阈值T_n+1＝(μ₁(t)+μ₂(t))/2，转到步骤2)。

对于背景与目标明显分离且背景较为平滑的视频图像，通过上述处理方法可以很好地将目标从视频中分割开来。然而，如果视频背景较为粗糙或者整张图没有明显的目标与背景之分，则此方法效果不佳。所以，基于边缘的视频分割方法同样存在其应用上的局限性。

颜色和边缘都是视频的重要特征，两者的有机结合可以大大提高视频检索的准确率。首先根据视频特点采用不同的方法进行分割，然后将视频分成4×4小块，自适应设置每个分块的权值ω_ij，以加权的颜色空间向量直方图为特征，进行相似度匹配，实现视频检索。

基于颜色特征的视频分割方法以及基于边缘特征的视频分割方法可以互为补充。但是，上述两种方法有个共同的局限，即无法处理那些没有明显目标与背景之分的视频，对于此类视频，本发明将采用全局处理方式。

确定基于边缘特征的视频分割方法适用范围的步骤如下：

(1)提取视频图像边缘。采用自适应边缘检测算法提取视频的边缘，得到边缘二值图像。

(2)视频分块，即将边缘图像分成4×4小块。

(3)计算每一个分块的白色像素所占比重。分块后，将每一个小块中颜色为白色的像素的数量除以当前小块的总像素数量，即得这一分块的白色像素所占比重。

(4)计算分块后的黑块数量。有些分块的白色像素所占比重极小，总体呈现黑色。在一个实施例中，本发明将白色像素所占比重不大于2％的小块确定为黑块。

(5)通过黑块数量确定是否使用基于边缘特征的视频分割方法。将黑块数量大于预设阈值的视频通过基于边缘特征的视频分割方法提取视频目标。

确定基于颜色特征的视频分割方法适用范围的步骤如下：

(1)计算视频颜色空间向量直方图。

(2)通过颜色空间向量直方图确定是否使用基于颜色特征的视频分割方法。直方图中各颜色对应像素比例的方差可以在一定程度上体现出颜色分布的均匀程度，方差越大，主色越集中。在一个优选的实施例中，确定基于颜色特征的视频分割方法适用范围为颜色空间向量直方图方差σ²≥16的视频。

在两种方式均可对同一视频进行分割的时候，基于边缘特征的视频分割方法往往有更好的分割效果。所以，当两种分割方法可以分割同一幅视频的时候，本发明均使用基于边缘特征的视频分割方法。对于两种分割方法适用范围均不满足的视频，本发明不对其进行视频分割，而是进行全局处理。

设q和t分别为待检索视频图像和目标视频图像，h_q和h_t分别表示待检索视频图像和目标视频图像的颜色空间向量直方图。D₂(q，t)表示待检索视频图像和目标视频图像间的欧氏距离。计算步骤如下：

(1)将待检测视频和目标视频图像均按4×4方式分块，根据两视频中对应分块的颜色空间向量直方图计算两视频中每个对应分块间的欧氏距离。计算公式如下：

$D_{2\mathrm{ij}}(q.t)={\left(\underset{m=13}{\overset{84}{\mathrm{\&Sigma;}}}{\left|h_{\mathrm{qij}}\right[m]-h_{\mathrm{tij}}[m\left]\right|}^2\right)}^{\frac{1}{2}}$

其中，下标ij表示视频被分块后位于第i行第j列小块，m表示量化后颜色值。

(2)设置检索视频中每个分块的权值ω_ij。

①对于通过全局方式进行处理的视频：在视频分成4×4块后，将视频分为A、B、C三个区域，区域A为视频的中心部分，受关注程度最高；区域B为边缘部分，受关注程度小于A区域；区域C为四个顶点，受关注程度最低。本发明的权值设置为，A区域：1；B区域：0.6；C区域：0.2。

②对于通过基于边缘特征分割的视频：通过计算出边缘分块视频的白点比例矩阵后，将矩阵中每个元素进行正则化，即将每个元素的数值除以最大元素的数值，可得到每个分块的权值。

③对于通过基于颜色特征分割的视频：对检索视频进行分割，将分割后的视频进行4×4分块。计算视频中各个分块彩色像素数量的比例，然后，将彩色像素数量矩阵中每个元素进行正则化处理。

(3)计算待检测视频与目标视频图像间的加权距离。在计算出各个对应分块之间颜色空间向量直方图和检索视频各分块对应权值后，通过以下公式即可计算出待检测视频和目标视频图像间的距离：

$D_2(q,t)=\underset{j=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{ij}}{D}_{2\mathrm{ij}}(q,t)$

其中，D₂(q，t)为待检索视频和目标视频图像间的加权距离；D_2ij(q，t)为待检索视频和目标视频图像第i行第j列对应分块间的欧氏距离；ω_ij为待检索视频第i行第j列的分块对应的权值。

综上所述，本发明提出了一种视频数据智能检索方法，对目标与背景存在区分的视频图像实现了较好的检索结果。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (2)

1.一种视频数据智能检索方法，其特征在于，包括：

采用自适应边缘检测算法提取视频图像的边缘，得到边缘二值图像；

对视频区域进行分块，即将边缘二值图像分成4×4小块；

完成分块后，将每一个小块中颜色为白色的像素的数量除以当前小块的总像素数量，得到当前分块的白色像素所占比重；

将不大于预设阈值的白色像素所占比重小块确定为黑块，计算分块后的黑块数量；

若视频中的黑块数量大于预设阈值，则通过基于边缘特征的视频分割方法提取视频目标进行检索；

计算待检索视频图像和目标视频图像间的欧氏距离。

2.根据权利要求1的方法，其特征在于，若视频中的黑块数量大于预设阈值，则：

计算视频的颜色空间向量直方图；若该颜色空间向量直方图的方差σ²大于预设最小方差，则使用基于颜色特征的视频分割方法，否则不对其进行视频分割，直接进行全局处理；

其中所述基于颜色特征的视频分割方法进一步包括：

对HSV空间进行非等间隔量化，首先，把色调H空间分为8份，饱和度S和亮度V空间分别分为3份，即H＝

1，h∈[316°，359°]∪[0°，20°]

2，h∈[21°，40°]

3，h∈[41°，75°]

4，h∈[76°，155°]

5，h∈[156°，190°]

6，h∈[191°，270°]

7，h∈[271°，295°]

8，h∈[296°，315°]

S＝

1，s∈[0，0.2)

2，s∈[0.2，0.7)

3，s∈[0.7，1]

V＝

1，v∈[0，0.2)

2，v∈[0.2，0.7)

3，v∈[0.7，1]

然后，按照上述量化级，将3个颜色分量合成特征向量，如下式所示：

L＝9H+3S+V，L的取值范围为[13，14，…，84]；

将此量化结果形成直方图形式，得到颜色空间向量直方图；

确定颜色空间向量直方图的全局阈值，将颜色空间向量直方图分为两个区域A区域和B区域，计算A和B两区域的类间方差σ²：σ²＝p_A(ω_A-ω₀)²+p_B(ω_B-ω₀)²

其中，p_A和p_B为A，B颜色出现的概率；ω_A和ω_B分别为A区域和B区域的颜色值均值；ω₀为图像的总颜色值均值，迭代求出使σ²最大时的阈值T即为所求的最佳全局阈值；

将原视频中的背景设置为黑色，根据视频颜色分布，采用以下两类方案之一：

①保留颜色空间向量直方图中拥有最多像素的颜色值所在的半区，如果拥有最多像素的颜色值小于T，则保留颜色值小于等于T的像素的颜色，而将颜色值大于T的像素的颜色均设置为黑色；或

②去除颜色空间向量直方图中拥有最多像素的颜色值所在的半区，将此半区颜色值对应的像素设置为黑色；

完成视频图像中目标与背景的分割。