CN108170791A - 视频图像检索方法 - Google Patents

Abstract

本发明涉及一种视频图像检索方法，为了提高视频图像检索速度而设计。本发明视频图像检索方法，包括计算待检索图像的视觉突出显著图，找到显著值最大的区域，确定包含该区域的最小矩形的长和宽，记为M和N。逐一计算视频关键帧图像的视觉突出显著图，找到每帧视频关键帧图像的显著值最大的区域，确定包含该区域的最小矩形的长和宽，记为M’和N’，拉伸到和待检索图像显著值最大区域相同的大小M和N；将两个提取区域进行相关运算，若相关系数矩阵值50％以上超过阈值T，则检索成功，否则视频图像与待检索图像无关。本发明按照视觉突出区域进行视频图像检索，提高了视频图像的检索速度。

Description

视频图像检索方法

技术领域

本发明涉及图像处理领域，具体涉及一种视频图像检索方法。

背景技术

视频图像背景和前景复杂，变化快，因此其分类或者检索是非常困难的。采用全局的颜色、纹理或者形状等特征进行视频图像检索，往往效果欠佳，有很多无意义的输出结果。采用局部区域特征进行视频图像检索，通常区域的划分是一个难题，而划分结果直接影响检索结果。

人类能对外部视觉激励快速地划分优先顺序，并且聚焦在场景的某一感兴趣目标，即有其对应的视觉突出区域。在这类视觉注意中，场景中具有突出特征的目标吸引注意，指的是与其周围易于区别的、特殊的、容易被注意到的特征区域，也就是说在一个场景中视觉会注意到注意焦点处。当人们观看视频图像序列时，不仅对视频中的有趣事件感兴趣，同时会被其中静态图像的感兴趣目标吸引。这些人们关注的目标区域往往和视频中的事件是一一对应的。因此，视频图像按照视觉突出区域进行检索是非常合理的。

发明内容

为解决上述技术问题，本发明的目的是提供一种在保证图像检索结果能够被接受的前提下，最大限度地降低重复或者无意义的检索结果，提高视频图像检索速度。

本发明视频图像检索方法，包括：

计算待检索图像的视觉突出显著图，找到显著值最大的区域确定包含该区域的最小矩形的长和宽，记为M和N；

逐一计算视频关键帧图像视觉突出显著图，找到每帧视频关键帧图像的显著值最大的区域，确定包含该区域的最小矩形的长和宽，记为M’和N’，拉伸到和待检索图像显著值最大区域相同的大小M和N；

将两个提取区域进行相关运算，若相关系数矩阵值50％以上超过阈值T，则检索成功，否则视频图像与待检索图像无关，相关系数矩阵计算如下：

其中，s是待检索图像，是平均值，g是待检索图像，是平均值，M、N以及M’、N’代表图像尺寸。

进一步地，所述的视觉突出显著图的具体计算方法包括：

将图像转换为HSI格式，分解为色调、色饱和度、亮度三个通道，对每个通道进行多个不同尺度、不同方向局部熵特征的计算，获得一系列不同尺度不同方向的H、S、I三个分量熵特征表示，构成对应特征向量；

将图像中逐个像素特征向量与图像所有剩余像素征向量求取欧拉距离，并求和；

其中Sa(I_k)表示图像中I_k像素的视觉突出显著值，V_k表示图像中I_k像素的视觉突出显著性特征矢量，V_i表示图像中I_i像素的视觉突出显著性特征矢量，||||表示求欧拉距离。

进一步地，在三个尺度，每个尺度两个方向上进行局部熵计算，每个像素形成18个反映不同尺寸不同方向特定局部区域H、S、I三个分量的局部熵值，

图像局部熵定义为：

其中f(i,j)是图像H、S、I三个分量对应的函数值，上述公式通过泰勒级数展开也可以约等于：

其中，E代表局部熵；Pi_j代表f(i,j)灰度概率。

分别对每个像素形成18个反映不同尺寸不同方向特定局部区域H、S、I三个分量的局部熵值，形成对应的特征向量V，

V＝[E_H1 … E_H18 E_S1 … E_S18 E_I1 … E_I18]

其中，E_Hk表示色调H分量的局部熵，E_Sk表示色饱和度S分量的局部熵，E_Ik表示亮度I分量的局部熵。

借由上述方案，本发明视频图像检索方法至少具有以下优点：

将视觉突出区域引入视觉图像检索中，直接对视频图像提取显著区域，经拉伸后与待检索图像显著区域进行比较，因而与显著区域的出现的位置，以及区域目标大小都是没有关系的，因此，最大限度地降低重复或者无意义的检索结果，提高视频图像检索速度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是图像像素H、S、I三个分量计算局部熵的模板，其中，包含三个尺度，每个尺度上包含两个方向，每个像素形成18个反映不同尺寸不同方向特定局部区域H、S、I三个分量的局部熵值。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明一较佳实施例所述的视频图像检索方法，包括：

首先计算待检索图像的视觉突出显著图。找到显著值最大的区域，确定包含该区域的最小矩形的长和宽，记着M和N。

逐一计算视频关键帧图像的视觉突出显著图。找到每帧显著值最大的区域，确定包含该区域的最小矩形的长和宽，记着M，和N，。拉伸到和待检索图像显著值最大区域相同的大小M和N。

将两个提取区域进行相关运算，如果相关系数矩阵值50％以上超过阈值T，则检索成功，否则视频图像与待检索图像无关。相关系数矩阵计算如下：

其中，s是待检索图像，是平均值，g是待检索图像，是平均值，M和N是图像尺寸。

将待检索图像和视频图像转换为HSI格式，得到H、S、I三个分量，分别进行局部熵特征提取。

设计三个尺度，每个尺度两个方向的局部熵计算模板，以便采用这些不同尺寸不同方向模板分别对亮度图像、色调图像和色饱和图像进行局部熵提取。

应用上述模板逐个像素计算局部熵，每个像素形成18个反映不同尺寸不同方向特定局部区域H、S、I三个分量的局部熵值。

图像局部熵定义为：

其中f(i,j)是图像H、S、I三个分量对应的函数值，上述公式通过泰勒级数展开也可以约等于：

其中，E代表局部熵；Pi_j代表f(i,j)灰度概率。

分别对每个像素形成18个反映不同尺寸不同方向特定局部区域H、S、I三个分量的局部熵值，形成对应的特征向量，

V＝[E_H1 … E_H18 E_S1 … E_S18 E_I1 … E_I18]

其中，E_Hk表示色调H分量的局部熵，E_Sk表示色饱和度S分量的局部熵，E_Ik表示亮度I分量的局部熵。

计算视觉突出显著图。将图像中逐个像素的特征向量与图像所有剩余像素特征向量求取欧拉距离，并求和。

其中Sa(I_k)表示图像中I_k像素的视觉突出显著值，V_k表示图像中I_k像素的视觉突出显著性特征矢量，V_i表示图像中I_i像素的视觉突出显著性特征矢量，||||表示求欧拉距离。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (3)

1.一种视频图像检索方法，其特征在于，包括：

计算待检索图像的视觉突出显著图，找到显著值最大的区域确定包含该区域的最小矩形的长和宽，记为M和N；

逐一计算视频关键帧图像视觉突出显著图，找到每帧视频关键帧图像的显著值最大的区域，确定包含该区域的最小矩形的长和宽，记为M’和N’，拉伸到和待检索图像显著值最大区域相同的大小M和N；

将两个提取区域进行相关运算，若相关系数矩阵值50％以上超过阈值T，则检索成功，否则视频图像与待检索图像无关，相关系数矩阵计算如下：

其中，s是待检索图像，是平均值，g是待检索图像，是平均值，M、N以及M’、N’代表图像尺寸。

2.根据权利要求1所述的视频图像检索方法，其特征在于，所述的视觉突出显著图的具体计算方法包括：

将图像转换为HSI格式，分解为色调、色饱和度、亮度三个通道，对每个通道进行多个不同尺度、不同方向局部熵特征的计算，获得一系列不同尺度不同方向的H、S、I三个分量熵特征表示，构成对应特征向量；

将图像中逐个像素特征向量与图像所有剩余像素征向量求取欧拉距离，并求和；

其中Sa(I_k)表示图像中I_k像素的视觉突出显著值，V_k表示图像中I_k像素的视觉突出显著性特征矢量，V_i表示图像中I_i像素的视觉突出显著性特征矢量，||||表示求欧拉距离。

3.根据权利要求1所述的视频图像检索方法，其特征在于，在三个尺度，每个尺度两个方向上进行局部熵计算，每个像素形成18个反映不同尺寸不同方向特定局部区域H、S、I三个分量的局部熵值，

图像局部熵定义为：

其中f(i,j)是图像H、S、I三个分量对应的函数值，上述公式通过泰勒级数展开也可以约等于：

其中，E代表局部熵；P_ij代表f(i,j)灰度概率。

分别对每个像素形成18个反映不同尺寸不同方向特定局部区域H、S、I三个分量的局部熵值，形成对应的特征向量V，

V＝[E_H1…E_H18E_S1…E_S18E_I1…E_I18]

其中，E_Hk表示色调H分量的局部熵，E_Sk表示色饱和度S分量的局部熵，E_Ik表示亮度I分量的局部熵。