CN102509118A - 一种监控视频检索方法 - Google Patents

Abstract

本发明适用于安全监控领域，提供了一种监控视频检索方法，所述方法包括步骤：获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；检测待检视频图像的差异色区域对应的颜色分割区域的主体色；将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；提取以粗匹配区域为中心，预设范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定待检视频图像的综合特征量；根据待检视频图像的综合特征量判断待检视频图像是否为查找的视频图像。本发明实施例能够降低目标图像的漏检率和误检率。

Description

一种监控视频检索方法

技术领域

本发明属于安全监控领域，尤其涉及一种监控视频检索方法。

背景技术

随着“平安城市”和“智慧城市”等大型安防监控系统的建设，监控视频的数据量日益庞大，如何从海量的视频数据中快速、准确的检索出所需的视频图像成为一个日益重要的问题。

在目前的视频监控平台中，一般是采用纯粹人工的方式检索视频，该方法根据摄像机安装位置或根据视频发生的时间段或根据视频的IP地址来回放以及检索视频。但在嫌疑人或嫌疑车辆的刑侦查找中，由于不知道嫌疑人或嫌疑车辆会在哪个摄像机出现，也不知道嫌疑人或嫌疑车辆被拍摄到的时间，只知道嫌疑人或嫌疑车辆的一些特征，因此若采用纯粹人工的方式从海量的视频中定位嫌疑人或嫌疑车辆的难度较大，耗时费力且容易遗漏。

随着计算机技术、图像处理技术以及模式识别技术的发展，视频监控平台中出现了一些基于内容的视频检索系统，比如VisualSeek系统。VisualSeek系统是美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同研究的视频检索系统，该系统主要用于检索互联网的视频数据。由于现有的基于内容的视频检索系统并没有针对安防监控视频进行开发，在对安防监控视频进行检索应用时，存在许多问题：(1)索引算法耗时：导致整个检索过程远远不能满足实际应用需求；(2)特征单一，容易漏检目标；(3)容易受到复杂光照或高速运动物体或镜头运动的影响，导致误检和漏检严重；(4)主要针对场景或镜头来进行匹配，而不是针对场景或镜头中的具体目标，无法应用到刑侦等特定行业中对嫌疑人或目标的查找。

发明内容

本发明实施例提供了一种监控视频检索方法，旨在解决现有的视频检索方法存在的检索耗时、漏检率高以及不能识别场景中局部目标的问题。

本发明实施例是这样实现的，一种监控视频检索方法，所述方法包括下述步骤：

接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；

通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色；

将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；

提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；

根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量；

根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像。

本发明实施例首先根据用户输入的检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征，再获取待检视频图像的颜色分割区域的主体色、颜色特征、纹理特征以及边缘特征，通过比较目标图像与待检视频图像的颜色分割区域的主体色对待检视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与待检视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的待检视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。由于本发明是在对待检视频图像进行粗检索之后再进行细检索，因此过滤了大量不相关的视频图像，从而节省了视频检索的时间。并且基于多特征的细检索能够降低目标图像的漏检率和误检率，从而能够自适应快速的实现基于内容的海量监控视频的刑侦视频检索。

附图说明

图1是本发明第一实施例提供的监控视频检索方法流程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例根据用户输入的检索信息获取目标图像的主体色分布、颜色特征、纹理特征以及边缘特征，再获取视频图像的颜色分割区域的主体色分布、颜色特征、纹理特征以及边缘特征，通过比较目标图像主体色与待检视频图像的颜色分割区域对视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。

本发明实施例提供了一种：监控视频检索方法。

所述方法包括：接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；

通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色；

将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；

提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；

根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量；

根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像。

本发明实施例，首先根据用户输入的检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征，再获取待检视频图像的颜色分割区域的主体色、颜色特征、纹理特征以及边缘特征，通过比较目标图像与待检视频图像的颜色分割区域的主体色对视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与待检视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。由于本发明是在对待检视频图像进行粗检索之后再进行细检索，因此过滤了大量不相关的视频图像，从而节省了视频检索的时间。并且基于多特征的细检索能够降低目标图像的漏检率和误检率，从而能够自适应快速的实现基于内容的海量监控视频的刑侦视频检索。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例提供的监控视频检索方法流程，详述如下：

在步骤S11中，接收检索信息，根据该检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征。

在本实施例中，接收用户输入的检索信息，该检索信息包括样例或草图等目标图像信息。当然，该检索信息还可以包括摄像机唯一标识、地点、时间戳的至少一项，以减少视频检索的工作量。在本实施例中，根据用户输入的图像信息能够确定目标图像的主体色、颜色特征、纹理特征以及边缘特征。

在步骤S12中，通过颜色分层，解析待检视频图像，以检测该待检视频图像的差异色区域对应的颜色分割区域的主体色。

本实施例中，解析待检视频图像，并根据解析结果检测该待检视频图像的差异色区域，再根据差异色区域获取该差异色区域对应的颜色分割区域的主体色。其中，待检视频图像的差异色区域为该待检视频图像除了背景色区域后的区域。

在步骤S13中，将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域。

在本实施例中，对待检视频图像进行粗检索：将待检视频图像的颜色分割区域的主体色与目标图像的主体色进行比较，再根据预设的匹配阈值判断待检视频图像的颜色分割区域是否存在与目标图像匹配的粗匹配区域，若存在，获取该粗匹配区域，若不存在，继续匹配，直到所有待检视频图像匹配结束。

在步骤S14中，提取以粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征。

对待检视频图像进行粗检索之后，需要再对粗检索过滤后的待检视频图像进行细检索。

在本实施例中，预设宽度、高度阈值，再提取以粗匹配区域为中心，预设宽高区域范围内的待检视频图像的颜色特征、纹理特征以及边缘特征，以便对粗检索过滤后的待检视频图像进行细检索。

在步骤S15中，根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定该待检视频图像的综合特征量。

在本实施例中，在根据用户输入的检索信息，确定目标图像的颜色特征、纹理特征以及边缘特征之后，结合目标图像的颜色特征、纹理特征以及边缘特征和以粗匹配区域为中心的预设宽高范围内的视频图像的颜色特征、纹理特征以及边缘特征，确定存在粗匹配区域的待检视频图像的综合特征量。

在步骤S16中，根据待检视频图像的综合特征量判断该待检视频图像是否为查找的视频图像。

在本实施例中，在获取待检视频图像的综合特征量之后，根据待检视频图像的综合特征量判断该待检视频图像是否为查找的视频图像，其中，获取综合特征量的待检视频图像存在与目标图像匹配的粗匹配区域。

在本发明第一实施例中，首先根据用户输入的检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征，再获取待检视频图像的颜色分割区域的主体色、颜色特征、纹理特征以及边缘特征，通过比较目标图像与待检视频图像的颜色分割区域的主体色对待检视频图像进行粗检索，通过比较目标图像的颜色特征、纹理特征、边缘特征等综合特征量与待检视频图像的颜色特征、纹理特征、边缘特征等综合特征量对进行了粗检索的待检视频图像进行细检索，最后根据细检索的比较结果选择查找的视频图像。由于本发明是在对待检视频图像进行粗检索之后再进行细检索，因此过滤了大量不相关的视频图像，从而节省了视频检索的时间。并且基于多特征的细检索能够降低目标图像的漏检率和误检率，从而能够自适应快速的实现基于内容的海量监控视频的刑侦视频检索。

实施例二：

本实施例主要描述根据用户输入的检索信息如何确定目标图像的颜色特征、纹理特征以及边缘特征，详述如下：

1、根据检索信息获取目标图像的颜色特征。

首先根据预设的转换公式将检索信息的目标图像从RGB颜色空间转换到HSV颜色空间，预设的转换公式具体为：

$H=\left\{\begin{array}{c}\arccos \frac{(R-G)+(R-B)}{2\sqrt{(R-G)*(R-G)+(R-B)*(G-*B)}}(B\≤G)\\ 2\mathrm{\π}-\arccos \frac{(R-G)+(R-B)}{2\sqrt{(R-G)*(R-G)+(R-B)*(G-*B)}}(B>G)\end{array}\right.$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}$

$V=\frac{\max (R,G,B)}{255}$

其中，R、G、B分别代表像素点的红、绿、蓝颜色分量；H代表色度，S代表饱和度，V代表亮度。

在将目标图像从RGB颜色空间转换到HSV颜色空间之后，需要对HSV颜色空间的颜色进行颜色分层，即将颜色空间的颜色映射到预设的子集中，以提高待检视频图像的检索速度。

一般的图像颜色系统大约有2²⁴种颜色，而人眼能够真正辨别的颜色有限，因此在进行图像处理时，需要对颜色空间进行分层，分层维数越高，检索精度越高，但检索速度越慢，反之，若分层维数越低，检索速度越快，但检索精度越低。本实施例采用非等量间距颜色分层，以避免等量间距分层在维数过低时检测精度过低以及在维数过高时计算复杂度过高的问题。其中，根据人的感知能力划分色调、饱和度以及亮度的范围，具体可采用如下的划分方式：

$H=\left\{\begin{array}{ccc}0& \mathrm{if}& h\∈\left[\mathrm{316,20}\right]\\ 1& \mathrm{if}& h\∈\left[\mathrm{21,40}\right]\\ 2& \mathrm{if}& h\∈\left[\mathrm{41,75}\right]\\ 3& \mathrm{if}& h\∈\left[\mathrm{76,155}\right]\\ 4& \mathrm{if}& h\∈\left[\mathrm{156,190}\right]\\ 5& \mathrm{if}& h\∈\left[\mathrm{191,270}\right]\\ 6& \mathrm{if}& h\∈\left[\mathrm{271,195}\right]\\ 7& \mathrm{if}& h\∈\left[\mathrm{296,315}\right]\end{array}\right.$

$S=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.$

$V=\left\{\begin{array}{ccc}0& \mathrm{if}& v\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& v\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& \mathrm{\∈}\∈\left[\mathrm{0.7,1}\right]\end{array}\right.$

根据上述划分方式，将HSV颜色空间的所有颜色划分为8*3*3＝72种颜色。将已转为HSV颜色空间的目标图像的颜色与上述72种颜色比较，获取目标图像在HSV颜色空间的颜色特征，得到主体色。

当然，也可以更改分层的维数以及H、S、V中任一个子集对应的值，比如将H值为0对应的h∈[316，20]更改h∈[317，19]，此处不作限定。

2、获取目标图像的纹理特征。

在本实施例中，彩色图像的纹理特征是根据该彩色图像的灰度图像的共生矩阵特性提取，其中，彩色图像包括目标图像和视频图像。首先将彩色图像转换成灰度图像，再根据该灰度图像的灰度级生成该灰度图像的共生矩阵，假设灰度图像的灰度等级是N级，则共生矩阵为N*N维矩阵。假设生成的共生矩阵为

在共生矩阵中，位于(h，k)的元素m_hk的值表示相距(h，k)的灰度为h，而另一个灰度为k的像素对出现的次数。

由一个共生矩阵可提取4个特征量，该4个特征量具体如下所示：

反差分量： $\mathrm{CON}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(h-k)}^2{m}_{\mathrm{hk}}$

能量分量： $\mathrm{ASM}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\left(m_{\mathrm{hk}}\right)}^2$

熵分量： $\mathrm{ASM}=-\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{m}_{\mathrm{hk}}\lg \left(m_{\mathrm{hk}}\right)$

相关分量： $\mathrm{COR}=\left[\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}({\mathrm{hkm}}_{\mathrm{hk}}-{\mathrm{\μ}}_x{\mathrm{\μ}}_y)\right]/{\mathrm{\σ}}_x{\mathrm{\σ}}_y$

其中，共生矩阵中每列元素之和为m_x，即

共生矩阵中每行元素之和为m_y，即

μ_x、μ_y、σ_x、σ_y分别是m_x、m_y的均值和标准差。

进一步地，在本发明实施例中，将目标图像对应的灰度图像分为64个灰度等级，并根据该灰度等级，构造4个方向的共生矩阵，用M表示共生矩阵，则4个方向的共生矩阵如下：M(1，0)，M(0，1)，M(1，1)，M(1，-1)。再分别计算上述4个共生矩阵上的4个特征量：反差分量、能量分量、熵分量、相关分量，并以4个共生矩阵的特征量的均值和标准差作为目标图像的纹理特征的8个分量，该纹理特征的8个分量分别为：μ_CON、σ_CON、μ_ASM、σ_ASM、μ_ENT、σ_ENT、μ_COR、σ_COR。其中，μ_CON等于4个共生矩阵的反差分量的均值，σ_CON等于4个共生矩阵的反差分量的标准差；μ_ASM等于4个共生矩阵的能量分量的均值，σ_ASM等于4个共生矩阵的能量分量的标准差；μ_ENT等于4个共生矩阵的熵分量的均值，σ_ENT等于4个共生矩阵的熵分量的标准差；μ_COR等于4个共生矩阵的相关分量的均值，σ_COR等于4个共生矩阵的相关分量的标准差。

3、获取目标图像的边缘特征。

在本实施例中，检测目标图像对应的灰度图像的边缘，以提取该灰度图像的边缘不变矩作为边缘特征。例如，采用索贝尔Sobel边缘算子检测目标图像对应的灰度图像的边缘，或采用罗伯茨Roberts边缘算子检测目标图像对应的灰度图像的边缘，本实施例主要以Sobel边缘算子检测目标图像对应的灰度图像的边缘为例进行说明。

Sobel边缘算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘：将目标图像转换为灰度图像，再将该灰度图像中的每个像素点分别与sobel边缘算子的两个模板做卷积，再将两个卷积的绝对值之和作为该像素点的输出值。得到边缘图像后，采用基于梯度均值的阈值选取方法将边缘图像进行二值分割：

A、计算灰度图像的梯度直方图。假设H是灰度图像的梯度直方图，h(i)是灰度为i的所有像素的梯度之和，则H＝h(i)，i＝0，1，2，...，255。

B、计算二值分割的阈值T，T的计算公式如下所示：

$T=\frac{\underset{i=0}{\overset{255}{\mathrm{\Σ}}}\mathrm{ih}\left(i\right)}{\underset{i=0}{\overset{255}{\mathrm{\Σ}}}h\left(i\right)}$

根据该阈值T，将目标图像对应的灰度图像进行二值分割。

C、根据二值分割得到的二值图像提取不变矩作为目标图像的边缘特征。

当然，若直接输入目标图像的主体色、颜色特征、纹理特征、边缘特征等检索信息，则无需再计算目标图像的主体色、颜色特征、纹理特征以及边缘特征。

实施例三：

本实施例主要描述的是获取待检视频图像的颜色分割区域的主体色的过程，详述如下：

根据实施例二提供的颜色空间转换公式，将待检视频图像从RGB颜色空间转换到HSV颜色空间，并将颜色空间转换后的待检视频图像进行颜色分层，待检视频图像进行颜色分层的具体步骤与目标图像进行颜色分层的具体步骤类似，此处不再赘述。再对颜色分层后的待检视频图像的每个像素值建立背景模型，如果当前待检视频图像的(x，y)坐标上的像素值与建立的背景模型中(x，y)坐标上的像素值有较大差异时，则当前待检视频图像的(x，y)坐标上的像素值被判定为差异色，否则被判定为背景色。根据差异色区域的颜色可获取该差异色区域对应的颜色分割区域。

进一步地，建立的背景模型为多模态的高斯背景模型：对图像中的每个像素点用多个高斯分布构成的混合高斯模型建立背景模型，选用的高斯分布越多，越能描述复杂的场景。若每个像素点的H、S、V颜色通道相互独立，则为每个颜色通道各建立一个一维高斯模型：假设输入的第t帧图像的像素点为I_t，μ_i，t-1为第(t-1)帧图像的第i个高斯分布的像素值的均值，像素值的均值等于各个像素值相加的和除以像素点的个数，σ_i，t-1为第(t-1)帧图像的第i个高斯分布的像素值的标准差，D为满足公式|I_t-μ_i，t-1|≤D.σ_i，t-1的固定参数，该参数可通过实际经验获取，其中，μ_i，t＝(1-α)μ_i，t-1+ρI_t，

ρ＝α/ω_i，t，α是学习率，0≤α≤1，ρ是参数学习率，ω_i，t是第t帧图像的第i个高斯分布的权值。归一化计算得到的所有权值，并把各个高斯分布函数按ω_i，t/σ_i，t从大到小排列，如果i₁，i₂...i_k表示各个高斯分布，将i₁，i₂...i_k按照ω_i，t/σ_i，t从大到小的次序排列，若前M个高斯分布满足公式：

则这M个高斯分布被认为是背景分布，其中，τ是权值阈值，可根据实际情况获取，通常τ取值0.75。

根据建立的多模态高斯背景模型能够从待检视频图像中分割出差异色区域，并将分割出来的差异色区域的颜色与划分的72层颜色比较，获取该差异色区域的颜色分割区域，得到该颜色分割区域的主体色。

进一步地，在获取待检视频图像的颜色分割区域的主体色的步骤之前，进一步包括下述步骤：

接收视频解码和播放装置的解码请求，根据该视频解码和播放装置的解码请求自动更新解码组件和解码关系表；

根据更新的解码组件和解码关系表构建完整的解码链路以解码待检视频图像。

在本实施例中，获得检索任务后，向视频解码和播放装置提出解码请求，该视频解码和播放装置收到请求后，自动更新最新的解码组件和解码关系表，再从存储设备自动查找更新后的解码组件和解码关系表，根据该解码组件自动构建完整的解码链路解码待检视频图像。其中，需要检索的视频图像可以为移动硬盘存储的视频图像，可以为IP网络输入的视频图像，也可以为NAS阵列存储的视频图像。

实施例四：

本实施例主要描述从待检视频图像中获取与目标图像匹配的粗匹配区域的过程，详述如下：

对待检视频图像进行粗检索：获取目标图像的颜色分割区域，将目标图像的颜色分割区域的主体色与待检视频图像的颜色分割区域的主体色进行比较，以获取与目标图像的颜色分割区域的主体色相似的视频图像的颜色分割区域的主体色，而与目标图像的颜色分割区域相似的视频图像的颜色分割区域即为所求的粗匹配区域。其中，该目标图像的颜色分割区域是将该目标图像的HSV颜色空间的颜色经过颜色分层后获得。

假设待检视频图像的颜色分割区域用R表示，目标图像经过颜色分层后得到的颜色分割区域用Q表示，比较R和Q直方图的距离，获取与Q最接近的匹配区域。在比较R和Q直方图的距离时，是比较R和Q的同一层直方图的距离。在本实施例中，用n个同心矩形划分该R和Q，得到n个同心矩形，比较R和Q的同一层直方图的距离就是比较R和Q在同一个同心矩形上的直方图的距离。由于R和Q的颜色都为72层，因此一个同心矩形的R和Q的HSV直方图距离为72维的HSV直方图的距离之和，即一个同心矩形上的R和Q的72维HSV直方图的距离D_i为：

其中，h_r(j)和h_q(j)分别对应待检视频图像的颜色分割区域R和目标图像的颜色分割区域Q在第j维直方图的值，则n个同心矩形区域上R、Q的距离为：

当然，作为本发明的另一个实施例，n个同心矩形区域上R、Q的距离也可以为D_i放大一个预设倍数之后的和：假设该预设倍数为w_i，则

预设一个匹配阈值，当待检视频图像的颜色分割区域的主体色与目标图像的颜色分割区域的主体色的距离小于预设的匹配阈值时，判定该待检视频图像的颜色分割区域为与目标图像的颜色分割区域相匹配的粗匹配区域，否则，判定该待检视频图像的颜色分割区域与目标图像的颜色分割区域不匹配。

实施例五：

在本实施例中，主要描述了以粗匹配区域为中心的预设宽高范围内，提取待检视频图像的颜色特征、纹理特征以及边缘特征的过程，详述如下：

当检测到与目标图像的颜色分割区域相匹配的粗匹配区域后，以该粗匹配区域为中心，预设的宽高范围内提取待检视频图像的颜色特征、纹理特征以及边缘特征。比如，假设预设的宽高分别为目标图像的宽度和高度的20％，则在以粗匹配区域为中心，目标图像的宽度和高度都扩展20％的范围内提取待检视频图像的颜色特征、纹理特征以及边缘特征。

1、提取待检视频图像的颜色特征

提取待检视频图像的颜色特征就是提取以粗匹配区域为中心，预设宽高范围内的像素值，并将提取的像素值作为待检视频图像的颜色特征。

2、提取待检视频图像的纹理特征

提取待检视频图像的纹理特征的步骤具体为：将该待检视频图像转换为预设灰度级的灰度图像；构造4个方向的共生矩阵，若用M表示共生矩阵，则4个方向的共生矩阵如下：M(1，0)，M(0，1)，M(1，1)，M(1，-1)。再分别计算上述4个共生矩阵上的4个特征量：反差分量、能量分量、熵分量、相关分量，提取上述4个共生矩阵的特征量的均值和标准差，并作为目标图像的纹理特征的8个分量，该纹理特征的8个分量分别为：μ_CON、σ_CON、μ_ASM、σ_ASM、μ_ENT、σ_ENT、μ_COR、σ_COR。

3、提取待检视频图像的边缘特征

在本实施例中，采用Sobel边缘算子检测目标图像对应的灰度图像的边缘，或采用罗伯茨边缘算子检测目标图像对应的灰度图像的边缘，再采用基于梯度均值的阈值选取方法将边缘图像进行二值分割，最后从二值分割后的二值图像提取不变矩作为待检视频图像的边缘特征。其中，采用基于梯度均值的阈值选取方法将边缘图像进行二值分割的具体步骤，与实施例二中将目标图像对应的灰度图像进行二值分割的步骤类似，此处不再赘述。

进一步地，在以粗匹配区域为中心的预设宽高范围内，提取待检视频图像的颜色特征、纹理特征以及边缘特征之前，将存在粗匹配区域的待检视频图像划分为多个象限，划分的至少一个象限区域大小可以相等，也可以不等，再根据实际情况从划分的多个象限中定位匹配区域。比如将待检视频图像划分为相同大小的四个象限，则根据粗匹配区域可能在待检视频图像出现的象限区域中定位匹配区域，无需从待检视频图像的起始位置开始匹配，比如无需从待检视频图像的左上角开始匹配，从而能够更快地定位到粗匹配区域，提高查找速度。

实施例六：

本实施例主要描述的是根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定待检视频图像的综合特征量，并根据确定的综合特征量判断该待检视频图像是否为查找的视频图像。

由于颜色特征、纹理特征以及边缘特征的物理意义各不相同，不具有直接可比性，因此需要对上述特征进行归一化处理，假设G为待检视频图像的综合特征量，d₁表示待检视频图像的颜色特征与目标图像的颜色特征的距离，d₂表示待检视频图像的纹理特征与目标图像的纹理特征的距离，d₃表示待检视频图像的边缘特征与目标图像的边缘特征的距离，w₁、w₂、w₃分别为颜色特征、纹理特征、边缘特征对应的权值，0≤w₁，w₂，w₃≤1，且w₁+w₂+w₃＝1，则待检视频图像归一化后的综合特征量G为：

G＝w₁d₁+w₂d₂+w₃d₃

其中，d₁、d₂、d₃是采用距离公式，分别根据获取的目标图像的颜色特征、纹理特征、边缘特征和待检视频图像的颜色特征、纹理特征以及边缘特征计算获得。

在获取了待检视频图像的综合特征量之后，将获取的待检视频图像的综合特征量与预设的综合特征量阈值比较，若获取的待检视频图像的综合特征量大于等于预设的综合特征量阈值，则判定该待检视频图像为查找的视频图像，否则，判断该待检视频图像不是查找的视频图像。

进一步地，从大到小排序判定为查找的待检视频图像的综合特征量，并显示排序后的判定为查找的视频图像。在本实施例中，若指定显示查找的视频图像的个数，则根据综合特征量的大小，从大到小显示指定个数的视频图像。例如，假设指定返回查找到的最相似的前10个视频图像，则将视频图像按照该视频图像的综合特征量排序后，只显示综合特征量排在前10的视频图像。

进一步地，更改预设的颜色特征权值、纹理特征权值以及边缘特征权值。在本实施例中，若用户根据预设的颜色特征权值、纹理特征权值以及边缘特征权值获取的视频图像不够理想，则不断更改预设的颜色特征权值、纹理特征权值、边缘特征权值的至少一项，以获取更理想的视频图像。

本发明实施例中，对待检视频图像进行颜色分层，并对颜色分层后的待检视频图像的每个像素值建立背景模型，再根据建立的背景模型获取该待检视频图像背景区域，从待检视频图像中剔除该待检视频图像的背景区域以获取该待检视频图像的差异色区域，将待检视频图像的差异色区域对应的颜色分割区域的主体色与目标图像的颜色分割区域的主体色进行比较，获取与目标图像的颜色分割区域匹配的粗匹配区域。提取以获取的粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征，并获取目标图像的颜色特征、纹理特征以及边缘特征，最后根据目标图像的颜色特征、纹理特征、边缘特征、待检视频图像的颜色特征、纹理特征、边缘特征以及颜色特征权值、纹理特征权值、边缘特征权值确定查找的视频图像，并显示查找的视频图像。进一步地，若对显示的查找结果不满意，则更改颜色特征权值、纹理特征权值、边缘特征权值的至少一个，以获取更满意的视频图像。本发明通过粗检索过滤了大量不相符的待检视频图像，减少了后续的工作量，提高了检索效率，再通过对粗检索后的待检视频图像进行细检索来获取查找的图像，从而降低了漏检率，提高了检索结果的准确性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种监控视频检索方法，其特征在于，所述方法包括下述步骤：

接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征；

通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色；

将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域；

提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征；

根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量；

根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像。

2.如权利要求1所述的方法，其特征在于，所述接收检索信息，根据所述检索信息获取目标图像的主体色、颜色特征、纹理特征以及边缘特征的步骤具体为：

根据预设的转换公式将目标图像从RGB颜色空间转换到HSV颜色空间，再根据预设子集范围对目标图像HSV颜色空间的颜色进行颜色分层，获取目标图像的颜色特征以及目标图像的主体色；

将目标图像转换为预设灰度级的灰度图像，并根据灰度图像的灰度级生成所述灰度图像的共生矩阵，再从生成的共生矩阵提取目标图像的纹理特征；

采用索贝尔Sobel边缘算子或罗伯茨Roberts边缘算子检测目标图像对应的灰度图像的边缘，并提取检测的边缘的不变矩作为目标图像的边缘特征。

3.如权利要求1所述的方法，其特征在于，所述通过颜色分层，解析待检视频图像，以检测所述待检视频图像的差异色区域对应的颜色分割区域的主体色步骤具体为：

根据预设的转换公式将待检视频图像从RGB颜色空间转换到HSV颜色空间，并将颜色空间转换后的待检视频图像根据以下划分方式进行颜色分层：

$H=\left\{\begin{array}{ccc}0& \mathrm{if}& h\∈\left[\mathrm{316,20}\right]\\ 1& \mathrm{if}& h\∈\left[\mathrm{21,40}\right]\\ 2& \mathrm{if}& h\∈\left[\mathrm{41,75}\right]\\ 3& \mathrm{if}& h\∈\left[\mathrm{76,155}\right]\\ 4& \mathrm{if}& h\∈\left[\mathrm{156,190}\right]\\ 5& \mathrm{if}& h\∈\left[\mathrm{191,270}\right]\\ 6& \mathrm{if}& h\∈\left[\mathrm{271,195}\right]\\ 7& \mathrm{if}& h\∈\left[\mathrm{296,315}\right]\end{array}\right.$

$S=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.$

$V=\left\{\begin{array}{ccc}0& \mathrm{if}& v\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& v\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& \mathrm{\∈}\∈\left[\mathrm{0.7,1}\right]\end{array}\right.;$

对颜色分层后的待检视频图像的每个像素值建立背景模型，根据建立的背景模型获取视频图像的背景区域；

根据待检视频图像的背景区域获取待检视频图像的差异色区域，并获取所述视频图像的差异色区域对应的颜色分割区域的主体色。

4.如权利要求1所述的方法，其特征在于，所述将目标图像的主体色与待检视频图像的颜色分割区域的主体色进行匹配，获取与目标图像匹配的粗匹配区域的步骤具体为：

获取待检视频图像的颜色分割区域的主体色对应的直方图，再获取目标图像的颜色分割区域的主体色以获取所述目标图像的颜色分割区域的主体色对应的直方图；

比较待检视频图像的颜色分割区域的主体色对应的直方图的值与目标图像的颜色分割区域的主体色对应的直方图的值，再根据预设的匹配阈值选取与目标图像匹配的待测视频图像的颜色分割区域。

5.如权利要求1所述的方法，其特征在于，所述提取以所述粗匹配区域为中心，预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征的步骤具体为：

获取以所述粗匹配区域为中心的预设宽高范围内对应的像素值，并将获取的像素值作为待检视频图像的颜色特征；

将待检视频图像转换为预设灰度级的灰度图像，并根据灰度图像的灰度级生成所述灰度图像的共生矩阵，再从生成的共生矩阵提取灰度图像的纹理特征；

采用索贝尔Sobel边缘算子或罗伯茨Roberts边缘算子检测待检视频图像对应的灰度图像的边缘，并提取检测的边缘的不变矩作为待检视频图像的边缘特征。

6.如权利要求1所述的方法，其特征在于，在所述提取以所述粗匹配区域为中心的预设宽高范围内的待检视频图像的颜色特征、纹理特征以及边缘特征的步骤之前，进一步包括下述步骤：

将存在匹配区域的待检视频图像划分为至少一个象限，划分的至少一个象限的区域大小相等或不相等；

根据待检视频图像划分的象限定位与目标图像匹配的粗匹配区域。

7.如权利要求1所述的方法，其特征在于，所述根据目标图像的颜色特征、纹理特征、边缘特征以及待检视频图像的颜色特征、纹理特征、边缘特征确定所述待检视频图像的综合特征量的步骤具体为：

获取目标图像的颜色特征与待检视频图像的颜色特征之间的距离；

获取目标图像的纹理特征与待检视频图像的纹理特征之间的距离；

获取目标图像的边缘特征与待检视频图像的边缘特征之间的距离；

根据预设的颜色特征权值、预设的纹理特征权值、预设的边缘特征权值、目标图像的颜色特征与待检视频图像的颜色特征之间的距离、目标图像的纹理特征与待检视频图像的纹理特征之间的距离以及目标图像的边缘特征与待检视频图像的边缘特征之间的距离确定待检视频图像的综合特征量。

8.如权利要求1所述的方法，其特征在于，所述根据待检视频图像的综合特征量判断所述待检视频图像是否为查找的视频图像的步骤具体为：

将待检视频图像的综合特征量与预设的综合特征量阈值进行比较；

若待检视频图像的综合特征量大于等于预设的综合特征量阈值，则判定所述待检视频图像为查找的视频图像；

若待检视频图像的综合特征量小于预设的综合特征量阈值，则判定所述待检视频图像不是查找的视频图像。

9.如权利要求8所述的方法，其特征在于，在若待检视频图像的综合特征量大于等于预设的综合特征量阈值，则判定所述待检视频图像为查找的视频图像的步骤之后，进一步包括下述步骤：

显示判定为查找视频图像的待检视频图像。

10.如权利要求1或9所述的方法，其特征在于，在显示判定为查找视频图像的待检视频图像的步骤之后进一步包括下述步骤：

更改预设的颜色特征权值、纹理特征权值、边缘特征权值的至少一项。

Images