CN106055653A - 基于图像语义注释的视频浓缩对象检索方法 - Google Patents

Abstract

本发明公开一种基于图像语义注释的视频浓缩对象分类方法及方法。它是利用码本模型运动检测检测出运动对象，使用GrabCut分割出运动对象，然后通过分析对象的类型、颜色、运动特征，经约简后给予对象语义注释，这使得视频浓缩对象的检索条件更加丰富，提高了检索目标的效率。

Description

基于图像语义注释的视频浓缩对象检索方法

所属技术领域

本发明涉及一种视频浓缩方法，尤其涉及一种是基于图像语义注释的视频浓缩对象检索方法。

背景技术

目前，公知的视频浓缩对象检索可分为颜色、类型、运动方向，但是视频浓缩结果中的对象颜色并不是单一的，运动方向也是多角度的，因此在组合条件和具体条件下检索视频浓缩对象时，检索结果有遗漏和偏差。

CN104699810A中提出的目标分类，其中颜色分类为目标主色的RGB值。该方法只针对目标的主色，而本方法基于目标颜色占比综合主色和次色来对目标的颜色分类。这样能更精准地根据目标的颜色特征来检索出所要查找的目标。

基于图像语义注释的视频浓缩对象分类方法它是利用码本模型运动检测检测出运动对象，使用GrabCut分割出运动对象，然后通过分析对象的类型、颜色、运动特征，经约简后给予对象语义注释，这使得视频浓缩对象的检索条件更加丰富，提高了检索目标的效率。

为了解决视频浓缩结果检索时分类不准确、存在遗漏的问题，本发明对视频浓缩中的运动对象进行语义注释，丰富了对象特征的类别，支持更丰富的检索条件，使视频浓缩技术应用更广泛。

一种基于语义图像检索的视频浓缩对象检索方法包括：运动目标的检测计算单元；运动目标的提取计算单元；对于运动对象进行语义注释的计算单元；对运动对象进行语义检索的计算单元。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述的对于运动对象进行语义注释的计算单元：对运动对象外形特征分类的分类器计算单元；对运动对象颜色特征分类的分类器计算单元；对运动对象运动特征分类的分类器计算单元。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，包括如下步骤：

A.数据矢量量化编码；

B.码本模型运动检测；

C.对运动对象进行语义注释；

D.对运动对象进行语义检索。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述步骤A包括如下步骤：

A1.对原始数据分割成大小相同的块，每个小块包含了许多像素；

A2.形成由左至右、由上而下地串成一个向量；

A3.收集具有代表性的向量制作出码本，找出其中跟此小块最接近的码字的索引值代替此小块，组成一张索引表；将此作为原始数据压缩的结果。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述步骤B包括如下步骤：

B1.在视频帧的每一个像素位置，为该位置建立了包含了一个或多个码字的码本；视频序列中一个像素点的训练序列为X＝{x₁，x₂…x_N}，该像素对应的码本为C＝{c₁，c₂…c_L}，每个码字c_i为二元组结构c_i＝<v_i，u_i>；v_i对应该码字的累积RGB三通道的平均颜色值；其中各个参数分别表示码字对应像素的最小、最大亮度值，码字出现的字数，码字在训练中未出现的最大间隔时间以及第一次和最后一次访问的时间；

B2.检测像素运动情况；对于t时刻待检测的像素，将当前像素值x_t与对应的码本进行比较，如果没有相匹配的码字，则创建一个新的码字u_L＝<I，I，1，t-1，t，t>添加到其码本中；如果匹配的码字有多个，则根据颜色相似度和亮度范围确定匹配最好的码字并更新码本，公式如下

B3.当训练结束后，为每个码字c_i更新未访问的最大时间间隔Υ_i为

Υ_i＝max{Υ_i，N-q_i+p_i-1}。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述的步骤C包括如下分类：

C1：运动对象的外形特征注释；

C2：运动对象的颜色特征注释；

C3：运动对象的运动特征注释；

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述的C1运动对象的外形特征注释，选择面积、宽高比、占空比和第1、2个Hu不变矩，作为提取的对象的特征，包括如下步骤：

步骤一：对对象区域的面积、对象区域的宽高比、对象区域的占空比、Hu不变矩中第1、2个Hu不变矩定义，假设存在对象区域，(x，y)表示像素点的坐标；

对象区域的面积定义为：R中的像素点总数，公式如下：

$Area=m_{00}=\underset{(i,j)\&Element;R}{\mathrm{\&Sigma;}}f(i,j)$

即对象区域的零阶矩；

对象区域的宽高比定义为：

$AspectRatio=\frac{RW}{RH}$

其中，

RW＝max{x|(x，y)∈R}-min{x|(x，y)∈R}

RH＝max{y|(x，y)∈R}-min{y|(x，y)∈R}

对象区域的占空比，即对象区域的面积与外接矩形面积之比，可表示为：

$\frac{Area}{RW\&times;RH}$

Hu不变矩中第1、2个Hu不变矩定义如下：

φ₁＝η₂₀+η₀₂

${\mathrm{\&phi;}}_2={({\mathrm{\&eta;}}_{20}+{\mathrm{\&eta;}}_{02})}^2+4{\mathrm{\&eta;}}_{11}^2$

完成定义。

步骤二：采用支持向量机(SVM)分类器进行视频对象分类，以验证选择的对象特征的有效性；在训练集线性可分情形下，构造一个最优超平面(ω·x)+b＝0，使这个超平面满足约束条件y_i[(ω·x)+b]≥1，i＝1，2，….l；

同时使下面的函数取得最小值

$\mathrm{\&phi;}\left(\mathrm{\&omega;}\right)=\frac{1}{2}\left|\right|\mathrm{\&omega;}|{|}^2=\frac{1}{2}(\mathrm{\&omega;}\&CenterDot;\mathrm{\&omega;});$

通过求解最优化问题可得最优超平面的形式如下：

$\underset{SV}{\mathrm{\&Sigma;}}{y}_i{a}_i^0(x\&CenterDot;x^i)+b_o=0$

其中SV是支持向量，是拉格朗日乘子，b₀为最优超平面的偏置；在训练集线性不可分时，我们引进松弛因子ξ_i≥0及惩罚参数C；在约束y_i[(ω·x)+b]≥1，i＝1，2，….l下最小化函数

$\mathrm{\&phi;}\left(\mathrm{\&xi;}\right)=\frac{1}{2}\left|\right|\mathrm{\&omega;}|{|}^2+C\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_i$

可得最优超平面，有了最优超平面，分类规则或分类函数只要取

$I\left(X\right)=\mathrm{sgn}\left(\underset{SV}{\mathrm{\&Sigma;}}{y}_i{a}_i^0\right(x\&CenterDot;x_i)+b_0)$

即可。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述的C2运动对象的颜色特征注释，利用了图像的颜色矩、基于灰度共生矩阵的纹理特征和形状的七阶不变距来提取图像的底层视觉特征，结合粗糙集对生成的特征进行选择，根据颜色特征并以纹理特征辅助，对目标进行语义注释，包括如下步骤：

步骤一：颜色特征提取，采用颜色的一阶中心距、二阶中心距、三阶中心距表达图像颜色的分布，公式如下：

一阶距：

$\mathrm{\&mu;}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}_i$

二阶距：

$\mathrm{\&sigma;}={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(P_i-E\right)}^2\right)}^{\frac{1}{2}}$

三阶距：

$s={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(P_i-E\right)}^3\right)}^{\frac{1}{3}}$

其中，p₀是第i个像素的某个颜色分量；一阶距定义了每个颜色分量的平均强度，二阶和三阶距分别定义了颜色分量的方差和偏斜度；

步骤二：纹理特征提取，采用灰度共生矩阵方法来表示纹理特征，构造一个基于像素间方向和距离的共生矩阵，来提取能量、熵、惯性矩、相关性等统计量作为图像的纹理特征，灰度共生矩阵表示为p(i，j，d，θ)，它描述了在θ方向上，相隔d个像素的距离，灰度值分别为i和j的像素对数量；

能量:

$ASM=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}{\&lsqb;p(i,j)\&rsqb;}^2$

当p(i，j)的数值分布较集中于主对角线附近时，对应的ASM值较大；否则，ASM的值较小；

熵:

$ENT=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}p(i,j)\log p(i,j)$

当图像纹理比较粗糙时，各p(i，j)的值较集中并且相差较大，当图像纹理比较细时，各的值较集中并且相差较大，当图像纹理比较细时，各p(i，j)的值比较分散且相差不大；

惯性矩:

$CON=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}{(i-j)}^{2}p(i,j)$

由于p(i，j)主要集中在主对角线附近，所以对于粗纹理來说i-j的值较小，因此对应的CON值比较小；相反，细纹理的CON比较大；

相关性:

$COR=\frac{\underset{i}{\mathrm{\&Sigma;}}\underset{i}{\mathrm{\&Sigma;}}{\mathrm{ijm}}_{ij}}{{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y}$

当矩阵像元值相差很大时，则相关值小；反之，当矩阵元素均匀相等时，相关值就大；

步骤三：形状特征提取，采用不变距作为基于区域的形状特征，以兼顾整个形状区域内的所有像素；通过变换不敏感的几个矩来说明区域的固有特征，七个不变距来描述形状的特征，定义如下：

φ₁＝μ_2.0+μ_0.2

φ₂＝(μ_2.0-μ_0.2)²+4μ_1.1 ²

φ₃＝(μ_3.0-3μ_1.2)²+(μ_0.3-3μ_2.1)²

φ₄＝(μ_3.0+μ_1.2)²+(μ_0.3+μ_2.1)²

φ₅＝(μ_3.0-3μ_1.2)(μ_3.0+μ_1.2)[(μ_3.0+μ_1.2)²-3(μ_2.1+μ_0.3)²]+(3μ_2.1-μ_0.3)(μ_2.1+μ_0.3)[3(μ_3.0+μ_1.2)²-(μ_2.1+μ_0.3)²]

φ₆＝(μ_2.0-μ_0.2)[(μ_3.0+μ_1.2)²-(μ_0.3+μ_2.1)²]+4μ_1.1(μ_3.0+μ_1.2)(μ_0.3+μ_2.1)

φ₇＝(3μ_2.1-μ_0.3)(μ_3.0+μ_1.2)[(μ_3.0+μ_1.2)²-3(μ_0.3+μ_2.1)²]+(3μ_2.1-μ_0.3)(μ_2.1+μ_0.3)[3(μ_3.0+μ_1.2)²-(μ_2.1+μ_0.3)]

其中μ_p，q＝Σ_(x，y)∈R(x-x_c)^p(y-y_c)^q；(x_c，y_c)是对象的中心；

步骤四：使用粗糙集约简，降低样本维数，减少样本个数，降低后期语义识别的复杂度；

通过原始数据集建立系统决策表，S＝(U，A，V，f)其中C为条件属集；D为决策属性集；

通过K均值聚类的离散化方法对原始数据中连续型数据离散化，得到样本决策表；

利用基于属性重要性的属性约简方法来对样本决策表进行约简，得出最终的约简结果；

先统计未约简前由训练样本构成的分类模型对预测样本的准确率，在用约简后的条件属性直接作为训练样本和预测样本再一次构造一个分类模型，计算出分类的准确率；

通过实验验证选择径向基核函数，对约简后的样本集利用网格搜索法和粒子群优化算法两种方法来确定最优的优化算法和核函数的参数(C，γ)；

用约简后的样本、核函数及其最优参数来构造分类面，通过分类模型来实现对测试集的准确分类；

统计约简后的准确率和用网格搜索法和粒子群优化算法对参数优化后的准确率，对两者进行比较。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述的C3运动对象的运动特征注释，使用运动矢量直方图来提取局部运动特征，步骤如下：

$\left\{\begin{array}{c}\mathrm{\&Delta;}u{(x,y,t)}_{n+1}=-\frac{\&part;g}{\&part;x}\frac{\left(g\right(x+{\stackrel{\&OverBar;}{u}}_n,y+{\stackrel{\&OverBar;}{v}}_n,t+1)-g(x,y,t\left)\right)}{{\mathrm{\&alpha;}}^2+{\left(\frac{\&part;g}{\&part;x}\right)}^2+{\left(\frac{\&part;g}{\&part;y}\right)}^2}\\ \mathrm{\&Delta;}v{(x,y,t)}_{n+1}=-\frac{\&part;g}{\&part;y}\frac{\left(g\right(x+{\stackrel{\&OverBar;}{u}}_n,y+{\stackrel{\&OverBar;}{v}}_n,t+1)-g(x,y,t\left)\right)}{{\mathrm{\&alpha;}}^2+{\left(\frac{\&part;g}{\&part;x}\right)}^2+{\left(\frac{\&part;g}{\&part;y}\right)}^2}\end{array}\right.$

先从运动估计的全局运动模型中计算出每一像素点的全局运动矢量，再与当前的局部运动矢量合并，作为下一次迭代的初始值输入；得到相邻帧的局部运动矢量场后，取一个运动矢量幅度阈值T_m，大于此阈值的像素点定为运动像素点；然后将运动矢量的可能方向量化为n个等间距的间隔，对于每一个运动像素点，根据它的运动矢量方向找到对应的方向量化间隔，然后把该量化间隔的计数器加1；最后得出局部运动特征；

上式中，g(x，y，t)表示t时刻在(x，y)点的灰度值，分别表示灰度图像和沿x和y方向的梯度，和表示第n次迭代后运动矢量在一个小邻域内的平均值，通过对邻近点的插值来得到的计算；

本方法的运动特征分类标准为运动角度每5度为一个单位，针对不同角度的运动特征建立标准运动特征直方图；在得出运动目标的运动特征后，使用SVM分类器对目标运动特征直方图和标准直方图匹配，通过计算目标运动特征直方图和标准直方图的相似度，进行不同运动方向上的分类。

优选的，在上述的一种基于语义图像检索的视频浓缩对象检索方法，所述的D对运动对象进行语义检索包括如下分类：

D1.目标类型检索：根据目标的类型特征分为人、车、非机动车、其他四类；基于检索选定的条件，输出高于检索条件阈值的目标；

D2.目标颜色检索：目标颜色检索可设定主色和次色；因为目标颜色不一定是单一的，检索其中一种不能准确输出整体相似度较高的目标；所以目标颜色检索过程结合粗糙集和目标各种颜色的权重来综合检索，将检索条件和目标的语义注释进行比对得出结果；

D3.目标运动特征检索：定义两个相同长度直方图序列的相似度是它们各个对应直方图的相似度之和，当目标视频片段和标准运动特征直方图的原始视频片段长度不同时，分别为N和M，设N>M，则先将较短的序列{h₁(N)}与长序列{h₁(M)}中取不同时间起点的同长度序列计算相似度，然后求所有相似度的最大值，如下式

$S(h_1,h_2)=\underset{0\&le;t\&le;M-N}{max}\underset{0\&le;i\&le;N}{\mathrm{\&Sigma;}}{S}_i\&lsqb;h_1\left(i\right),h_2(i+t)\&rsqb;$

上式得出了两个不同长度序列的相似度，而且计算出短序列与长序列中最相似运动的对应位置；

根据检索条件得出类型、颜色、运动方向、运动速度的各项分值后，根据各项所占权重，求出加权分数。

附图说明

图1是矢量量化编码示意图；

图2是码本模型检测流程图；

图3是GrabCut算法前景背景分割效果图；

图4是提取视频中的运动目标和SVM的原理图；

图5是对运动对象颜色特征分类的计算流程图；

图6是对运动对象运动特征分类效果图；

图7是对于运动对象特检索分数计算单元流程图；

图8是系统整体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开一种基于语义图像检索的视频浓缩对象检索方法包括：运动目标的检测计算单元；运动目标的提取计算单元；对于运动对象进行语义注释的计算单元；对运动对象进行语义检索的计算单元。

其中，上述的一种基于语义图像检索的视频浓缩对象检索方法，包括：对于运动对象进行语义注释的计算单元：对运动对象外形特征分类的分类器计算单元；对运动对象颜色特征分类的分类器计算单元；对运动对象运动特征分类的分类器计算单元。

如图8所示，本发明公开的一种基于语义图像检索的视频浓缩对象检索方法，首先对像素进行矢量量化编码；然后利用码本模型检测出运动目标；通过GrabCut分离前景背景；分析运动对象的特征，对运动对象进行语义注释；按照检索条件完成视频浓缩对象的检索。

如图1所示，对像素进行矢量量化编码，把原始数据分割成大小相同的块，每个小块包含了许多像素；形成由左至右、由上而下地串成一个向量；收集具有代表性的向量制作出码本，找出其中跟此小块最接近的码字的索引值代替此小块，组成一张索引表；将此作为原始数据压缩的结果。

如图2所示，在上述的运动目标的检测计算单元，利用码本模型检测出运动目标，在视频帧的每一个像素位置，为该位置建立了包含了一个或多个码字的码本；

视频序列中一个像素点的训练序列为X＝{x₁，x₂…x_N}，该像素对应的码本为C＝{c₁，c₂…c_L}，每个码字c_i为二元组结构v_i对应该码字的累积RGB三通道的平均颜色值。其中各个参数分别表示码字对应像素的最小、最大亮度值，码字出现的字数，码字在训练中未出现的最大间隔时间以及第一次和最后一次访问的时间。

检测像素运动情况；对于t时刻待检测的像素，将当前像素值x_t与对应的码本进行比较，如果没有相匹配的码字，则创建一个新的码字u_L＝<I，I，1，t-1，t，t>添加到其码本中；如果匹配的码字有多个，则根据颜色相似度和亮度范围确定匹配最好的码字并更新码本，公式如下

当训练结束后，为每个码字c_i更新未访问的最大时间间隔Υ_i为

Υ_i＝max{Υ_i，N-q_i+p_i-1}。

如图3中(a)所示，使用GrabCut算法分割前景背景，该算法利用了图像中的颜色信息和边界信息，只要少量的用户交互操作即可得到比较好的分割结果。如图3中(b)所示，在通过深度学习算法训练后，可更完整体提取出目标和背景相似的部分。

GrabCut函数说明：

函数原型：

void cv::grabCut(const Mat&img，Mat&mask，Rect rect，

Mat&bgdModel，Mat&fgdModel，

int iterCount，int mode)

其中：

img——待分割的源图像，必须是8位3通道(CV_8UC3)图像，在处理的过程中不会被修改；

mask——掩码图像，如果使用掩码进行初始化，那么mask保存初始化掩码信息；在执行分割的时候，也可以将用户交互所设定的前景与背景保存到mask中，然后再传入GrabCut函数；在处理结束之后，mask中会保存结果。mask只能取以下四种值：

GCD_BGD(＝0)，背景；

GCD_FGD(＝1)，前景；

GCD_PR_BGD(＝2)，可能的背景；

GCD_PR_FGD(＝3)，可能的前景。

如果没有手工标记GCD_BGD或者GCD_FGD，那么结果只会有GCD_PR_BGD或GCD_PR_FGD；

rect——用于限定需要进行分割的图像范围，只有该矩形窗口内的图像部分才被处理；

bgdModel——背景模型，如果为null，函数内部会自动创建一个bgdModel；bgdModel必须是单通道浮点型(CV_32FC1)图像，且行数只能为1，列数只能为13x5；

fgdModel——前景模型，如果为null，函数内部会自动创建一个fgdModel；fgdModel必须是单通道浮点型(CV_32FC1)图像，且行数只能为1，列数只能为13x5；

iterCount——迭代次数，必须大于0；

mode——用于指示grabCut函数进行什么操作，可选的值有：

GC_INIT_WITH_RECT(＝0)，用矩形窗初始化GrabCut；

GC_INIT_WITH_MASK(＝1)，用掩码图像初始化GrabCut；

GC_EVAL(＝2)，执行分割。

完成目标与背景的分离。

对运动目标进行语义注释分为三类：运动对象的外形特征注释；运动对象的颜色特征注释；运动对象的运动特征注释。

如图4所示，在上述的运动对象的外形特征注释，选择面积、宽高比、占空比和第1、2个Hu不变矩，作为提取的对象的特征，包括如下步骤：

步骤一：对对象区域的面积、对象区域的宽高比、对象区域的占空比、Hu不变矩中第1、2个Hu不变矩定义，假设存在对象区域，(x，y)表示像素点的坐标；

对象区域的面积定义为：R中的像素点总数，公式如下：

$Area=m_{00}=\underset{(i,j)\&Element;R}{\mathrm{\&Sigma;}}f(i,j)$

即对象区域的零阶矩；

对象区域的宽高比定义为：

$AspectRatio=\frac{RW}{RH}$

其中，

RW＝max{x|(x，y)∈R}-min{x|(x，y)∈R}

RH＝max{y|(x，y)∈R}-min{y|(x，y)∈R}

对象区域的占空比，即对象区域的面积与外接矩形面积之比，可表示为：

$\frac{Area}{RW\&times;RH}$

Hu不变矩中第1、2个Hu不变矩定义如下：

φ₁＝η₂₀+η₀₂

${\mathrm{\&phi;}}_2={({\mathrm{\&eta;}}_{20}+{\mathrm{\&eta;}}_{02})}^2+4{\mathrm{\&eta;}}_{11}^2$

完成定义，结果如图4中(a)所示。

步骤二：如图4中(b)所示，采用支持向量机(SVM)分类器进行视频对象分类，以验证选择的对象特征的有效性；在训练集线性可分情形下，构造一个最优超平面(ω·x)+b＝0，使这个超平面满足约束条件y_i[(ω·x)+b]≥1，i＝1，2，….l；

同时使下面的函数取得最小值

$\mathrm{\&phi;}\left(\mathrm{\&omega;}\right)=\frac{1}{2}\left|\right|\mathrm{\&omega;}|{|}^2=\frac{1}{2}(\mathrm{\&omega;}\&CenterDot;\mathrm{\&omega;});$

通过求解最优化问题可得最优超平面的形式如下：

$\underset{SV}{\mathrm{\&Sigma;}}{y}_i{a}_i^0(x\&CenterDot;x^i)+b_o=0$

其中SV是支持向量，是拉格朗日乘子，b₀为最优超平面的偏置；在训练集线性不可分时，我们引进松弛因子ξ_i≥0及惩罚参数C；在约束y_i[(ω·x)+b]≥1，i＝1，2，….l下最小化函数

$\mathrm{\&phi;}\left(\mathrm{\&xi;}\right)=\frac{1}{2}\left|\right|\mathrm{\&omega;}|{|}^2+C\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_i$

可得最优超平面，有了最优超平面，分类规则或分类函数只要取

$I\left(X\right)=\mathrm{sgn}\left(\underset{SV}{\mathrm{\&Sigma;}}{y}_i{a}_i^0\right(x\&CenterDot;x_i)+b_0)$

即可。

如图5所示，在上述的运动对象的颜色特征注释，利用了图像的颜色矩、基于灰度共生矩阵的纹理特征和形状的七阶不变距来提取图像的底层视觉特征，结合粗糙集对生成的特征进行选择，根据颜色特征并以纹理特征辅助，对目标进行语义注释，包括如下步骤：

步骤一：颜色特征提取，采用颜色的一阶中心距、二阶中心距、三阶中心距表达图像颜色的分布，公式如下：

一阶距：

$\mathrm{\&mu;}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}_i$

二阶距：

$\mathrm{\&sigma;}={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(P_i-E\right)}^2\right)}^{\frac{1}{2}}$

三阶距：

$s={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(P_i-E\right)}^3\right)}^{\frac{1}{3}}$

其中，p₀是第i个像素的某个颜色分量；一阶距定义了每个颜色分量的平均强度，二阶和三阶距分别定义了颜色分量的方差和偏斜度；

步骤二：纹理特征提取，采用灰度共生矩阵方法来表示纹理特征，构造一个基于像素间方向和距离的共生矩阵，来提取能量、熵、惯性矩、相关性等统计量作为图像的纹理特征，灰度共生矩阵表示为p(i，j，d，θ)，它描述了在θ方向上，相隔d个像素的距离，灰度值分别为i和j的像素对数量；

能量:

$ASM=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}{\&lsqb;p(i,j)\&rsqb;}^2$

当p(i，j)的数值分布较集中于主对角线附近时，对应的ASM值较大；否则，ASM的值较小；

熵:

$ENT=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}p(i,j)\log p(i,j)$

当图像纹理比较粗糙时，各p(i，j)的值较集中并且相差较大，当图像纹理比较细时，各的值较集中并且相差较大，当图像纹理比较细时，各p(i，j)的值比较分散且相差不大；

惯性矩:

$CON=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}{(i-j)}^{2}p(i,j)$

由于p(i，j)主要集中在主对角线附近，所以对于粗纹理來说i-j的值较小，因此对应的CON值比较小；相反，细纹理的CON比较大；

相关性:

$COR=\frac{\underset{i}{\mathrm{\&Sigma;}}\underset{i}{\mathrm{\&Sigma;}}{\mathrm{ijm}}_{ij}}{{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y}$

当矩阵像元值相差很大时，则相关值小；反之，当矩阵元素均匀相等时，相关值就大；

步骤三：形状特征提取，采用不变距作为基于区域的形状特征，以兼顾整个形状区域内的所有像素；通过变换不敏感的几个矩来说明区域的固有特征，七个不变距来描述形状的特征，定义如下：

φ₁＝μ_2.0+μ_0.2

φ₂＝(μ_2.0-μ_0.2)²+4μ_1.1 ²

φ₃＝(μ_3.0-3μ_1.2)²+(μ_0.3-3μ_2.1)²

φ₄＝(μ_3.0+μ_1.2)²+(μ_0.3+μ_2.1)²

φ₅＝(μ_3.0-3μ_1.2)(μ_3.0+μ_1.2)[(μ_3.0+μ_1.2)²-3(μ_2.1+μ_0.3)²]+(3μ_2.1-μ_0.3)(μ_2.1+μ_0.3)[3(μ_3.0+μ_1.2)²-(μ_2.1+μ_0.3)²]

φ₆＝(μ_2.0-μ_0.2)[(μ_3.0+μ_1.2)²-(μ_0.3+μ_2.1)²]+4μ_1.1(μ_3.0+μ_1.2)(μ_0.3+μ_2.1)

φ₇＝(3μ_2.1-μ_0.3)(μ_3.0+μ_1.2)[(μ_3.0+μ_1.2)²-3(μ_0.3+μ_2.1)²]+(3μ_2.1-μ_0.3)(μ_2.1+μ_0.3)[3(μ_3.0+μ_1.2)²-(μ_2.1+μ_0.3)]

其中μ_p，q＝∑_(x，y)∈R(x-x_c)^p(y-y_c)^q；(x_c，y_c)是对象的中心；

步骤四：使用粗糙集约简，降低样本维数，减少样本个数，降低后期语义识别的复杂度；

通过原始数据集建立系统决策表，S＝(U，A，V，f)其中C为条件属集；D为决策属性集；

通过K均值聚类的离散化方法对原始数据中连续型数据离散化，得到样本决策表；

利用基于属性重要性的属性约简方法来对样本决策表进行约简，得出最终的约简结果；

先统计未约简前由训练样本构成的分类模型对预测样本的准确率，在用约简后的条件属性直接作为训练样本和预测样本再一次构造一个分类模型，计算出分类的准确率；

通过实验验证选择径向基核函数，对约简后的样本集利用网格搜索法和粒子群优化算法两种方法来确定最优的优化算法和核函数的参数(C，γ)；

用约简后的样本、核函数及其最优参数来构造分类面，通过分类模型来实现对测试集的准确分类；

统计约简后的准确率和用网格搜索法和粒子群优化算法对参数优化后的准确率，对两者进行比较。

如图6所示，在上述的运动对象的运动特征注释，使用运动矢量直方图来提取局部运动特征，步骤如下：

$\left\{\begin{array}{c}\mathrm{\&Delta;}u{(x,y,t)}_{n+1}=-\frac{\&part;g}{\&part;x}\frac{\left(g\right(x+{\stackrel{\&OverBar;}{u}}_n,y+{\stackrel{\&OverBar;}{v}}_n,t+1)-g(x,y,t\left)\right)}{{\mathrm{\&alpha;}}^2+{\left(\frac{\&part;g}{\&part;x}\right)}^2+{\left(\frac{\&part;g}{\&part;y}\right)}^2}\\ \mathrm{\&Delta;}v{(x,y,t)}_{n+1}=-\frac{\&part;g}{\&part;y}\frac{\left(g\right(x+{\stackrel{\&OverBar;}{u}}_n,y+{\stackrel{\&OverBar;}{v}}_n,t+1)-g(x,y,t\left)\right)}{{\mathrm{\&alpha;}}^2+{\left(\frac{\&part;g}{\&part;x}\right)}^2+{\left(\frac{\&part;g}{\&part;y}\right)}^2}\end{array}\right.$

先从运动估计的全局运动模型中计算出每一像素点的全局运动矢量，再与当前的局部运动矢量合并，作为下一次迭代的初始值输入；得到相邻帧的局部运动矢量场后，取一个运动矢量幅度阈值T_m，大于此阈值的像素点定为运动像素点；然后将运动矢量的可能方向量化为n个等间距的间隔，对于每一个运动像素点，根据它的运动矢量方向找到对应的方向量化间隔，然后把该量化间隔的计数器加1；最后得出局部运动特征；

上式中，g(x，y，t)表示t时刻在(x，y)点的灰度值，分别表示灰度图像和沿x和y方向的梯度，和表示第n次迭代后运动矢量在一个小邻域内的平均值，通过对邻近点的插值来得到的计算；

本方法的运动特征分类标准为运动角度每5度为一个单位，针对不同角度的运动特征建立标准运动特征直方图；在得出运动目标的运动特征后，使用SVM分类器对目标运动特征直方图和标准直方图匹配，通过计算目标运动特征直方图和标准直方图的相似度，进行不同运动方向上的分类。

如图7所示，在上述对运动对象进行语义检索包括如下分类：

1.目标类型检索：根据目标的类型特征分为人、车、非机动车、其他四类；基于检索选定的条件，输出高于检索条件阈值的目标；

2.目标颜色检索：目标颜色检索可设定主色和次色；因为目标颜色不一定是单一的，检索其中一种不能准确输出整体相似度较高的目标；所以目标颜色检索过程结合粗糙集和目标各种颜色的权重来综合检索，将检索条件和目标的语义注释进行比对得出结果；

3.目标运动特征检索：定义两个相同长度直方图序列的相似度是它们各个对应直方图的相似度之和，当目标视频片段和标准运动特征直方图的原始视频片段长度不同时，分别为N和M，设N>M，则先将较短的序列{h₁(N)}与长序列{h₁(M)}中取不同时间起点的同长度序列计算相似度，然后求所有相似度的最大值，如下式

$S(h_1,h_2)=\underset{0\&le;t\&le;M-N}{max}\underset{0\&le;i\&le;N}{\mathrm{\&Sigma;}}{S}_i\&lsqb;h_1\left(i\right),h_2(i+t)\&rsqb;$

上式得出了两个不同长度序列的相似度，而且计算出短序列与长序列中最相似运动的对应位置；

根据检索条件得出类型、颜色、运动方向、运动速度的各项分值后，根据各项所占权重，求出加权分数，按分数排序结果并输出。

Claims (10)

1.一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，包括：运动目标的检测计算单元；运动目标的提取计算单元；对于运动对象进行语义注释的计算单元；对运动对象进行语义检索的计算单元。

2.基于权利要求1所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述的对于运动对象进行语义注释的计算单元：对运动对象外形特征分类的分类器计算单元；对运动对象颜色特征分类的分类器计算单元；对运动对象运动特征分类的分类器计算单元。

3.基于权利要求1所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，包括如下步骤：

A.数据矢量量化编码；

B.码本模型运动检测；

C.对运动对象进行语义注释；

D.对运动对象进行语义检索。

4.基于权利要求3所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述步骤A包括如下步骤：

A1.对原始数据分割成大小相同的块，每个小块包含了许多像素；

A2.形成由左至右、由上而下地串成一个向量；

A3.收集具有代表性的向量制作出码本，找出其中跟此小块最接近的码字的索引值代替此小块，组成一张索引表；将此作为原始数据压缩的结果。

5.基于权利要求3所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述步骤B包括如下步骤：

B1.在视频帧的每一个像素位置，为该位置建立了包含了一个或多个码字的码本；视频序列中一个像素点的训练序列为X＝{x₁,x₂…x_N},该像素对应的码本为C＝{c₁,c₂…c_L}，每个码字c_i为二元组结构c_i＝<v_i,u_i>；v_i对应该码字的累积RGB三通道的平均颜色值；其中各个参数分别表示码字对应像素的最小、最大亮度值，码字出现的字数，码字在训练中未出现的最大间隔时间以及第一次和最后一次访问的时间；

B2.检测像素运动情况；对于t时刻待检测的像素，将当前像素值x_t与对应的码本进行比较，如果没有相匹配的码字，则创建一个新的码字u_L＝<I,I,1,t-1,t,t>添加到其码本中；如果匹配的码字有多个，则根据颜色相似度和亮度范围确定匹配最好的码字并更新码本，公式如下

B3.当训练结束后，为每个码字c_i更新未访问的最大时间间隔γ_i为

γ_i＝max{γ_i,N-q_i+p_i-1}。

6.基于权利要求3所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述的步骤C包括如下分类：

C1：运动对象的外形特征注释；

C2：运动对象的颜色特征注释；

C3：运动对象的运动特征注释。

7.基于权利要求6所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述的C1运动对象的外形特征注释，选择面积、宽高比、占空比和第1、2个Hu不变矩，作为提取的对象的特征，包括如下步骤：

步骤一：对对象区域的面积、对象区域的宽高比、对象区域的占空比、Hu不变矩中第1、2个Hu不变矩定义，假设存在对象区域，(x,y)表示像素点的坐标；

对象区域的面积定义为：R中的像素点总数，公式如下：

$Area=m_{00}=\underset{(i,j)\&Element;R}{\&Sigma;}f(i,j)$

即对象区域的零阶矩；

对象区域的宽高比定义为：

$AspectRatio=\frac{RW}{RH}$

其中，

RW＝max{x|(x,y)∈R}-min{x|(x,y)∈R}

RH＝max{y|(x,y)∈R}-min{y|(x,y)∈R}

对象区域的占空比，即对象区域的面积与外接矩形面积之比，可表示为：

$\frac{Area}{RW\&times;RH}$

Hu不变矩中第1、2个Hu不变矩定义如下：

φ₁＝η₂₀+η₀₂

${\mathrm{\&phi;}}_2={({\mathrm{\&eta;}}_{20}+{\mathrm{\&eta;}}_{02})}^2+4{\mathrm{\&eta;}}_{11}^2$

完成定义；

步骤二：采用支持向量机(SVM)分类器进行视频对象分类,以验证选择的对象特征的有效性；在训练集线性可分情形下，构造一个最优超平面(ω·x)+b＝0，使这个超平面满足约束条件y_i[(ω·x)+b]≥1,i＝1,2,….l；

同时使下面的函数取得最小值

$\mathrm{\&phi;}\left(\mathrm{\&omega;}\right)=\frac{1}{2}\left|\right|\mathrm{\&omega;}|{|}^2=\frac{1}{2}(\mathrm{\&omega;}\&CenterDot;\mathrm{\&omega;});$

通过求解最优化问题可得最优超平面的形式如下：

$\underset{SV}{\&Sigma;}{y}_i{a}_i^0(x\&CenterDot;x^i)+b_o=0$

其中SV是支持向量，是拉格朗日乘子，b₀为最优超平面的偏置；在训练集线性不可分时，我们引进松弛因子ξ_i≥0及惩罚参数C；在约束y_i[(ω·x)+b]≥1,i＝1,2,….l下最小化函数

$\mathrm{\&phi;}\left(\mathrm{\&xi;}\right)=\frac{1}{2}\left|\right|\mathrm{\&omega;}|{|}^2+C\underset{i=1}{\overset{l}{\&Sigma;}}{\mathrm{\&xi;}}_i$

可得最优超平面,有了最优超平面，分类规则或分类函数只要取

$I\left(X\right)=sgn\left(\underset{SV}{\mathrm{\&Sigma;}}{y}_i{a}_i^0\right(x\&CenterDot;x_i)+b_0)$

即可。

8.基于权利要求6所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述的C2运动对象的颜色特征注释，利用了图像的颜色矩、基于灰度共生矩阵的纹理特征和形状的七阶不变距来提取图像的底层视觉特征，结合粗糙集对生成的特征进行选择，根据颜色特征并以纹理特征辅助，对目标进行语义注释，包括如下步骤：

步骤一：颜色特征提取，采用颜色的一阶中心距、二阶中心距、三阶中心距表达图像颜色的分布，公式如下：

一阶距：

$\mathrm{\&mu;}=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{P}_i$

二阶距：

$\mathrm{\&sigma;}={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{\left(P_i-E\right)}^2\right)}^{\frac{1}{2}}$

三阶距：

$s={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{\left(P_i-E\right)}^3\right)}^{\frac{1}{3}}$

其中，p₀是第i个像素的某个颜色分量；一阶距定义了每个颜色分量的平均强度，二阶和三阶距分别定义了颜色分量的方差和偏斜度；

步骤二：纹理特征提取，采用灰度共生矩阵方法来表示纹理特征，构造一个基于像素间方向和距离的共生矩阵，来提取能量、熵、惯性矩、相关性等统计量作为图像的纹理特征，灰度共生矩阵表示为p(i,j,d,θ)，它描述了在θ方向上，相隔d个像素的距离，灰度值分别为i和j的像素对数量；

能量:

$ASM=\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}{\&lsqb;p(i,j)\&rsqb;}^2$

当p(i,j)的数值分布较集中于主对角线附近时，对应的ASM值较大；否则，ASM的值较小；

熵:

$ENT=\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}p(i,j)\log p(i,j)$

当图像纹理比较粗糙时，各p(i,j)的值较集中并且相差较大，当图像纹理比较细时，各的值较集中并且相差较大，当图像纹理比较细时，各p(i,j)的值比较分散且相差不大；

惯性矩:

$CON=\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}{(i-j)}^{2}p(i,j)$

由于p(i,j)主要集中在主对角线附近，所以对于粗纹理來说i-j的值较小，因此对应的CON值比较小；相反，细纹理的CON比较大；

相关性:

$COR=\frac{\underset{i}{\&Sigma;}\underset{i}{\&Sigma;}{\mathrm{ijm}}_{ij}}{{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y}$

当矩阵像元值相差很大时，则相关值小；反之，当矩阵元素均匀相等时，相关值就大；

步骤三：形状特征提取，采用不变距作为基于区域的形状特征，以兼顾整个形状区域内的所有像素；通过变换不敏感的几个矩来说明区域的固有特征，七个不变距来描述形状的特征，定义如下：

φ₁＝μ_2.0+μ_0.2

φ₂＝(μ_2.0-μ_0.2)²+4μ_1.1 ²

φ₃＝(μ_3.0-3μ_1.2)²+(μ_0.3-3μ_2.1)²

φ₄＝(μ_3.0+μ_1.2)²+(μ_0.3+μ_2.1)²

φ₅＝(μ_3.0-3μ_1.2)(μ_3.0+μ_1.2)[(μ_3.0+μ_1.2)²-3(μ_2.1+μ_0.3)²]+(3μ_2.1-μ_0.3)(μ_2.1+μ_0.3)[3(μ_3.0+μ_1.2)²-(μ_2.1+μ_0.3)²]

φ₆＝(μ_2.0-μ_0.2)[(μ_3.0+μ_1.2)²-(μ_0.3+μ_2.1)²]+4μ_1.1(μ_3.0+μ_1.2)(μ_0.3+μ_2.1)

φ₇＝(3μ_2.1-μ_0.3)(μ_3.0+μ_1.2)[(μ_3.0+μ_1.2)²-3(μ_0.3+μ_2.1)²]+(3μ_2.1-μ_0.3)(μ_2.1+μ_0.3)[3(μ_3.0+μ_1.2)²-(μ_2.1+μ_0.3)]

其中μ_p,q＝∑_(x,y)∈R(x-x_c)^p(y-y_c)^q；(x_c,y_c)是对象的中心；

步骤四：使用粗糙集约简，降低样本维数，减少样本个数，降低后期语义识别的复杂度；

通过原始数据集建立系统决策表，S＝(U,A,V,f)其中C为条件属集；D为决策属性集；

通过K均值聚类的离散化方法对原始数据中连续型数据离散化,得到样本决策表；

利用基于属性重要性的属性约简方法来对样本决策表进行约简,得出最终的约简结果；

先统计未约简前由训练样本构成的分类模型对预测样本的准确率,在用约简后的条件属性直接作为训练样本和预测样本再一次构造一个分类模型,计算出分类的准确率；

通过实验验证选择径向基核函数,对约简后的样本集利用网格搜索法和粒子群优化算法两种方法来确定最优的优化算法和核函数的参数(C,γ)；

用约简后的样本、核函数及其最优参数来构造分类面,通过分类模型来实现对测试集的准确分类；

统计约简后的准确率和用网格搜索法和粒子群优化算法对参数优化后的准确率,对两者进行比较。

9.基于权利要求6所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述的C3运动对象的运动特征注释，使用运动矢量直方图来提取局部运动特征，步骤如下：

$\left\{\begin{array}{c}\mathrm{\&Delta;}u{\left(x,y,t\right)}_{n+1}=-\frac{\&part;g}{\&part;x}\frac{\left(g\left(x+{\stackrel{\&OverBar;}{u}}_n,y+{\stackrel{\&OverBar;}{v}}_n,t+1\right)-g\left(x,y,t\right)\right)}{{\mathrm{\&alpha;}}^2+{\left(\frac{\&part;g}{\&part;x}\right)}^2+{\left(\frac{\&part;g}{\&part;y}\right)}^2}\\ \mathrm{\&Delta;}v{\left(x,y,t\right)}_{n+1}=-\frac{\&part;g}{\&part;y}\frac{\left(g\left(x+{\stackrel{\&OverBar;}{u}}_n,y+{\stackrel{\&OverBar;}{v}}_n,t+1\right)-g\left(x,y,t\right)\right)}{{\mathrm{\&alpha;}}^2+{\left(\frac{\&part;g}{\&part;x}\right)}^2+{\left(\frac{\&part;g}{\&part;y}\right)}^2}\end{array}\right.$

先从运动估计的全局运动模型中计算出每一像素点的全局运动矢量，再与当前的局部运动矢量合并，作为下一次迭代的初始值输入；得到相邻帧的局部运动矢量场后，取一个运动矢量幅度阈值T_m，大于此阈值的像素点定为运动像素点；然后将运动矢量的可能方向量化为n个等间距的间隔，对于每一个运动像素点，根据它的运动矢量方向找到对应的方向量化间隔，然后把该量化间隔的计数器加1；最后得出局部运动特征；

上式中，g(x,y,t)表示t时刻在(x,y)点的灰度值，分别表示灰度图像和沿x和y方向的梯度，和表示第n次迭代后运动矢量在一个小邻域内的平均值，通过对邻近点的插值来得到的计算；

本方法的运动特征分类标准为运动角度每5度为一个单位，针对不同角度的运动特征建立标准运动特征直方图；在得出运动目标的运动特征后，使用SVM分类器对目标运动特征直方图和标准直方图匹配，通过计算目标运动特征直方图和标准直方图的相似度，进行不同运动方向上的分类。

10.基于权利要求3所述的一种基于语义图像检索的视频浓缩对象检索方法，其特征在于，所述的D对运动对象进行语义检索包括如下分类：

D1.目标类型检索：根据目标的类型特征分为人、车、非机动车、其他四类；基于检索选定的条件，输出高于检索条件阈值的目标；

D2.目标颜色检索：目标颜色检索可设定主色和次色；因为目标颜色不一定是单一的，检索其中一种不能准确输出整体相似度较高的目标；所以目标颜色检索过程结合粗糙集和目标各种颜色的权重来综合检索，将检索条件和目标的语义注释进行比对得出结果；

D3.目标运动特征检索：定义两个相同长度直方图序列的相似度是它们各个对应直方图的相似度之和，当目标视频片段和标准运动特征直方图的原始视频片段长度不同时，分别为N和M，设N>M，则先将较短的序列{h₁(N)}与长序列{h₁(M)}中取不同时间起点的同长度序列计算相似度，然后求所有相似度的最大值，如下式

$S(h_1,h_2)=\underset{0\&le;t\&le;M-N}{max}\underset{0\&le;i\&le;N}{\&Sigma;}{S}_i\&lsqb;h_1\left(i\right),h_2(i+t)\&rsqb;$

上式得出了两个不同长度序列的相似度，而且计算出短序列与长序列中最相似运动的对应位置；

根据检索条件得出类型、颜色、运动方向、运动速度的各项分值后，根据各项所占权重，求出加权分数。