CN103020198B - 一种在视频中搜索目标的方法 - Google Patents

Abstract

本发明属于视频分析与处理技术领域，公开了一种在视频中搜索目标的方法，该方法基于前/背景分离技术及特征对比技术，通过提取目标物件的特征参数，从待检视频中分离前景物件，逐一提取前景物件的特征参数，并逐一与目标物件进行特征对比，最后根据对比结果输出搜索结果等四个步骤，来实现在视频中搜索目标的目的。从应用角度而言，通过此方法改善现有的视频监控系统，具有节省人力资源和时间成本等重要现实意义，从技术层面而言，本发明首次将画像特征对比技术应用于目标搜索实践，同时，对现有特征对比技术进行了改进，进一步提高特征对比的准确率。对监控及侦查搜索领域的技术进步具有推动作用。

Description

一种在视频中搜索目标的方法

技术领域

本发明属于视频分析处理技术领域，涉及移动物件的提取及特征匹配，具体的说是公开了一种在视频中搜索目标物件的方法。

背景技术

随着数码摄像技术的不断发展，视频监控作为一种安全防范手段被普遍且广泛地应用于日常及专业刑侦等领域。视频监控为安全防范等方面带来不可替代的保障的同时，现有视频监控系统过于简单，不便于视频查看及目标查找等不足亦渐渐体现出来。

采用现在常见的监控系统，当需要查看监控视频，在视频中寻找某一目标时，必须人工完整查看整个视频。然而，一方面，在实际应用过程中，一般单位所布置的摄像监控区域里，大部分时间里是无人经过的，视频中出现人物的时段与每天24小时的全天候录像相比，其所占时间是相对短暂的。查看监控视频时，其中大部分时间都是在观看静态背影画面，虽然现有监控系统都提供有快进查看的功能。但仍然会消耗查看人员的大量时间，而且快进是一种跳侦播放方式，快进查看视频，还存在错过重要画面的可能。另一方面，目标物件在视频中出现的时间段可能仅仅十几秒甚至几秒种，现有人工查找目标的方式，除了上面提到的观看静态画面浪费大量时间外，还有大量时间浪费在非目标人物的识别和筛选上。如能自动识别视频中是否包含与目标物件相同的前景物件，或者将少量与目标物件相似的前景物件组成待选列表推荐给用户查看，显然意义非常重大。

在视频处理方面，基于高斯混合模型的视频前、背景分离技术已日趋成熟，该技术假设视频画面中各像素的像素值符合高斯分布，通过组合多个高斯分布的方式建立视频的高斯混合模型，并在此基础上建立视频的背景模型。然后将视频画面与背景模型做对比，以确定其中的前景像素，最后将其从背景中分离出来。如能将上述基于高斯混合模型的前、背景分离技术应用于目标搜索，用以分离前景物件，再配合特征的提取与对比技术，将使在视频中进行目标自动搜索成为可能。

发明内容

本发明目的是针对上述技术现状，提供一种可以自动对比目标物件与被搜索视频中的前景物件，并以不同形式输出搜索结果的目标搜索方法。

为达到上述目的，本发明所采用的技术方案是：一种在视频中搜索目标的方法，包括如下步骤：

(a)提取目标物件的特征参数；

(b)从待检视频中分离前景物件；

(c)逐一提取前景物件的特征参数，并逐一与目标物件进行特征对比；

(d)根据对比结果输出搜索结果。

上述方法中，步骤(b)所述的分离前景物件可以采用目前较为常见的高斯建模的方法，一般包括如下步骤：

(b-1)建立待检视频的高斯混合模型；

(b-2)基于高斯混合模型建立背景模型；

(b-3)逐一侦画面与背景模型进行对比，分离前景像素。

步骤(a)和(c)所述的前景物件和目标物件的特征参数主要是指颜色特征参数、纹理特征参数、形状特征参数三者中的一种或几种。特征参数种类越多，特征对比的结果准确率越高，当然，同时也会增加计算机的计算量。一般情况下，颜色特征参数和纹理特征参数是必选的两项，而由于纹理特征可以在一定程序上反应形状特征，因此，形状特征参数主要用于对前景物件的初步或进一步筛选。

所述颜色特征可以用相关量和非相关量表征，所述相关量是指连续的同一颜色的像素点数量，非相关量是指不连续的该颜色像素点数量。以此表征颜色特征，来进行特征对比，除了可以考虑到颜色数量差异，还可以将颜色的分布差异考虑在内。采用这种方法需要进行像素数量统计和像素的位置关系识别，运算过程相对复杂。

以相关量和非相关量表征的颜色特征，其提取过程为：分别针对对象所包含的各种颜色，统计相连续的像素点数量和不连续像素点数量，其相连续的像素点数量为该颜色的颜色相关量，不连续的像素点数量为该颜色的非相关量。

以相关量和非相关量表征颜色特征时，颜色特征对比方式如下：

1、根据式(1)计算获得前景物件与目标物件的相关性参考值

${\mathrm{\Δ}}_H=\underset{j=1}{\overset{n}{\Σ}}|({\mathrm{\α}}_j+{\mathrm{\β}}_j)-({\mathrm{\α}}_j^{\′}+{\mathrm{\β}}_j^{\′})|---\left(1\right)$

式中，n代表颜色种类数量，α_j、β_j代表前景物件第j种颜色的相关量和非相关量，α’_j、β’_j代表目标物件第j种颜色的相关量和非相关量；

2、根据式(2)计算获得前景物件与目标物件的非相关性参考值

${\mathrm{\Δ}}_G=\underset{j=1}{\overset{n}{\Σ}}\left|({\mathrm{\α}}_j-{\mathrm{\α}}_j^{\′})\right|+\left|({\mathrm{\β}}_j-{\mathrm{\β}}_j^{\′})\right|---\left(2\right);$

3、取相关性参考值与非相关性参考值之和作为颜色特征对比的结果参考值。

所述颜色特征也可以采用基于三种色度的直方图而获得的三个色度分布向量来表征。以此表征的颜色特征，其提取过程如下：提取各像素的三种色度的值，分别针对每一种色度，统计在色度的取值范围(0～255)内，取值为各个色度值的像素的数量(包括0)，组成一个包含256个样本的色度分布向量。

更具体地说，可以针对全部像素(目标物件或前景物件的全部像素)分别建立三种色度(r,g,b)的直方图。其中，横轴对应色度的取值范围(0～255)，纵轴对应具有相应色度值的像素点的数量。分别提取三个直方图中各色度所占像素的数量值(包括0)组成三个色度向量。

以色度分布向量表征颜色特征时，颜色特征对比方式如下：

根据下式分别计算前景物件与目标物件的三种色度分布向量的向量间相似度，对计算获得的三个相似度数值进行求和，将结果作为颜色特征对比的结果参考值。

$cos\left(\mathrm{\θ}\right)=\frac{A\·B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\Σ}}{A}_i\×B_i}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(A_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(B_i\right)}^2}}$

其中A代表前景物件的色度分布向量，B代表目标物件的色度分布向量。

所述纹理特征，可以以图的灰度共生矩阵来表征，以灰度共生矩阵表征纹理特征，在进行纹理特征对比时，只需要计算前景物件灰度共生矩阵与目标物件灰度共生矩阵之间的距离差，然后将结果作为纹理特征对比的结果参考值即可。

在做纹理特征对比时，一般都假定其纹理非常细，故选最小差分单位来进行共生矩阵的计算。其特征提取及对比过程具体为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

所述纹理特征也可以采用基于灰度LBP值的直方图而获得的一个灰度LBP分布向量来表征，以此表征的纹理特征，其提取过程如下：

逐一像素计算其灰度的LBP值，统计在LBP值的取值范围(0～255)内，取值为各个LBP值的像素的数量(包括0)，组成一个包含256个向理值的灰度LBP分布向量。

具体地说，逐一像素计算其LBP值，建立LBP值直方图，其中，横轴对应LBP值的取值范围(0～255)，纵轴对应具有相应LBP值的像素点的数量。提取直方图中各LBP值所占像素的数量值(包括0)组成灰度LBP分布向量。

以灰度LBP分布向量表征纹理特征时，纹理特征对比方式如下：

根据下式计算前景物件与目标物件的灰度LBP分布向量的向量间相似度，将结果作为纹理特征对比的结果参考值。

$cos\left(\mathrm{\θ}\right)=\frac{A\·B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\Σ}}{A}_i\×B_i}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(A_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(B_i\right)}^2}}$

其中A代表前景物件的灰度LBP分布向量，B代表目标物件的灰度LBP分布向量，n为灰度LBP分布向量所包含的向量值的数量。

所述形状特征可以用多种方式表征，最简单的一种是采用物件的宽度与高度的比值(下称“宽高比”)来表征。其提取过程包括横轴最小及最大坐标Xmin、Xmax和纵轴最小及最大坐标Ymin、Ymax四个坐标的提取，及比值(Xmax-Xmin)/(Ymax-Ymin)的计算。

具体的说，统计对象各像素点中最小横坐标Xmin、最小纵坐标Ymin、最大横坐标Xmax、最大纵坐标Ymax，用公式S＝(Xmax-Xmin)/(Ymax-Ymin)计算获得物件的宽高比

步骤(c)所述的特征对比过程，根据选用特征参数的不同，可以有多种情况，当提取的特征包括多种时，可以先多种特征参数单独进对比计算，然后对结果数值进行直接求和或加权求和，将求和结果作为两个物件的特征对比的结果参考值用于后续步骤的排序和/或筛选。也可以将某一种特征分开单独用于初步或后续进一步的筛选过程，如形状特征对比结果数值。

当只选用颜色特征和纹理特征进行特征对比时，比较优选的对比方法如下：

(c-1)针步骤全部前景物件，逐一对比前景物件与目标物件的颜色特征和纹理特征，获得各前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值；

(c-2)对同一前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值直接求和或加权求和，将结果作为该前景物件的特征对比的结果参考值，该值大小反应前景物件与目标物件之间的相关程度。

当全部选用形状特征、颜色特征和纹理特征进行特征对比时，比较优选的对比方式如下：

(c-1)针对全部前景物件，逐一对比前景物件与目标物件的形状特征，获得各前景物件的形状特征对比的结果参考值，根据形状特征对比的结果参考值筛选前景物件；

(c-2)针步骤(c-1)筛选出来的前景物件，逐一对比前景物件与目标物件的颜色特征和纹理特征，获得筛选出来的各前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值；

(c-3)对同一前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值直接求和或加权求和，将结果作为该前景物件的特征对比的结果参考值，该值大小反应前景物件与目标物件之间的相关程度(相似程度或不相似程度)。

由于形状特征对过程计算量极少，首先用形状特征对比结果给被检前景物件进行筛选，可大大减少特征对比过程的计算量。

考虑到前景物件在移动过程状态会发化变化的特点(如：人脸从朝向镜头的方向转向背向镜头的方向，头部颜色特征发生较大变化；从侧身朝向镜头行走时，下身在行走过程中，两腿始终在重叠和错开两种状态间变换，其纹理特征则会发生较大变化)，为了进一步提高特征对比的准确度，本发明还提出了一种改进的特征提取方法，即对被比对象的像素进行区域划分，然后对划分出来的各部分进行特征提取，最后对各部分的特征参数进行加权求和获得整个物件的特征参数。由于权重的加入，则可以减少状态容易变化的部位的状态变化给特征对比带来的影响。这种改进的方法可以提高动态对象的识别准确率，权重值可以在提取特征时根据对象特点临时设定，也可以提前统一设定。比如搜索目标为行走状态的人，那么根据一固定比例将人像分成上中下三个部分，并设定中间部分的权重高于其它两个部分的权重。

这种划分部分加权计算特征参数的方法可以仅使用在三种特征参数(形状特征、颜色特征、纹理特征)中的一种或两种特征参数的提取计算过程中，也可以分部分提取计算全部三种特征参数。

步骤(d)可以有两种形式，

其一、根据对比结果，按相似度高低对前景物件进行排序，将经过排序的前景物件作为搜索结果直接输出给用户，由用户根据需要查看排序靠前任意数量的前景物件，找出目标。具体表述为：

(d-1)根据各前景物件的特征对比结果参考值，对步骤(c-1)筛选出来的前景物件进行排序，

(d-2)将经过排序的各前景物件直接作为搜索结果输出。

其二、根据特征对比结果对前景物件进行筛选，将符合筛选条件的少量前景物件做为搜索结果输出给用户，供用户查看并找出目标，输出结果前也可以对筛选出的少量前景物件进行排序。具体可表述为：

(d-1)根据各前景物件的特征对比结果参考值，对步骤(c-1)筛选出来的前景物件进一步筛选，

(d-2)将步骤(d-1)筛选出来的前景物件直接作为搜索结果输出，或排序后作为搜索结果输出。

本发明的优点及积极效果：

本发明针对监视视频人物辨识与应用问题，设计并实现了完整的辨识方法架构及结合有效使用人力资源的操作规划，提出了具体可行，且可以达成节省人力，节省时间，准确性高，适于定位追踪的目标搜索方法。

本发明的方法，利用高斯混合模型技术作基础，结合图像特征对比技术，针对目标搜索过程中的，背景分离、特征提取、特征对比，及最后输出搜索结果等多方面提出具体解决方案。

从应用角度而言，通过本发明方法改善现有的视频监控系统，具有节省人力资源和时间成本等重要现实意义，从技术层面而言，本发明首次将图像特征对比技术应用于目标搜索实践，同时，对现有特征对比技术进行了改进，进一步提高特征对比的准确率。对监控及侦察搜索领域的技术进步具有推动作用。

将本发明的方法应用在视频监控系统后，在节省人力及时间的应用上，将产生强大的功效。在传统使用人力的辨识体系下，使用人眼搜寻一个视频，需要完整看完整个视频，并且为了找出某目标，可能需要一再的重复播放及搜寻。若使用基于本发明方法改进的监控系统，只需经过简单的选择设置等操作，便可将目标存在的画面筛选下来，展示给用户查看确认。

由以上的叙述，可以了解本系统在监视视频目标搜索识别的业务上，省却了很多在人力及时间上的浪费，进而有效重新分配资源，在辨识的结果上，准确的抓出嫌疑人存在的画面以及追踪嫌疑人的行踪，也可为犯罪缉查的业务，增添更多的帮助。

附图说明

图1为采用本发明所述搜索方法进行目标搜索的流程框图；

图2为目标物件轮廓圈选方式演示图；

图3为一般高斯混合模型的各高斯分布图形化示意图；

图4为采用本发明所述截图方法进行视频截图的实验效果图，其中，第一张画面为一帧包含前景物件的未处理影格，第二张画面为经过基于像素的分类法处理后，仍包含部分阴影的前景物件像素的影格效果，第三张画面为经过基于区域的分类法处理后，仅包含前景件像素的影格效果；

图5为颜色相关量及非相关量的提取过程演示图；

图6为共生矩阵形成过程演示图；

图7为对被比对象分部分别提取特征的效果图；

图8为基于对象宽度比进行前景物件筛选效果图。

具体实施方式

下面结合附图进一步说明本发明所述的方法。以举例的形式详细描述了背景建模、前背景分离、特征提取与特征对比等具体过程。

本发明所述搜索方法是一个结合多重视频分析技术的视频分析搜索方法，其主要的分析处理流程如图1所示。下面以搜索人为例分步骤描述本例所述方法的具体过程。

第1，人物模组的建立与学习。

第1.1，人物模组的建立：如图2所示，在样片中，手工圈选人物轮廓，其中每个圆圈处都可视为一个座标(例如从头顶开始的两点，左至右依序为point(215,70)，point(227,73))，最后将这些座标集，当作是目标的轮廓输入到运算核心中，便可以作为人物模组学习的依据，通过人物模组的学习，可以获得圈定轮廓内构成人物目标的各像素的像素值。

第1.2，人物模组的学习：针对前一步骤所建成的目标人物模组进行分析学习，提取人物目标的颜色特征、纹理特征、及形状特征等特征，各种特征的提取算法与步骤第XX相同。

人物模组建立及学习完后，便可以将前一个步骤所建立的所有特征值，作为接下来辨识的比对的根据。从加入一个视频开始，进行一连串的分析。

第2，背景模型建立/更新。

建立背景模型前，首先利用微软的DirevtShow结合对应各个视频格式编码的组件(ex：wmv、asf、mp4…)，将视频进行解码，拆解成每秒一张，甚至最多到三十张的影格，提供后续的分析使用。拆解的影格的数量与监控视频文件格式有关。

第2.1，建立高斯混合模型(Gaussian Mixture Model，缩写为GMM)。

第2.1.1GMM利用，可以建立随着时间的改变的背景像素强度变化模型。

第2.1.2，一个像素点在t时间点，像素值为X的概率可以以下列的方程式表示：

从第一帧影格开始读取一组连续影格，统计该组影格的各像素值的分布特点，并据此计算获得上式中各参数，初始化高斯混合模型。由以上式子，我们可以取得高斯混合模型的多个分布图，如图3所示。

第2.1.3，利用GMM取得各像素强度变化模型后，便可进行背景建模，这个过程会在步骤第1.2里作详细说明。

第2.2，建立背景模型。

第2.2.1，计算权重除以标准差的比值(ω/σ²)来作为高斯分配的重要性，以用来决定哪些高斯分布最能代表背景。

第2.2.2，根据这个比值(ω/σ²)从大到小重新排列一个像素点的K个高斯分布的顺序，并取前B个分布用来代表背景分布。

其中B的取值由下式计算获得：

$B=\arg \underset{b}{\min }(\underset{k=1}{\overset{b}{\Σ}}{\mathrm{\ω}}_i>T)$

将前B个分布的均值的平均值作为对应像素点的背景像素值。

第2.3，前景物件检测。

判断像素值是否有落在该像素点对应的代表背景的高斯分布的平均的2.5个标准差内，有在2.5个标准差内的话，则判定其属于背景的一部份，没有在的话，则可能是前景。初步将该像素记录为前景像素。

第2.4，背景模型更新。

在检测前景物件过程中，藉由新视频进入，更新高斯混合模型的参数并持续维护，以适应后续传来的视讯资料并继续进行移动物件侦测。具体为，当某一像素被判断为背景时，根据下述公式更新相应参数：

第2.5，将前/背景分离开来后，为了排除因光影变化而被误判为前景的像素，还需要针对前景分类出来的像素做进一步筛选判断，这个动作会在步骤第2里作详细说明。

第3，光影滤除。

在该步骤中，系统将依序对每桢影格进行二阶段算法从影格中找出动态对象。

第3.1，利用基于像素的分类法(pixel-wise classification)，针对每桢影格，逐一像素进行筛选。

第3.1.1，分别计算当前像素及背景模型中对应像素的色度坐标。

每一像素的R/G/B色度分别用R、G、B表示，对应的色度(chromaticity)坐标计算公式为：

$r=\frac{R}{R+G+B},g=\frac{G}{R+G+B},b=\frac{B}{R+G+B},$

令当前像素的色度坐标为r_o,g_o,b_o，背景模型中对应像素的色度坐标为r_b,g_b,b_b，这三对座标值，彼此会很接近，用公式表示为r_b～r_o，g_b～g_o，b_b～b_o。

第3.1.2，计算三个颜色在光线改变时与背景模型强度间关系。

将当前像素的R/G/B色度坐标分别与背景模型中对应像素的R/G/B色度座标相减得到三个差值；d_r＝|r_o-r_b|，d_g＝|g_o-g_b|，d_b＝|b_o-b_b|。

第3.2.3，加入gain值判断：gain被定义成因光线影响而改变的像素灰阶值与相对应的背景像素值的比值，用公式表示为其中，I_o跟I_b分别为观察到的视频与背景视频的灰阶值。

第3.2.4，分析d_r、d_g、d_b、gain的值可知，其值如果很大，则代表这个像素点的当前像素值与在背景模型中的像素值差很多，也就是表示有前景物件移入。据此，我们将判断属于背景的规则定义如下：

d_r<y_r，d_g<y_g，d_b<y_b，|gain|<y_gain，其中，y_r、y_g、y_b、y_gain为阙值。

第3.2.5，根据上述规则逐一对步骤第2.3中初步记录的前景物件像素进行判断，则可以将其中大部分代表光影变化的像素，与前景像素分离开来，进而获得进一步的相对更准确的前景资料。至此，构成前景物件的各像素已经基本确定下来。

第3.3，由于基于单个像素进行的判断仍具有一定局限性，还会有少量代表阴影的像素被判断为前景物件。为此，作为改进，所以我们还可以利用基于区域的分类法(region-based classification)进行阴影滤除，将亮度变化较小而代表阴影的部分进一步滤除。得到更接近真实的前景数据(前景物件的全部像素值)。

第3.3.1，针对像素分类法求出的初步前景资料中的像素计算增益值gain。增益值gain等于各该影格之一像素的灰阶值与背景影像数据对应像素的灰阶值的差值，与该背景影像数据对应像素的灰阶值的比值；

第3.3.2，将具有接近的增益值gain的像素合并成成同一个区域，再求得此区域中全部像素的R，G色度的色度坐标平均值和gain平均值，再根据平均值进一步的判断，该区域是否代表阴影，其判断规则如下：

其中，T_gain是一个阙值。

第3.3.3，将增益值接近且邻近的像素合并成一区域后，当该区域的平均增益值小于一预设门坎值T_gain，代表光学强度与背景相较变化不大而属于阴影，则进一步删除而得到更接近真实的前景数据。

第3.4，测试视频实验

该实验中，为更直观的显示判断结果，系统将判断为背景的像素直接删除，并将删除前景像素后的影格展现给用户。经由本步骤第2的二阶段处理过程后，一帧视频影格所被筛选保留下的像素中，只会留下移动对象的部分，如人，脚踏车，机车，汽车或其他对象；纯粹静态光影变化的物件，如路灯或车灯闪烁，都不算是动态对象，所以也不会被留下。测试视频实验结果见图4。

第4，物件特征提取及特征对比。

下面给出了两套组合了颜色特征及纹理特征的提取对比方案，该两套方案基于不同方式来表征颜色特征及纹理特征，在每套方案中，颜色特征对比结果与纹理特征对比结果性质相同(性质相同是指同为关系距离，或同为相似度。关系距离和相似度两者不同之处在于，关系距离是数值越大代表越不相似，相似度则是数值越大代表越相似)，刚好可以直接相加或加权相加，以便于最终获得一个对比结果数值，以方便根据该数值的大小，即可判断被比对象是否为同一对象，至少可以判断两者差异大小。以下分别描述两套方案的具体过程。

第4.1，基于颜色相关性与非相关性的颜色特征，以及基于共生矩阵获得的纹理特征。

第4.1.1，基于颜色相关性与非相关性表征的颜色特征的提取。参照图5，颜色相关量和非相关量的计算过程可表述如下：

第4.1.1.1，设颜色种类的数量j，并令j＝1，第j种颜色的相关量α_j＝0，非相关量β_j＝0，统计物件像素总数记为N，设n＝1，读取第一个像素点的像素值，比如坐标为(1，1)的像素点，记录其为C₁，再分别读取坐标与之相邻的四个像素点的像素值，如坐标不存在，则不取值。

第4.1.1.2，判断当前像素点与相邻的四个像素点的任一个像素值是否相同，如存在相同值，则令α_j＝α_j+1，若否，则令β_j＝β_j+1。跳至步骤第4.1.1.4。

第4.1.1.3，判断当前像素点与相邻的四个像素点的任一个像素值是否相同，如存在相同值，则令α_i＝α_i+1，若否，则令β_i＝β_i+1

第4.1.1.4，判断n＝N，若是，则特征提取结束，若否，则读下一个像素点的像素值，及坐标与之相邻的像素点的像素值，并判断当前像素值与C₁、…、C_j中任一个是否相同，若与其中C_i相同，则跳转到步骤第4.1.1.3，若无相同，则令j＝j+1，C_j＝当前像素值，并跳转到步骤第4.1.1.2。

上述特征提取过程完毕后，会统计得出目标物件或前景物件中包括的颜色种类的数量(j的最终值)，各种颜色的相关量(α₁-α_j的最终值)，及非相关量(β₁-β_j的最终值)。

第4.1.2，基于颜色相关性与非相关性表征的颜色特征的对比。

分别获得目标物件和前景物件的颜色的相关量和非相关量后，即可以对两者进行颜色特征的对比，具体为，按照下式分别计算获得代表颜色相关性和颜色协调性的两个值。

Color Histograms：

Color Coherent Vector：

由公式可以看出计算获得的两个值表示是两被比对象之间，同一颜色的数量及分布差异。将两值加权求和，最终获得一个颜色特征对比的结果数值。该结果数值越大，表示两个被比对象的颜色差异越大，反之，则两被比对象越相似。

第4.1.3，基于共生矩阵(Co-occurrence Matrices)的纹理特征。

共生矩阵方法是利用统计的方式去计算纹理的规律性，然后通过对比两被比对象的纹理的规律性之间的差异完成纹理特征对比。

在做纹理特征对比时，一般都假定其纹理非常细，故选最小差分单位来进行共生矩阵的计算。其特征提取及对比过程具体为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

第4.1.4，对颜色特征对比结果和纹理特征的对比结果进行加权求和。获得一个代表两个被比对象综合颜色及纹理特征的特征关系距离的值。可以将该值做为两个被比对象的特征对比最终结果，据此输出搜索结果，也可以在此结果基础上，再引入形状特征对比(第4.3)做提前或进一步的筛选。

第4.2，基于色度向量的颜色特征，组合基于LBP分布向量的纹理特征。

下面针对另一套方案分步骤描述色彩(步骤第3.1)以及纹理(步骤第3.2)特征的提取及对比计算过程。在下面的描述中，首次提出了将被比对象分部进行特征提取的概念，待各部分特征提取完毕后，再对各部分的特征进行加权求和。这种方法可以通过分配权重的方式来突出某个部分。比如，将人物分成头、上身、下身三个部分，由于上身在运动过程中形状及颜色变动范围小，对比的参照性很强，所以可以将上身的比重设置很高。这种分部进行特征提取然后将各部分特征加权求和的方法，同样适用于第一套方案所述的以颜色相关量及非相关量表征的颜色特征，以及基于共生矩阵的纹理特征的提取过程中。

在本实施例，假设被比对象(动态对象)是人，我们将前景资料分成n个部位，n＝3，参照图7，分别对应头、身、脚三部分(后续还会依照预设权重进行加权计算(第3.1.6、第3.2.6)，或在辨识流程中计算相关度分数时进行加权计算(步骤第3.3)，有助于提高辨识度)。

第4.2.1，色度向量的提取。

设定横轴i＝1～n，纵轴j＝1～第n部位的像素数，一开始i＝1，j＝1。

第4.2.1.1，利用一移动窗口(sliding window)扫描前景数据的第i部位(例如头部)的第j像素，得到这个像素的RGB色彩信息值，在本例中是R色度值、G色度值，及B色度值，色度值为0～255的数值。

第4.2.1.2，将R色度值、G色度值与B色度值分别记录于R色度直方图、G色度直方图与B色度直方图中，直方图的横轴为0～255，纵轴为像素数。

第4.2.1.3，检视j是否等于该前景资料的第i部位的像素数，也就是检视是否已经扫描完该第i部位。若是，则进行步骤第4.2.1.4，若否，则令j＝j+1，扫描下一个像素。

假设第i部位有三个像素，以R色度来说，这三个像素的R色度值例如分别为2、250、250，则在R色度直方图上，横轴位置2处对应的数值为1，横轴位置250处对应的数值为2，其他皆为0。(此直方图的累积运算方法与附注1.1、1.2，LBP值方图的累积计算方式相同，只不过在这里分别由R、G、B色度个别累积成R一维数组、G一维数组，及B一维数组。)

第4.2.1.4，将对应于第i部位的R色度直方图、G色度直方图与B色度直方图中的数值读出来，转换为R一维数组(向量？)、G一维数组，及B一维数组。以前面例子来说，就是得到一个1×256的数组，只有第3及第251个元素数值分别为1及2，其他为0。

第4.2.1.5，检视i是否等于n，也就是检视是否已经扫描完前景数据所有部位。若是，则执行步骤第4.2.1.6，若否，则令i＝i+1，处理下一个部位。

第4.2.1.6，将第1到第n部位分别乘上一预设的权重后相加，得到R色彩一维数组、G色彩一维数组及B色彩一维数组。以n＝3的例子来说，身体特征比较重要时，默认的权重可以是0.2、0.6、0.2。

第4.2.2，基于LBP分布向量的纹理特征。

以下说明本实施例利用局部二进制样本(local binary pattern，LBP)针对前景数据进行纹理分析的方法流程。在纹理分析方面，设定相同的i＝1～n，k＝1～第n部位的像素数，一开始i＝1，k＝1。

第4.2.2.1，利用LBP技术处理(计算范例可参照附注1)第i部位每一个3X3区块的LBP值。详细来说，针对前景资料的第i部位的第一个3X3区块(例如最左上角的像素作为九宫格的中心，没有像素的部分补充灰阶值为相同的假设像素)计算LBP值，大致上是各格灰阶值减去中央格的灰阶值再作二值化处理，变成0或1，接着使各格乘以权重(2的0次方～7次方)加总得到LBP值，LBP值为0～255的数值。

第4.2.2.2，将LBP值记录在一LBP直方图中，该LBP直方图的横轴为0～255，纵轴为像素数。

第4.2.2.3，检视k是否等于该前景资料的第i部位的像素数，也就是检视是否已经扫描完该第i部位。若是，则进行步骤S184，若否，则令k＝k+1，使九宫格移动一格。

第4.2.2.4，将LBP直方图中的数值读出来，得到一个1×256的纹理一维数组。

第4.2.2.5，检视i是否等于n，也就是检视是否已经扫描完前景数据所有部位。若是，则执行步骤第4.2.2.6，若否，则令i＝i+1，处理下一个部位。

第4.2.2.6，将第1到第n部位分别乘上一预设的权重后相加，得到整体的纹理一维数组。同样地，有关各部位的纹理一维数组也可以直接储存而未经加权计算，留待辨识流程计算分数时一并计算。

第4.2.3，在进行色彩特征提取以及纹理特征提取之后，分别获得被比对象(目标物件和前景物件)的三个表征颜色特征的色度分布向量，和一个表征纹理特征的LBP分布向量。计算色度分布向量及LBP分布向量间的相似度，即可完成被比对象的颜色特征及纹理特征的对比。

第4.2.3.1，利用余弦距离(cosine distance)公式计算两个被比对象的特征向量之间的相关度。如下公式所示，其中A为目标物件的特征向量，B为前景物件的特征向量。

$similarity=cos\left(\mathrm{\&theta;}\right)=\frac{A\&CenterDot;B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{A}_i\&times;B_i}{\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(A_i\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(B_i\right)}^2}}$

第4.2.3.2，针对三个颜色特征向量和一个纹理特征向量，分别通过余弦距离(cosinedistance)公式计算，可以取得四个相似度值，将四个相似度值直接求和或加权求和，

得到一个代表两个被比对象之间相似度高低的值，可以将该值做为两个被比对象的特征对比最终结果，据此输出搜索结果，也可以在此结果基础上，再引入形状特征对比(第4.3)做提前或进一步的筛选。

第4.3，形状特征的提取及对比。

正常情况下纹理特征中会在一定程度上反应形状，但不够明显，形状差别很大的两个被比物件，其纹理特征对比结果上的差仍很小。为此单独引入形状特征对比，并提前或之后根据形状特征对被比对象进行筛选，可以有效过滤掉形状差异较大的前景物件。尤其对于与目标物件颜色相近纹理相似的前景物件的过滤，效果非常明显，如图8所示两个前景物件。

在本实施例中，我取物件的宽高比作为形状特征，公式表式如下：

S＝W/H

其中，S代表宽高比，W＝Xmax-Xmin代表对象宽度，H＝Ymax-Ymin代表对象高度。

进行对比时，分别获取目标物件的宽高比，和前景物件的宽高比，然后计算两个宽高比之间的差值Δs＝|S–S’|。通过设置一个阙值，根据该差值Δs的大小，即可以筛选掉，与目标形状差异较大的前景物件，有助于提高搜索结果的精度及准确率。

如果将上述基于形状特征的筛选步骤用于颜色特征、及纹理特征的提取对比过程之前，则还可以减少大量运算过程，效果十分明显。

第5，搜索结果的筛选和输出。

不论采用前述哪一套颜色及纹理特征的提取及对比方案，最终都会得到一个可以反应前景物件与目标物件之间相近程度的参考值。

可以不对搜索结果进行筛选，而是简单的按与目标物件的相近程度(参考值大小)排序，然后将经过排序的所有被检前景物件输出，由用户自行查找目标。经排序后，便可得到一连串前景物件与目标物件相似度的排名，排名在前的相似度高，排名在后的相似度低。

也可以先对被检前景进行筛选。在筛选搜索结果时，我们可以对参考值设一个阙值，将大于(关系距离)或小于(相似度)该阙值的参考值所对应的前景物件过滤掉。然后，将筛选出来的前景物件作为搜索结果输出，或对筛选出来的前景物件按与目标物件的相近程度(参考值大小)排序，将经过排的前景物件以列表形式输出。

Claims (18)

1.一种在视频中搜索目标的方法，其特征在于，包括如下步骤：

(a)提取目标物件的特征参数；

(b)从待检视频中分离前景物件；

(c)逐一提取前景物件的特征参数，并逐一与目标物件进行特征对比；

(d)根据对比结果输出搜索结果；

所述前景物件及目标物件的特征参数包括颜色特征参数、纹理特征参数、形状特征参数，所述特征对比步骤如下：

(c‐1)针对全部前景物件，逐一对比前景物件与目标物件的形状特征，获得各前景物件的形状特征对比的结果参考值，根据形状特征对比的结果参考值筛选前景物件；

(c‐2)针对步骤(c‐1)筛选出来的前景物件，逐一对比前景物件与目标物件的颜色特征和纹理特征，获得筛选出来的各前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值；

(c‐3)对同一前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值直接求和或加权求和，将结果作为该前景物件的特征对比的结果参考值，该值大小反应前景物件与目标物件之间的相关程度；

颜色特征对比方法为：

根据式(1)计算获得前景物件与目标物件的相关性参考值

式中，n代表颜色种类数量，α_j、β_j代表前景物件第j种颜色的相关量和非相关量，α’_j、β’_j代表目标物件第j种颜色的相关量和非相关量；

根据式(2)计算获得前景物件与目标物件的非相关性参考值

取相关性参考值与非相关性参考值之和作为颜色特征对比的结果参考值。

2.根据权利要求1所述在视频中搜索目标的方法，其特征在于，步骤(b)包括如下步骤：

(b‐1)建立待检视频的高斯混合模型；

(b‐2)基于高斯混合模型建立背景模型；

(b‐3)逐一侦画面与背景模型进行像素对比，分离前景像素。

3.根据权利要求1所述在视频中搜索目标的方法，其特征在于，步骤(d)包括：

(d‐1)根据各前景物件的特征对比结果参考值，对经过特征对比的各前景物件进行排序；

(d‐2)将经过排序的各前景物件直接作为搜索结果输出。

4.根据权利要求1所述在视频中搜索目标的方法，其特征在于，步骤(d)包括：

(d‐1)根据各前景物件的特征对比结果参考值，筛选经过特征对比的前景物件；

(d‐2)将步骤(d‐1)筛选出来的前景物件直接作为搜索结果输出，或排序后作为搜索结果输出。

5.根据权利要求1所述在视频中搜索目标的方法，其特征在于，所述形状特征参数是指物件的宽度与高度比，其提取方法为：统计对象各像素点中最小横坐标Xmin、最小纵坐标Ymin、最大横坐标Xmax、最大纵坐标Ymax，用公式S＝(Xmax‐Xmin)/(Ymax‐Ymin)计算获得物件的宽高比。

6.根据权利要求5所述在视频中搜索目标的方法，其特征在于，形状特征对比方法为：取前景物件宽高比与目标物件宽高比的差值，将该值作为形状特征对比的结果参考值。

7.根据权利要求1所述在视频中搜索目标的方法，其特征在于，所述纹理特征参数是指灰度共生矩阵。

8.根据权利要求7所述在视频中搜索目标的方法，其特征在于，纹理特征提取及对比方法为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

9.根据权利要求1所述在视频中搜索目标的方法，其特征在于，所述纹理特征参数是指灰度LBP分布向量，其提取方法为：逐一像素计算其灰度的LBP值，统计在LBP值的取值范围内，取值为各个LBP值的像素的数量，组成一个包含256个向量值的灰度LBP分布向量。

10.根据权利要求9所述在视频中搜索目标的方法，其特征在于，纹理特征对比方法为：根据式(4)计算前景物件与目标物件的灰度LBP分布向量的向量间相似度，将结果作为纹理特征对比的结果参考值，

其中A代表前景物件的灰度LBP分布向量，B代表目标物件的灰度LBP分布向量，n为灰度LBP分布向量所包含的向量值的数量。

11.一种在视频中搜索目标的方法，其特征在于，包括如下步骤：

(a)提取目标物件的特征参数；

(b)从待检视频中分离前景物件；

(c)逐一提取前景物件的特征参数，并逐一与目标物件进行特征对比；

(d)根据对比结果输出搜索结果；

所述前景物件及目标物件的特征参数包括颜色特征参数、纹理特征参数，所述特征对比步骤如下：

(c‐1)针对全部前景物件，逐一对比前景物件与目标物件的颜色特征和纹理特征，获得各前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值；

(c‐2)对同一前景物件的颜色特征对比的结果参考值和纹理特征对比的结果参考值直接求和或加权求和，将结果作为该前景物件的特征对比的结果参考值，该值大小反应前景物件与目标物件之间的相关程度；

颜色特征对比方法为：

根据式(1)计算获得前景物件与目标物件的相关性参考值

式中，n代表颜色种类数量，α_j、β_j代表前景物件第j种颜色的相关量和非相关量，α’_j、β’_j代表目标物件第j种颜色的相关量和非相关量；

根据式(2)计算获得前景物件与目标物件的非相关性参考值

取相关性参考值与非相关性参考值之和作为颜色特征对比的结果参考值。

12.根据权利要求11所述在视频中搜索目标的方法，其特征在于，步骤(b)包括如下步骤：

(b‐1)建立待检视频的高斯混合模型；

(b‐2)基于高斯混合模型建立背景模型；

(b‐3)逐一侦画面与背景模型进行像素对比，分离前景像素。

13.根据权利要求11所述在视频中搜索目标的方法，其特征在于，步骤(d)包括：

(d‐1)根据各前景物件的特征对比结果参考值，对经过特征对比的各前景物件进行排序；

(d‐2)将经过排序的各前景物件直接作为搜索结果输出。

14.根据权利要求11所述在视频中搜索目标的方法，其特征在于，步骤(d)包括：

(d‐1)根据各前景物件的特征对比结果参考值，筛选经过特征对比的前景物件；

(d‐2)将步骤(d‐1)筛选出来的前景物件直接作为搜索结果输出，或排序后作为搜索结果输出。

15.根据权利要求11所述在视频中搜索目标的方法，其特征在于，所述纹理特征参数是指灰度共生矩阵。

16.根据权利要求15所述在视频中搜索目标的方法，其特征在于，纹理特征提取及对比方法为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

17.根据权利要求11所述在视频中搜索目标的方法，其特征在于，所述纹理特征参数是指灰度LBP分布向量，其提取方法为：逐一像素计算其灰度的LBP值，统计在LBP值的取值范围内，取值为各个LBP值的像素的数量，组成一个包含256个向量值的灰度LBP分布向量。

18.根据权利要求17所述在视频中搜索目标的方法，其特征在于，纹理特征对比方法为：根据式(4)计算前景物件与目标物件的灰度LBP分布向量的向量间相似度，将结果作为纹理特征对比的结果参考值，

其中A代表前景物件的灰度LBP分布向量，B代表目标物件的灰度LBP分布向量，n为灰度LBP分布向量所包含的向量值的数量。