CN103020995B - 一种适用于在视频中搜索目标的物件特征对比方法 - Google Patents

Abstract

本发明属于视频分析与处理技术领域，公开了一种适用于在视频中搜索目标的对象特征对比方法，该方法通过对目标对象及被比对象分部分提取特征，然后进行加权求和以获得相应特征参数的方法，对现有特征对比技术进行了改进，以实现更准确在视频中搜索存在容易变换状态的部位的目标。进一步提高特征对比的准确率和灵活性。对监控及侦查搜索领域的技术进步具有推动作用。

Description

一种适用于在视频中搜索目标的物件特征对比方法

技术领域

本发明属于视频分析处理技术领域，涉及移动物件的特征提取及对比技术，具体的说是公开了一种移动物件特征对比方法。

背景技术

随着数码摄像技术的不断发展，视频监控作为一种安全防范手段被普遍且广泛地应用于日常及专业刑侦等领域。视频监控为安全防范等方面带来不可替代的保障的同时，现有视频监控系统过于简单，不便于视频查看及目标查找等不足亦渐渐体现出来。

采用现在常见的监控系统，当需要查看监控视频，在视频中寻找某一目标时，必须人工完整查看整个视频。然而，一方面，在实际应用过程中，一般单位所布置的摄像监控区域里，大部分时间里是无人经过的，视频中出现人物的时段与每天24小时的全天候录像相比，其所占时间是相对短暂的。查看监控视频时，其中大部分时间都是在观看静态背影画面，虽然现有监控系统都提供有快进查看的功能。但仍然会消耗查看人员的大量时间，而且快进是一种跳侦播放方式，快进查看视频，还存在错过重要画面的可能。另一方面，目标对象在视频中出现的时间段可能仅仅十几秒甚至几秒种，现有人工查找目标的方式，除了上面提到的观看静态画面浪费大量时间外，还有大量时间浪费在非目标人物的识别和筛选上。如能自动识别视频中是否包含与目标对象相同的前景物件，或者将少量与目标对象相似的前景物件组成待选列表推荐给用户查看，显然意义非常重大。

对象特征对比是实现在视频中自动搜索目标的重要步骤。目前，虽然，在静态图像处理方面，图像特征对比技术已经比较成熟。然而在从视频中搜索目标对象方面，由于被搜索目标为活动物件，其在移动过程中某部位状态常会发化变化(例如：人脸从朝向镜头的方向转向背向镜头的方向，头部颜色特征发生较大变化；从侧身朝向镜头行走时，下身在行走过程中，两腿始终在重叠和错开两种状态间变换，其纹理特征则会发生较大变化)，在直接使用现有图像特征对比方法时，会将处于不同状态的同一物件误识别为不同物件。

发明内容

本发明目的是针对上述技术现状，提供相对更为灵活的视频中对象搜索方法，以提高在视频中搜索目标的能力。

基于上述目的，本发明首先提出一种对象颜色特征对比方法，其特征在于，包括如下步骤：

(a)将目标对象划分至少两个部分，分别提取目标对象各个部分的颜色特征参数；

(b)对目标对象各部分的颜色特征参数进行加权求和，获得目标物件整体的颜色特征参数；

(c)按相同规则划分被比对象，分别提取被比对象各个部分的颜色特征参数；

(d)对被比对象各部分的颜色特征参数进行加权求和，获得被比物件整体的颜色特征参数；

(e)对比目标对象与被比对象的颜色特征，获得特征对比结果。

上述步骤中，所述颜色特征可以用相关量和非相关量表征，所述相关量是指连续的同一颜色的像素点数量，非相关量是指不连续的该颜色像素点数量。以此表征颜色特征，来进行特征对比，除了可以考虑到颜色数量差异，还可以将颜色的分布差异考虑在内。采用这种方法需要进行像素数量统计和像素的位置关系识别，运算过程相对复杂。

以相关量和非相关量表征的颜色特征，其提取方法为：分别针对所包含的各种颜色，统计相连续的像素点数量和不连续像素点数量，其相连续的像素点数量为该颜色的颜色相关量，不连续的像素点数量为该颜色的非相关量。

以相关量和非相关量表征颜色特征时，颜色特征对比方式如下：

1、根据式(1)计算获得目标对象与被比对象的相关性参考值

${\mathrm{\Δ}}_H=\underset{j=1}{\overset{n}{\Σ}}|(\mathrm{\α}{j}_{}+{\mathrm{\β}}_j)-({\mathrm{\α}}_j^{\′}+{\mathrm{\β}}_j^{\′})|---\left(1\right),$

式中，n代表颜色种类数量，α_j、β_j代表目标对象第j种颜色的相关量和非相关量，α’_j、β’_j代表被比对象第j种颜色的相关量和非相关量；

2、根据式(2)计算获得目标对象与被比对象的非相关性参考值

${\mathrm{\Δ}}_G=\underset{j=1}{\overset{n}{\Σ}}|(\mathrm{\α}{j}_{}+{\mathrm{\α}}_j)-({\mathrm{\β}}_j^{\′}+{\mathrm{\β}}_j^{\′})|---\left(2\right);$

3、取相关性参考值与非相关性参考值之和作为颜色特征对比的结果。

所述颜色特征也可以采用基于三种色度的直方图而获得的三个色度分布向量来表征。以此表征的颜色特征，其提取过程如下：提取各像素的三种色度的值，分别针对每一种色度，统计在色度的取值范围(0～255)内，取值为各个色度值的像素的数量(包括0)，组成一个包含256个样本的色度分布向量。

更具体地说，可以针对全部像素(目标对象或前景物件的全部像素)分别建立三种色度(r,g,b)的直方图。其中，横轴对应色度的取值范围(0～255)，纵轴对应具有相应色度值的像素点的数量。分别提取三个直方图中各色度所占像素的数量值(包括0)组成三个色度向量。

以色度分布向量表征颜色特征时，颜色特征对比方式如下：

根据下式分别计算前景物件与目标物件的三种色度分布向量的向量间相似度，对计算获得的三个相似度数值进行求和，将结果作为颜色特征对比的结果。

$cos\left(\mathrm{\θ}\right)=\frac{A\·B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\Σ}}{A}_i\×B_i}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(A_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(B_i\right)}^2}}$

其中A代表前景物件的色度分布向量，B代理目标对象的色度分布向量。

本发明进一步提出一种对象纹理特征对比方法，包括如下步骤：

(a)将目标对象划分至少两个部分，分别提取目标对象各个部分的纹理特征参数；

(b)对目标对象各部分的纹理特征参数进行加权求和，获得目标物件整体的纹理特征参数；

(c)按相同规则划分被比对象，分别提取被比对象各个部分的纹理特征参数；

(d)对被比对象各部分的纹理特征参数进行加权求和，获得被比物件整体的纹理特征参数；

(e)对比目标对象与被比对象的纹理特征，获得特征对比结果。

上述步骤中，所述纹理特征，可以通过共生矩阵来表征，以共生矩阵表征纹理特征，在进行纹理特征对比时，只需要计算前景物件灰度共生矩阵与目标物件灰度共生矩阵之间的距离差，然后将结果作为纹理特征对比的结果参考值即可。

在做纹理特征对比时，一般都假定其纹理非常细，故选最小差分单位来进行共生矩阵的计算。其特征提取及对比过程具体为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

所述纹理特征也可以采用基于灰度LBP值的直方图而获得的一个灰度LBP分布向量来表征，以此表征的纹理特征，其提取过程如下：

逐一像素计算其灰度的LBP值，统计在LBP值的取值范围(0～255)内，取值为各个LBP值的像素的数量(包括0)，组成一个包含256个向量值的灰度LBP分布向量。

具体地说，逐一像素计算其LBP值，建立LBP值直方图，其中，横轴对应LBP值的取值范围(0～255)，纵轴对应具有相应LBP值的像素点的数量。提取直方图中各LBP值所占像素的数量值(包括0)组成灰度LBP分布向量。

以灰度LBP分布向量表征纹理特征时，纹理特征对比方式如下：

根据下式计算前景物件与目标物件的灰度LBP分布向量的向量间相似度，将结果作为纹理特征对比的结果。

$cos\left(\mathrm{\θ}\right)=\frac{A\·B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\Σ}}{A}_i\×B_i}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(A_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(B_i\right)}^2}}$

其中A代表前景物件的灰度LBP分布向量，B代理目标对象的灰度LBP分布向量。

结合上述颜色特征对比方法和纹理特征对比方法，本发明最后提供一种适用于在视频中搜索目标的对象特征对比方法，包括如下步骤：

(a)将目标对象划分至少两个部分，分别提取目标对象各个部分的颜色特征参数和纹理特征参数；

(b)对目标对象各部分的颜色特征参数和纹理特征参数分别进行加权求和，获得目标物件整体的颜色特征参数和纹理特征参数；

(c)按相同规则划分被比对象，分别提取被比对象各个部分的颜色特征参数和纹理特征参数；

(d)对被比对象各部分的颜色特征参数和纹理特征参数进行加权求和，获得被比物件整体的颜色特征参数和纹理特征参数；

(e)对比目标对象与被比对象的颜色特征，获得颜色特征对比的结果参考值；

(f)对比目标对象与被比对象的纹理特征，获得纹理特征对比的结果参考值；

(g)对颜色特征对比的结果参考值和纹理特征对比的结果参考值直接求和或加权求和，将求和结果作为物件特征对比的结果。

在上述步骤中，所述颜色特征参数及纹理特征参数的表表征方式、提取办法及特征对比方法适用前面描述，不再累述。

附图说明

图1为采用本发明所述搜索方法进行目标搜索的流程框图；

图2为目标对象轮廓圈选方式演示图；

图3为一般高斯混合模型的各高斯分布图形化示意图；

图4为采用本发明所述截图方法进行视频截图的实验效果图，其中，第一张画面为一帧包含前景物件的未处理影格，第二张画面为经过基于像素的分类法处理后，仍包含部分阴影的前景物件像素的影格效果，第三张画面为经过基于区域的分类法处理后，仅包含前景件像素的影格效果；

图5为颜色相关量及非相关量的提取过程演示图；

图6为共生矩阵形成过程演示图；

图7为对被比对象分部分别提取特征的效果图；

图8为基于对象宽度比进行前景物件筛选效果图。

具体实施方式

下面以将本发明所述特征对比方法应用于在视频中搜索目标为例，结合附图进一步说明本发明所述的方法在实际应用过程的效果。

本例是一种以目标搜索为目的的视频分析搜索过程，其主要的分析处理流程如图1所示。下面以搜索人物为例分步骤描述本例所述方法的具体过程。

第1，人物模组的建立与学习。

第1.1，人物模组的建立：如图2所示，在样片中，手工圈选人物轮廓，其中每个圆圈处都可视为一个座标(例如从头顶开始的两点，左至右依序为point(215,70)，point(227,73))，最后将这些座标集，当作是目标的轮廓输入到运算核心中，便可以作为人物模组学习的依据，通过人物模组的学习，可以获得圈定轮廓内构成人物目标的各像素的像素值。

第1.2，人物模组的学习：针对前一步骤所建成的目标人物模组进行分析学习，提取人物目标的颜色特征、纹理特征、及形状特征等特征，各种特征的提取算法与步骤第XX相同。

人物模组建立及学习完后，便可以将前一个步骤所建立的所有特征值，作为接下来辨识的比对的根据。从加入一个视频开始，进行一连串的分析。

第2，背景模型建立/更新。

建立背景模型前，首先利用微软的DirevtShow结合对应各个视频格式编码的组件(ex：wmv、asf、mp4…)，将视频进行解码，拆解成每秒一张，甚至最多到三十张的影格，提供后续的分析使用。拆解的影格的数量与监控视频文件格式有关。

第2.1，建立高斯混合模型(Gaussian Mixture Model，缩写为GMM)。

第2.1.1GMM利用，可以建立随着时间的改变的背景像素强度变化模型。

第2.1.2，一个像素点在t时间点，像素值为X的概率可以以下列的方程式表示：

从第一帧影格开始读取一组连续影格，统计该组影格的各像素值的分布特点，并据此计算获得上式中各参数，初始化高斯混合模型。由以上式子，我们可以取得高斯混合模型的多个分布图，如图3所示。

第2.1.3，利用GMM取得各像素强度变化模型后，便可进行背景建模，这个过程会在步骤第1.2里作详细说明。

第2.2，建立背景模型。

第2.2.1，计算权重除以标准差的比值(ω/σ²)来作为高斯分配的重要性，以用来决定哪些高斯分布最能代表背景。

第2.2.2，根据这个比值(ω/σ²)从大到小重新排列一个像素点的K个高斯分布的顺序，并取前B个分布用来代表背景分布。

其中B的取值由下式计算获得：

$B=\arg \underset{b}{\min }(\underset{k=1}{\overset{b}{\Σ}}{\mathrm{\ω}}_i>T)$

将前B个分布的均值的平均值作为对应像素点的背景像素值。

第2.3，前景物件检测。

判断像素值是否有落在该像素点对应的代表背景的高斯分布的平均的2.5个标准差内，有在2.5个标准差内的话，则判定其属于背景的一部份，没有在的话，则可能是前景。初步将该像素记录为前景像素。

第2.4，背景模型更新。

在检测前景物件过程中，藉由新视频进入，更新高斯混合模型的参数并持续维护，以适应后续传来的视讯资料并继续进行移动物件侦测。具体为，当某一像素被判断为背景时，根据下述公式更新相应参数：

第2.5，将前/背景分离开来后，为了排除因光影变化而被误判为前景的像素，还需要针对前景分类出来的像素做进一步筛选判断，这个动作会在步骤第2里作详细说明。

第3，光影滤除。

在该步骤中，系统将依序对每桢影格进行二阶段算法从影格中找出动态对象。

第3.1，利用基于像素的分类法(pixel-wise classification)，针对每桢影格，逐一像素进行筛选。

第3.1.1，分别计算当前像素及背景模型中对应像素的色度坐标。

每一像素的R/G/B色度分别用R、G、B表示，对应的色度(chromaticity)坐标计算公式为：

$r=\frac{R}{R+G+B},g=\frac{G}{R+G+B},b=\frac{B}{R+G+B},$

令当前像素的色度坐标为r_o,g_o,b_o，背景模型中对应像素的色度坐标为r_b,g_b,b_b，这三对座标值，彼此会很接近，用公式表示为r_b～r_o，g_b～g_o，b_b～b_o。

第3.1.2，计算三个颜色在光线改变时与背景模型强度间关系。

将当前像素的R/G/B色度坐标分别与背景模型中对应像素的R/G/B色度座标相减得到三个差值；d_r＝|r_o-r_b|，d_g＝|g_o-g_b|，d_b＝|b_o-b_b|。

第3.2.3，加入gain值判断：gain被定义成因光线影响而改变的像素灰阶值与相对应的背景像素值的比值，用公式表示为其中，I_o跟I_b分别为观察到的视频与背景视频的灰阶值。

第3.2.4，分析d_r、d_g、d_b、gain的值可知，其值如果很大，则代表这个像素点的当前像素值与在背景模型中的像素值差很多，也就是表示有前景物件移入。据此，我们将判断属于背景的规则定义如下：

d_r<y_r，d_g<y_g，d_b<y_b，|gain|<y_gain，其中，y_r、y_g、y_b、y_gain为阙值。

第3.2.5，根据上述规则逐一对步骤第2.3中初步记录的前景物件像素进行判断，则可以将其中大部分代表光影变化的像素，与前景像素分离开来，进而获得进一步的相对更准确的前景资料。至此，构成前景物件的各像素已经基本确定下来。

第3.3，由于基于单个像素进行的判断仍具有一定局限性，还会有少量代表阴影的像素被判断为前景物件。为此，作为改进，所以我们还可以利用基于区域的分类法(region-based classification)进行阴影滤除，将亮度变化较小而代表阴影的部分进一步滤除。得到更接近真实的前景数据(前景物件的全部像素值)。

第3.3.1，针对像素分类法求出的初步前景资料中的像素计算增益值gain。增益值gain等于各该影格之一像素的灰阶值与背景影像数据对应像素的灰阶值的差值，与该背景影像数据对应像素的灰阶值的比值；

第3.3.2，将具有接近的增益值gain的像素合并成成同一个区域，再求得此区域中全部像素的R，G色度的色度坐标平均值和gain平均值，再根据平均值进一步的判断，该区域是否代表阴影，其判断规则如下：

其中，T_gain是一个阙值。

第3.3.3，将增益值接近且邻近的像素合并成一区域后，当该区域的平均增益值小于一预设门坎值T_gain，代表光学强度与背景相较变化不大而属于阴影，则进一步删除而得到更接近真实的前景数据。

第3.4，测试视频实验

该实验中，为更直观的显示判断结果，系统将判断为背景的像素直接删除，并将删除前景像素后的影格展现给用户。经由本步骤第2的二阶段处理过程后，一帧视频影格所被筛选保留下的像素中，只会留下移动对象的部分，如人，脚踏车，机车，汽车或其他对象；纯粹静态光影变化的物件，如路灯或车灯闪烁，都不算是动态对象，所以也不会被留下。测试视频实验结果见图4。

第4，物件特征提取及特征对比。

下面给出了两套组合了颜色特征及纹理特征的提取对比方案，该两套方案基于不同方式来表征颜色特征及纹理特征，在每套方案中，颜色特征对比结果与纹理特征对比结果性质相同(性质相同是指同为关系距离，或同为相似度。关系距离和相似度两者不同之处在于，关系距离是数值越大代表越不相似，相似度则是数值越大代表越相似)，刚好可以直接相加或加权相加，以便于最终获得一个对比结果数值，以方便根据该数值的大小，即可判断被比对象是否为同一对象，至少可以判断两者差异大小。以下分别描述两套方案的具体过程。

第4.1，基于颜色相关性与非相关性的颜色特征，以及基于共生矩阵获得的纹理特征。

第4.1.1，基于颜色相关性与非相关性表征的颜色特征的提取。参照图5，颜色相关量和非相关量的计算过程可表述如下：

第4.1.1.1，设颜色种类的数量j，并令j＝1，第j种颜色的相关量α_j＝0，非相关量β_j＝0，统计物件像素总数记为N，设n＝1，读取第一个像素点的像素值，比如坐标为(1，1)的像素点，记录其为C₁，再分别读取坐标与之相邻的四个像素点的像素值，如坐标不存在，则不取值。

第4.1.1.2，判断当前像素点与相邻的四个像素点的任一个像素值是否相同，如存在相同值，则令α_j＝α_j+1，若否，则令β_j＝β_j+1。跳至步骤第4.1.1.4。

第4.1.1.3，判断当前像素点与相邻的四个像素点的任一个像素值是否相同，如存在相同值，则令α_i＝α_i+1，若否，则令β_i＝β_i+1

第4.1.1.4，判断n＝N，若是，则特征提取结束，若否，则读下一个像素点的像素值，及坐标与之相邻的像素点的像素值，并判断当前像素值与C₁、…、C_j中任一个是否相同，若与其中C_i相同，则跳转到步骤第4.1.1.3，若无相同，则令j＝j+1，C_j＝当前像素值，并跳转到步骤第4.1.1.2。

上述特征提取过程完毕后，会统计得出目标对象或前景物件中包括的颜色种类的数量(j的最终值)，各种颜色的相关量(α₁-α_j的最终值)，及非相关量(β₁-β_j的最终值)。

第4.1.2，基于颜色相关性与非相关性表征的颜色特征的对比。

分别获得目标物件和前景物件的颜色的相关量和非相关量后，即可以对两者进行颜色特征的对比，具体为，按照下式分别计算获得代表颜色相关性和颜色协调性的两个值。

Color Histograms：

Color Coherent Vector：

由公式可以看出计算获得的两个值表示是两被比对象之间，同一颜色的数量及分布差异。将两值加权求和，最终获得一个颜色特征对比的结果数值。该结果数值越大，表示两个被比对象的颜色差异越大，反之，则两被比对象越相似。

第4.1.3，基于共生矩阵(Co-occurrence Matrices)的纹理特征。

共生矩阵方法是利用统计的方式去计算纹理的规律性，然后通过对比两被比对象的纹理的规律性之间的差异完成纹理特征对比。

在做纹理特征对比时，一般都假定其纹理非常细，故选最小差分单位来进行共生矩阵的计算。其特征提取及对比过程具体为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

第4.1.4，对颜色特征对比结果和纹理特征的对比结果进行加权求和。获得一个代表两个被比对象综合颜色及纹理特征的特征关系距离的值。可以将该值做为两个被比对象的特征对比最终结果，据此输出搜索结果，也可以在此结果基础上，再引入形状特征对比(第4.3)做提前或进一步的筛选。

第4.2，基于色度向量的颜色特征，组合基于LBP分布向量的纹理特征。

下面针对另一套方案分步骤描述色彩(步骤第3.1)以及纹理(步骤第3.2)特征的提取及对比计算过程。在下面的描述中，首次提出了将被比对象分部进行特征提取的概念，待各部分特征提取完毕后，再对各部分的特征进行加权求和。这种方法可以通过分配权重的方式来突出某个部分。比如，将人物分成头、上身、下身三个部分，由于上身在运动过程中形状及颜色变动范围小，对比的参照性很强，所以可以将上身的比重设置很高。这种分部进行特征提取然后将各部分特征加权求和的方法，同样适用于第一套方案所述的以颜色相关量及非相关量表征的颜色特征，以及基于共生矩阵的纹理特征的提取过程中。

在本实施例，假设被比对象(动态对象)是人，我们将前景资料分成n个部位，n＝3，参照图7，分别对应头、身、脚三部分(后续还会依照预设权重进行加权计算(第3.1.6、第3.2.6)，或在辨识流程中计算相关度分数时进行加权计算(步骤第3.3)，有助于提高辨识度)。

第4.2.1，色度向量的提取。

设定横轴i＝1～n，纵轴j＝1～第n部位的像素数，一开始i＝1，j＝1。

第4.2.1.1，利用一移动窗口(sliding window)扫描前景数据的第i部位(例如头部)的第j像素，得到这个像素的RGB色彩信息值，在本例中是R色度值、G色度值，及B色度值，色度值为0～255的数值。

第4.2.1.2，将R色度值、G色度值与B色度值分别记录于R色度直方图、G色度直方图与B色度直方图中，直方图的横轴为0～255，纵轴为像素数。

第4.2.1.3，检视j是否等于该前景资料的第i部位的像素数，也就是检视是否已经扫描完该第i部位。若是，则进行步骤第4.2.1.4，若否，则令j＝j+1，扫描下一个像素。

假设第i部位有三个像素，以R色度来说，这三个像素的R色度值例如分别为2、250、250，则在R色度直方图上，横轴位置2处对应的数值为1，横轴位置250处对应的数值为2，其他皆为0。(此直方图的累积运算方法与附注1.1、1.2，LBP值方图的累积计算方式相同，只不过在这里分别由R、G、B色度个别累积成R一维数组、G一维数组，及B一维数组。)

第4.2.1.4，将对应于第i部位的R色度直方图、G色度直方图与B色度直方图中的数值读出来，转换为R一维数组(向量？)、G一维数组，及B一维数组。以前面例子来说，就是得到一个1×256的数组，只有第3及第251个元素数值分别为1及2，其他为0。

第4.2.1.5，检视i是否等于n，也就是检视是否已经扫描完前景数据所有部位。若是，则执行步骤第4.2.1.6，若否，则令i＝i+1，处理下一个部位。

第4.2.1.6，将第1到第n部位分别乘上一预设的权重后相加，得到R色彩一维数组、G色彩一维数组及B色彩一维数组。以n＝3的例子来说，身体特征比较重要时，默认的权重可以是0.2、0.6、0.2。

第4.2.2，基于LBP分布向量的纹理特征。

以下说明本实施例利用局部二进制样本(local binary pattern，LBP)针对前景数据进行纹理分析的方法流程。在纹理分析方面，设定相同的i＝1～n，k＝1～第n部位的像素数，一开始i＝1，k＝1。

第4.2.2.1，利用LBP技术处理(计算范例可参照附注1)第i部位每一个3X3区块的LBP值。详细来说，针对前景资料的第i部位的第一个3X3区块(例如最左上角的像素作为九宫格的中心，没有像素的部分补充灰阶值为相同的假设像素)计算LBP值，大致上是各格灰阶值减去中央格的灰阶值再作二值化处理，变成0或1，接着使各格乘以权重(2的0次方～7次方)加总得到LBP值，LBP值为0～255的数值。

第4.2.2.2，将LBP值记录在一LBP直方图中，该LBP直方图的横轴为0～255，纵轴为像素数。

第4.2.2.3，检视k是否等于该前景资料的第i部位的像素数，也就是检视是否已经扫描完该第i部位。若是，则进行步骤S184，若否，则令k＝k+1，使九宫格移动一格。

第4.2.2.4，将LBP直方图中的数值读出来，得到一个1×256的纹理一维数组。

第4.2.2.5，检视i是否等于n，也就是检视是否已经扫描完前景数据所有部位。若是，则执行步骤第4.2.2.6，若否，则令i＝i+1，处理下一个部位。

第4.2.2.6，将第1到第n部位分别乘上一预设的权重后相加，得到整体的纹理一维数组。同样地，有关各部位的纹理一维数组也可以直接储存而未经加权计算，留待辨识流程计算分数时一并计算。

第4.2.3，在进行色彩特征提取以及纹理特征提取之后，分别获得被比对象(目标物件和前景物件)的三个表征颜色特征的色度分布向量，和一个表征纹理特征的LBP分布向量。计算色度分布向量及LBP分布向量间的相似度，即可完成被比对象的颜色特征及纹理特征的对比。

第4.2.3.1，利用余弦距离(cosine distance)公式计算两个被比对象的特征向量之间的相关度。如下公式所示，其中A为目标对象的特征向量，B为前景物件的特征向量。

$similarity=cos\left(\mathrm{\&theta;}\right)=\frac{A\&CenterDot;B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{A}_i\&times;B_i}{\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(A_i\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(B_i\right)}^2}}$

第4.2.3.2，针对三个颜色特征向量和一个纹理特征向量，分别通过余弦距离(cosine distance)公式计算，可以取得四个相似度值，将四个相似度值直接求和或加权求和，

得到一个代表两个被比对象之间相似度高低的值，可以将该值做为两个被比对象的特征对比最终结果，据此输出搜索结果，也可以在此结果基础上，再引入形状特征对比(第4.3)做提前或进一步的筛选。

第4.3，形状特征的提取及对比。

正常情况下纹理特征中会在一定程度上反应形状，但不够明显，形状差别很大的两个被比物件，其纹理特征对比结果上的差仍很小。为此单独引入形状特征对比，并提前或之后根据形状特征对被比对象进行筛选，可以有效过滤掉形状差异较大的前景物件。尤其对于与目标物件颜色相近纹理相似的前景物件的过滤，效果非常明显，如图8所示两个前景物件。

在本实施例中，我取物件的宽高比作为形状特征，公式表式如下：

S＝W/H

其中，S代表宽高比，W＝Xmax-Xmin代表对象宽度，H＝Ymax-Ymin代表对象高度。

进行对比时，分别获取目标物件的宽高比，和前景物件的宽高比，然后计算两个宽高比之间的差值Δs＝|S–S’|。通过设置一个阙值，根据该差值Δs的大小，即可以筛选掉，与目标形状差异较大的前景物件，有助于提高搜索结果的精度及准确率。

如果将上述基于形状特征的筛选步骤用于颜色特征、及纹理特征的提取对比过程之前，则还可以减少大量运算过程，效果十分明显。

第5，搜索结果的筛选和输出。

不论采用前述哪一套颜色及纹理特征的提取及对比方案，最终都会得到一个可以反应前景物件与目标对象之间相近程度的参考值。

可以不对搜索结果进行筛选，而是简单的按与目标对象的相近程度(参考值大小)排序，然后将经过排序的所有被检前景物件输出，由用户自行查找目标。经排序后，便可得到一连串前景物件与目标对象相似度的排名，排名在前的相似度高，排名在后的相似度低。

也可以先对被检前景进行筛选。在筛选搜索结果时，我们可以对参考值设一个阙值，将大于(关系距离)或小于(相似度)该阙值的参考值所对应的前景物件过滤掉。然后，将筛选出来的前景物件作为搜索结果输出，或对筛选出来的前景物件按与目标对象的相近程度(参考值大小)排序，将经过排的前景物件以列表形式输出。

Claims (18)

1.一种对象颜色特征对比方法，其特征在于，包括如下步骤：

(a)将目标对象划分至少两个部分，分别提取目标对象各个部分的颜色特征参数；

(b)对目标对象各部分的颜色特征参数进行加权求和，获得目标物件整体的颜色特征参数；

(c)按相同规则划分被比对象，分别提取被比对象各个部分的颜色特征参数；

(d)对被比对象各部分的颜色特征参数进行加权求和，获得被比物件整体的颜色特征参数；

(e)对比目标对象与被比对象的颜色特征，获得颜色特征对比结果。

2.根据权利要求1所述的对象颜色特征对比方法，其特征在于，所述颜色特征参数是指颜色相关量和非相关量，其提取方法为：分别针对所包含的各种颜色，统计相连续的像素点数量和不连续像素点数量，其相连续的像素点数量为该颜色的颜色相关量，不连续的像素点数量为该颜色的非相关量。

3.根据权利要求2所述的对象颜色特征对比方法，其特征在于，颜色特征对比方法为：根据式(1)计算获得目标对象与被比对象的相关性参考值

${\mathrm{\&Delta;}}_H=\underset{j=1}{\overset{n}{\&Sigma;}}|({\mathrm{\&alpha;}}_j+{\mathrm{\&beta;}}_j)-({\mathrm{\&alpha;}}_j^{\&prime;}+{\mathrm{\&beta;}}_j^{\&prime;})|---\left(1\right),$

式中，n代表颜色种类数量，α_j、β_j代表目标对象第j种颜色的相关量和非相关量，α’_j、β’_j代表被比对象第j种颜色的相关量和非相关量；

根据式(2)计算获得目标对象与被比对象的非相关性参考值

${\mathrm{\&Delta;}}_G=\underset{j=1}{\overset{n}{\&Sigma;}}\left|({\mathrm{\&alpha;}}_j-{\mathrm{\&alpha;}}_j^{\&prime;})\right|+\left|({\mathrm{\&beta;}}_j-{\mathrm{\&beta;}}_j^{\&prime;})\right|---\left(2\right);$

取相关性参考值与非相关性参考值之和作为颜色特征对比的结果。

4.根据权利要求1所述的对象颜色特征对比方法，其特征在于，所述颜色特征参数是指色度分布向量，其提取方法为：提取各像素的三种色度的值，分别针对每一种色度，统计在色度的取值范围0～255内，取值为各个色度值的像素的数量，包括0，组成一个包含256个样本的色度分布向量。

5.根据权利要求4所述的对象颜色特征对比方法，其特征在于，颜色特征对比方法为：根据式(3)分别计算被比对象与目标对象的三种色度分布向量的向量间相似度，对计算获得的三个相似度数值进行求和，将结果作为颜色特征对比的结果，

$cos\left(\mathrm{\&theta;}\right)=\frac{A\&CenterDot;B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{A}_i\&times;B_i}{\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(A_i\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(B_i\right)}^2}}---\left(3\right),$

其中A代表前景物件的色度分布向量，B代理目标对象的色度分布向量。

6.一种对象纹理特征对比方法，其特征在于，包括如下步骤：

(a)将目标对象划分至少两个部分，分别提取目标对象各个部分的纹理特征参数；

(b)对目标对象各部分的纹理特征参数进行加权求和，获得目标物件整体的纹理特征参数；

(c)按相同规则划分被比对象，分别提取被比对象各个部分的纹理特征参数；

(d)对被比对象各部分的纹理特征参数进行加权求和，获得被比物件整体的纹理特征参数；

(e)对比目标对象与被比对象的纹理特征，获得纹理特征对比结果。

7.根据权利要求6所述的对象纹理特征对比方法，其特征在于，所述纹理特征参数是指灰度共生矩阵。

8.根据权利要求7所述的对象纹理特征对比方法，其特征在于，纹理特征提取及对比方法为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

9.根据权利要求6所述的对象纹理特征对比方法，其特征在于，所述纹理特征参数是指灰度LBP分布向量，其提取方法为：逐一像素计算其灰度的LBP值，统计在LBP值的取值范围0～255内，取值为各个LBP值的像素的数量，包括0，组成一个包含256个向量值的灰度LBP分布向量。

10.根据权利要求9所述的对象纹理特征对比方法，其特征在于，纹理特征对比方法为：根据式(4)计算被比对象与目标对象的灰度LBP分布向量的向量间相似度，将结果作为纹理特征对比的结果，

$cos\left(\mathrm{\&theta;}\right)=\frac{A\&CenterDot;B}{\left|\right|A\left|\right|\left|B\right||}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{A}_i\&times;B_i}{\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(A_i\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(B_i\right)}^2}}---\left(4\right)$

其中A代表前景物件的灰度LBP分布向量，B代理目标对象的灰度LBP分布向量。

11.一种适用于在视频中搜索目标的对象特征对比方法，其特征在于，包括如下步骤：

(a)将目标对象划分至少两个部分，分别提取目标对象各个部分的颜色特征参数和纹理特征参数；

(b)对目标对象各部分的颜色特征参数和纹理特征参数分别进行加权求和，获得目标物件整体的颜色特征参数和纹理特征参数；

(c)按相同规则划分被比对象，分别提取被比对象各个部分的颜色特征参数和纹理特征参数；

(d)对被比对象各部分的颜色特征参数和纹理特征参数进行加权求和，获得被比物件整体的颜色特征参数和纹理特征参数；

(e)对比目标对象与被比对象的颜色特征，获得颜色特征对比的结果参考值；

(f)对比目标对象与被比对象的纹理特征，获得纹理特征对比的结果参考值；

(g)对颜色特征对比的结果参考值和纹理特征对比的结果参考值直接求和或加权求和，将求和结果作为物件特征对比的结果。

12.根据权利要求11所述的对象特征对比方法，其特征在于，所述颜色特征参数是指颜色相关量和非相关量，其提取方法为：分别针对所包含的各种颜色，统计相连续的像素点数量和不连续像素点数量，其相连续的像素点数量为该颜色的颜色相关量，不连续的像素点数量为该颜色的非相关量。

13.根据权利要求12所述的对象特征对比方法，其特征在于，颜色特征对比方法为：

根据式(1)计算获得目标对象与被比对象的相关性参考值

${\mathrm{\&Delta;}}_H=\underset{j=1}{\overset{n}{\&Sigma;}}|({\mathrm{\&alpha;}}_j+{\mathrm{\&beta;}}_j)-({\mathrm{\&alpha;}}_j^{\&prime;}+{\mathrm{\&beta;}}_j^{\&prime;})|---\left(1\right),$

式中，n代表颜色种类数量，α_j、β_j代表目标对象第j种颜色的相关量和非相关量，α’_j、β’_j代表被比对象第j种颜色的相关量和非相关量；

根据式(2)计算获得目标对象与被比对象的非相关性参考值

${\mathrm{\&Delta;}}_G=\underset{j=1}{\overset{n}{\&Sigma;}}\left|({\mathrm{\&alpha;}}_j-{\mathrm{\&alpha;}}_j^{\&prime;})\right|+\left|({\mathrm{\&beta;}}_j-{\mathrm{\&beta;}}_j^{\&prime;})\right|---\left(2\right);$

取相关性参考值与非相关性参考值之和作为颜色特征对比的结果参考值。

14.根据权利要求11所述的对象特征对比方法，其特征在于，所述颜色特征参数是指色度分布向量，其提取方法为：提取各像素的三种色度的值，分别针对每一种色度，统计在色度的取值范围0～255内，取值为各个色度值的像素的数量，包括0，组成一个包含256个样本的色度分布向量。

15.根据权利要求14所述的对象特征对比方法，其特征在于，颜色特征对比方法为：根据式(3)分别计算被比对象与目标对象的三种色度分布向量的向量间相似度，对计算获得的三个相似度数值进行求和，将结果作为颜色特征对比的结果参考值，

$cos\left(\mathrm{\&theta;}\right)=\frac{A\&CenterDot;B}{\left|\right|A\left|\right|\left|\right|B\left|\right|}=\frac{\underset{i=1}{\overset{n}{\&Sigma;}}{A}_i\&times;B_i}{\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(A_i\right)}^2}\&times;\sqrt{\underset{i=1}{\overset{n}{\&Sigma;}}{\left(B_i\right)}^2}}---\left(3\right),$

其中A代表前景物件的色度分布向量，B代理目标对象的色度分布向量。

16.根据权利要求11所述的对象特征对比方法，其特征在于，所述纹理特征参数是指灰度共生矩阵。

17.根据权利要求16所述的对象特征对比方法，其特征在于，纹理特征提取及对比方法为：分别以(0,1)、(1,0)、(1,1)为差分值计算获得物件的三个灰度共生矩阵；分别计算前景物件三个灰度共生矩阵与目标物件三个灰度共生矩阵的距离差，对计算获得的三个距离差求和，将结果作为纹理特征对比的结果参考值。

18.根据权利要求11所述的对象特征对比方法，其特征在于，所述纹理特征参数是指灰度LBP分布向量，其提取方法为：逐一像素计算其灰度的LBP值，统计在LBP值的取值范围0～255内，取值为各个LBP值的像素的数量，包括0，组成一个包含256个向量值的灰度LBP分布向量。