CN101996315B - 用于基于摄像机的对象分析的系统、方法 - Google Patents

Abstract

用于包括对象识别、对象检测和/或对象归类的基于摄像机的对象分析的系统、方法。用于分析在从摄像机系统获得的图像中的对象的计算机化方法的示范性实施例包括从该摄像机系统接收具有像素的图像；对每个像素计算特征池；然后从该特征池和该图像的几何中心导出特征的径向矩池或从该特征池导出特征的中心矩池；然后基于图像的面积和导出的特征矩池，计算规范化描述子；并且然后基于该规范化描述子，计算机于是识别、检测在该图像中的对象和/或将其归类。

Description

用于基于摄像机的对象分析的系统、方法

技术领域

本发明大体上涉及智能摄像机系统并且更具体地涉及可采用摄像机系统以改善对象分析的系统、方法和程序产品。

背景技术

摄像机监控系统日益变得更加“智能”，其中从这些摄像机系统获得的图像和数据越来越可以独立于（至少部分地）对摄像机获得的数据（即，视频）的人工检查和分析的需要而分析。

利用任何类型的自动化视频分析，各种因素可以不利地影响有效识别、检测和/或归类视频中的对象的能力。可能影响准确和有效对象分析的因素中的仅仅一些包括场景的照明、场景的尺度和摄像机的旋转。

因此，存在对摄像机系统和对象分析（包括对象的识别、检测和/或归类）的“智能”的改善的持续需要。

发明内容

本发明通过对摄像机系统的“智能”加以改善克服前述摄像机系统中的缺点中的至少一些。更具体地，本发明针对用于提高包括对象识别、对象检测和对象归类的对象分析的系统、方法和程序产品。

因此，根据本发明的一个方面，用于分析图像中的对象的计算机化方法，其中该图像从摄像机系统获得，所述计算机化方法包括：从该摄像机系统接收至少一个具有多个像素的图像；对该多个像素中的每个像素计算特征池；进行下列中的一个：从该特征池和该至少一个图像的几何中心导出特征的径向矩池；以及从该特征池导出特征的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个，计算规范化描述子（descriptor）；并且基于该规范化描述子，计算机于是进行下列中的至少一个：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

根据本发明的另一个方面，用于分析图像中的对象的计算机化方法，其中该图像从摄像机系统获得，所述计算机化方法包括：从该摄像机系统接收至少一个具有多个像素的图像；对该多个像素中的每个像素计算特征池；从该特征池导出特征的中心矩池；基于该特征中心矩池，计算中心矩不变量池；基于该至少一个图像的面积和该特征中心矩池，计算规范化描述子；以及基于该规范化描述子，计算机于是进行下列中的至少一个：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

根据本发明的另一个方面，具有提供用于分析图像中的对象的方法的计算机可执行指令的计算机可读介质，其中该图像从摄像机系统获得，所述方法包括：从该摄像机系统接收至少一个具有多个像素的图像；对该多个像素中的每个像素计算特征池；进行下列中的一个：从该特征池和该至少一个图像的几何中心导出特征的径向矩池；以及从该特征池导出特征的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个，计算规范化描述子；以及基于该规范化描述子，进行下列中的至少一个：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

根据本发明的另一个方面，用于分析在图像中的对象的系统，其中该图像从摄像机系统获得，所述系统包括：用于从该摄像机系统接收至少一个具有多个像素的图像的系统；用于对该多个像素中的每个像素计算特征池的系统；用于进行下列中的一个的系统：从该特征池和该至少一个图像的几何中心导出特征的径向矩池；以及从该特征池导出特征的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个，用于计算规范化描述子的系统；和基于该规范化描述子，进行下列中的至少一个的系统：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

通过下列详细说明和附图将使本发明的各种其他特征和优势明显。

附图说明

附图图示目前设想用于执行本发明的一个实施例。

图1是结合本发明的方面用于分析基于摄像机的对象的系统的示意图。

图2A-2D是可由根据本发明的实施例的系统采用的各种旋转角度的俯视图的图像。

图3是结合本发明的方面用于分析基于摄像机的对象的系统的示意图。

具体实施方式

本发明的方面提供关于采用摄像机系统的前述系统的优势。该系统、方法和程序产品能够更有效地分析在从摄像机系统获得的数据（例如，视频、图像、图像区域等）中的对象（例如，车辆、人等）。根据本发明的方面的改善包括关于噪声和图像变换（例如，照明变化、摄像机旋转变化、尺度变化等）更容易地检测对象、将对象归类和/或识别对象的能力。采用本发明的方面的摄像机系统的“智能”有效地增加。

本发明的方面包括更高效地分析对象的能力，其包括例如检测对象、将对象归类和/或识别对象。可根据实施例分析的对象实际上可以是从摄像机系统获得的任何事物，其包括车辆、人等。

对象检测包括确定在图像中存在的属于特定类别的对象的数量、在该特定类别中的对象在图像中的什么位置、和/或在该图像中对象的近似大小的能力。例如，给定单个图像，对象检测可包括检测属于给定类别（例如，所有可能车辆的类别）的对象。

对象归类包括确定检测的对象属于N个对象类别中的哪个类别的能力。例如，假设存在N个可检测对象的类别（例如，N＝3，其中一个类别是所有SUV的，另一个类别是所有轿车，并且第三个类别是所有货车）。从而，给定单个图像，对象归类包括能够归类到检测的对象所属的N个类别中的哪个类别。例如，给定包含车辆的图像，对象归类包括能够确定该车辆是SUV、轿车还是货车。

对象识别包括确定检测的对象是否是来自对象图像的收集库的相同特定对象的能力。例如，给定包含对象的新图像，对象识别包括识别包含在该图像中的对象是否描绘收集库中先前存在的相同的特定对象。例如，在车辆背景中，假设存在用户试图识别的特定所有者的SUV（例如，具有行李架的2005款深蓝色Honda Element EX）。对象识别包括能够基于对象（例如，车辆）图像的该收集库足够确定在接收的图像中特定所有者的SUV是否存在于该图像（或若干个图像）中。该对象识别可以包括在该图像（若干个图像）中识别例如该所有者的具有行李架的2005款深蓝色Honda Element EX的能力，即使该图像库包括例如具有相同属性（例如，2005款；深蓝色；SUV；Honda制造；Element型；Element EX型；等）的其他车辆的图像。对象识别包括识别该图像（若干个图像）包含（或不包含）收集库中包含的特定对象，不管该对象的类别或对象归类如何。

本发明的方面包括基于图像矩应用于图像特征池的想法的新的一类外观描述子。通过仔细设计图像矩和图像特征，可以使描述子为尺度和旋转不变的，以及对于照明变化是鲁棒的。方面包括它们的计算的快速程序，其基于积分表示。它们的不变性性质使它们例如适合于从空中视频的车辆检测的应用，其中尺度和旋转不变性常常是关键的。

外观描述子的设计在过去的十年间受到相当大的注意。这是因为许多实际应用要求描述子的计算用于支持从图像特征匹配到对象匹配的范围或从对象检测到对象类别识别的范围的任务。描述子的重要性质是它的独特性，但另一个问题是它关于噪声和由于照明和视角变换的图像变换的鲁棒性。描述子的计算复杂性也是主要性质。这在训练阶段（例如，特征选择）期间以及在运行时间可能成为问题。实际上，几乎每个任务必然需要从对应于若干图像区域的数据的大量统计（即，外观描述子）的计算。本发明的方面提出解决计算效率、尺度和旋转变换等的不变性的问题的一类新的描述子。

本发明的方面提出图像特征矩，其实现从图像空间到其中每个像素指派给图像特征向量（包含该图像的期望局部说明）的空间的映射的设计。本发明的方面解决旋转不变性并且提供新的各向同性特征池。

本发明的实施例包括三个不同外观描述子的使用。该描述子都是尺度不变的，并且它们可以是旋转不变的，取决于图像特征的各向同性性质。在任何情况下，第一外观描述子计算给定区域的图像特征的中心矩。第二外观描述子是在每个图像特征上计算的不变量集。第三外观描述子计算图像特征的径向矩。

计算效率根据本发明的方面通过设计将积分图像表示应用到图像特征矩的计算的程序来解决。对于给定图像，这实现以许多参量的预先计算为模在固定时间中新描述子的计算。

本发明的方面包括新的一类描述子，其关注对于尺度和旋转的不变性问题，为此开发了新的图像特征集。方面还包括新的程序，其实现在固定时间中描述子的计算。这在预先计算相位后获得，具有与图像特征的维度成线性关系而非二次关系定标的成本。

本发明的实施例解决从空中视频检测车辆的问题。描述子胜过现有技术方法，因为它们是最高效的，同时与例如支持向量机（SVM）等分类器结合使用。

图像特征矩

图像特征和图像特征矩限定为本文公开的。

使I成为对于每个(x，y)

限定的单色或RGB图像。Φ是映射I和像素(x，y)到d维图像特征向量的总体滤波运算（genericfiltering operation）

$f(x,y)={[f_1(x,y),...,f_d(x,y)]}^T\stackrel{\·}{=}\mathrm{\Φ}(I,x,y),---\left(1\right)$

图像I的旋转围绕像素(x，y)操作。如果f_i(x，y)没有基于该旋转改变，它是各向同性特征。否则，f_i是各向异性的。例如，

是各向异性特征，但是图像梯度的大小是各向同性特征。所有矩的集是图像特征到具有两个变量的多项式空间上的投影。

利用m_pq，其中p和q是非负整数，阶（order）n＝p+q的图像特征f的矩定义为

$m_{\mathrm{pq}}={\∫}_{\mathrm{\Ω}}{x}^p{y}^{q}f(x,y)\mathrm{dxdy}$

注意在此之前矩的所有定义将图像特征认作概率密度。然而，根据本发明的方面，图像特征不视为概率密度。只要{f_i}是分段连续的，并且具有有界支撑，那么所有阶的矩存在，并且被唯一确定。在所有实际的情况下这些条件普遍满足。

本发明的方面还提出符号

其指的是阶n的n+1个矩的有序堆栈（ordered stack）。

相似地，μ_pq是阶n＝p+q≥2的图像特征f的中心矩，其中具有分量μ_pq,i并且定义为

${\mathrm{\μ}}_{\mathrm{pq},i}={\∫}_{\mathrm{\Ω}}{(x-\frac{m_{10,i}}{m_{00,i}})}^p{(y-\frac{m_{01,i}}{m_{00,i}})}^q{f}_i(x,y)\mathrm{dxdy}.---\left(3\right)$

符号

指的是阶n的n+1个中心矩的有序堆栈。

从μ₂和μ₃，提取七个不同的对于特征f的平移（translation）和旋转不变的统计数字（称为Hu不变量）是可能的。它们指示为τ₁，...，

并且它们是具有如下定义的分量的向量

τ_1，i＝μ_20，i+μ_02，i，

τ_2，i＝(μ_20，i-μ_02，i)²+4(μ_11，i)²，

τ_3，i＝(μ_30，i-3μ_12，i)²+(3μ_21，i-μ_03，i)²，

τ_4，i＝(μ_30，i+μ_12，i)²+(μ_21，i+μ_03，i)²，

τ_5，i＝(μ_30，i-3μ_12，i)(μ_30，i+μ_12，i)[(μ_30，i+μ_12，i)²-3(μ_21，i+μ_03，i)²]+(3μ_21，i+μ_03，i)(μ_21，i+μ_03，i)[3(μ_30，i+μ_12，i)²-(μ_21，i+μ_03，i)²]，

τ_6，i＝(μ_20，i-μ_02，i)[(μ_30，i+μ_12，i)²-(μ_21，i+μ_03，i)²]+4μ_11，i(μ_30，i+μ_12，i)(μ_21，i+μ_03，i)，

τ_7，i＝(3μ_21，i-3μ_03，i)(μ_30，i+μ_12，i)[μ_30，i+μ_12，i)²-3(μ_21，i+μ_03，i)²]-(3μ_30，i+μ_12，i)(μ_21，i+μ_03，i)[3(μ_30，i+μ_12，i)²-(μ_21，i+μ_03，i)²].     (4)

阶n≥1的图像特征f的径向矩定义为

$m_n\stackrel{\·}{=}{\∫}_{\mathrm{\Ω}}{[{(x-{\stackrel{\‾}{x}}_{\mathrm{\Ω}})}^2+{(y-{\stackrel{\‾}{y}}_{\mathrm{\Ω}})}^2]}^{n}f(x,y)\mathrm{dxdy}---\left(5\right)$

其中代表域Ω的几何中心。这些矩具有对特征f的旋转不变的基本性质。

外观描述子

是单连通域，其中|D|指示域的面积。映射图像特征{f(x，y)│(x，y)∈D}到描述子向量

的算子打算供外观描述子使用。根据本发明的方面，基于本文论述的图像特征矩的三个外观描述子定义如下。

中心矩（CM）描述子：

从图像特征的中心矩集{μ_i}，在域D上计算，阶n≥2的中心矩描述子定义为向量

$y_{\mathrm{CM}}\stackrel{.}{=}{[\frac{{\mathrm{\μ}}_2^T}{{\left|D\right|}^2},...,\frac{{\mathrm{\μ}}_n^T}{{\left|D\right|}^{\frac{n+2}{2}}}]}^T---\left(6\right)$

其中具有 $J_{\mathrm{CM}}=\frac{n^2+3n-4}{2}d$ 个分量。

中心矩不变量（CMI）描述子：

从图像特征的中心矩不变量集{τ_i}，在域D上计算，中心矩不变量描述子定义为

$y_{\mathrm{CMI}}\stackrel{\·}{=}{[\frac{{\mathrm{\τ}}_1^T}{{\left|D\right|}^2},\frac{{\mathrm{\τ}}_2^T}{{\left|D\right|}^4},\frac{{\mathrm{\τ}}_3^T}{{\left|D\right|}^5},\frac{{\mathrm{\τ}}_4^T}{{\left|D\right|}^5},\frac{{\mathrm{\τ}}_5^T}{{\left|D\right|}^{10}},\frac{{\mathrm{\τ}}_6^T}{{\left|D\right|}^7},\frac{{\mathrm{\τ}}_7^T}{{\left|D\right|}^{10}}]}^T---\left(7\right)$

其是具有J_CMI＝7d个分量的向量。

径向矩（RM）描述子：

从图像特征的径向矩不变量集{m_i}，在域D上计算，阶n≥1的径向矩描述子定义为

$y_{\mathrm{RM}}\stackrel{\·}{=}{[\frac{m_1^T}{{\left|D\right|}^2},...,\frac{m_n}{{\left|D\right|}^{n+1}}]}^T---\left(8\right)$

其是具有J_RM＝nd个分量的向量。

区域协方差（RC）描述子：

在测试前述三个外观描述子的耐久性中，下列区域协方差（RC）描述子用作比较。区域D的图像特征f的协方差矩阵定义为

$k_f=\frac{1}{\left|D\right|}\underset{D}{\∫}(f(x,y)-\stackrel{\‾}{f}){(f(x,y)-\stackrel{\‾}{f})}^T\mathrm{dxdy},---\left(9\right)$

其中

是在D上的平均图像特征向量。假定k_f是对称正定矩阵，区域协方差描述子由包含k_f的J_RC＝(d²+d)/2个独立项目的向量y_RC给出。

外观描述子性质：

所有该四个描述子可以提供图像的有效并且非常低维的表征，特别是RM。相反，甚至广泛使用的图像特征用联合直方图的表示将引起具有维度O(d^α)的描述子，其中α～O。

在CM、CMI和RM中，图像特征视为概率分布，并且该描述子概述特征如何在计算域上分布。在RC中，图像特征视为随机向量，并且描述子是它的协方差。如果特征包含空间信息，然后RC将该信息与其他特征相关。

所有该描述子提供适合的方式以融合多个特征的信息。尽管RC通过本征计算每对图像特征之间的相关性而如此进行，CM、CMI和RM通过设置一些图像特征成为其他的组合而实现此。根据本发明的方面，该三个新描述子（即，CM、CMI、RM）的维度与d成线性而非像在RC中的二次那样定标。

假使在给定时刻，D包含在均匀背景上的对象，并且在随后的时刻，对象已经平移但仍然在D内。所有该描述子对于这样的平移是不变的，其中RM例外，其关于D的几何中心计算。如此，RM可是用于定位特定对象的更好的描述子。

假设在每个像素的特征编码尺度不变的信息，在方程6、7、8和9上运算的关于|D|的规范化使所有该描述子尺度不变。然而，注意即使没有完全尺度不变的特征，获得关于尺度的极高度不变性是可能的。

如此，下列事实导致：（a）如果图像特征{f_i}都是各向同性的，CMI、RM和RC是旋转不变的；（b）如果{f_i}中的一些是各向异性的，CMI、RM和RC不是旋转不变的；（c）不管{f_i}的性质如何，CM不是旋转不变的。从而，取决于应用，旋转不变性（变化性）可或可以不是要求。

所有该描述子委派照明不变性问题给图像特征的设计。RC对引起特征的附加变化的照明变化也是不变的，因为平均特征从描述子计算去除。

图像特征集：

根据本发明的方面，滤波运算可用于产生图像特征集。例如，可使用两个滤波器集：Φ_A和Φ_I，其中Φ_A是各向异性特征集并且Φ_I是各向同性特征集。

滤波器集Φ_A使得图像特征计算为

$f(x,y)\stackrel{\·}{=}{[x,y,R(x,y),G(x,y)B(x,y),|I_x(x,y)|,|I_y(x,y)|,|I_{\mathrm{xx}}(x,y)|,|I_{\mathrm{yy}}(x,y)\left|\right]}^T,---\left(10\right)$

其中R、G和B是图像I的RGB颜色通道，并且其他参量是图像强度一和二阶偏导的大小。这既不是特征的照明不变集也不是特征的尺度不变集。最终，x和y仅当RC描述子计算时存在。

滤波器集Φ_I这样定义成使得图像特征计算为

$f(x,y)\stackrel{\·}{=}{[{\mathrm{\ρ}}_{\mathrm{\Ω}}^2,R(x,y),G(x,y)B(x,y),|\▿I(x,y)|,{\mathrm{\κ}}_{\mathrm{\ρ}}(x,y),{\mathrm{\κ}}_{\mathrm{\θ}}(x,y),s(x,y)]}^T,---\left(11\right)$

其中

RGB颜色通道，和图像强度的梯度的大小。如之前，ρ_Ω仅当RC描述子计算时存在。该最后三个特征是形状参数，并且给出由图像强度生成的3D形状的局部描述，即

κ_ρ和κ_θ是主曲率κ₁和κ₂在极坐标中的表示，由此s是形状指数，其也是尺度不变的。它们可以用如下限定的快速程序计算

${\mathrm{\κ}}_{\mathrm{\ρ}}=\sqrt{{\mathrm{\κ}}_1^2+{\mathrm{\κ}}_2^2},---\left(12\right)$

${\mathrm{\κ}}_{\mathrm{\θ}}=\arctan \left(\frac{{\mathrm{\κ}}_2}{{\mathrm{\κ}}_1}\right),---\left(13\right)$

$s=\frac{2}{\mathrm{\π}}\arctan \left(\frac{{\mathrm{\κ}}_2+{\mathrm{\κ}}_1}{{\mathrm{\κ}}_2-{\mathrm{\κ}}_1}\right).---\left(14\right)$

Φ_I不是照明不变的特征集。增加的照明鲁棒性通过用各个通道的对数拉普拉斯算子代替RGB通道获得。在对数后的任意导数消去倍增的照明变化，并且显著减小附加变化。已经进行采用这些修正的成功实验。

通过积分表示的快速算法：

在Ω上限定的图像I（它的积分表示）称为积分图像并且由

给出。该表示允许采用O（1）数目个运算在任何矩形域D上计算图像的积分。注意D＝[x′，x″]×[y′，y″]的面积可以计算为|D|＝A(x′，y′)-A(x″，y′)+A(x″，y″)-A(x′，y″)，其中

其可以方便地预先计算。该表示可用于导出用于计算CM、CMI和RM描述子的快速算法。

CM描述子：

为了计算y_CM，可使用矩集{μ_pq|p+q＝2，...，n}。二项式定理允许将矩与中心矩如下联系起来

${\mathrm{\μ}}_{\mathrm{pq},i}=\underset{j=0}{\overset{p}{\mathrm{\Σ}}}\underset{k=0}{\overset{q}{\mathrm{\Σ}}}\left(\begin{array}{c}p\\ \mathrm{qk}\end{array}\right)\left(\begin{array}{c}q\\ k\end{array}\right){(-\frac{m_{10,i}}{m_{00,i}})}^{p-j}{(-\frac{m_{01,i}}{m_{00,i}})}^{q-k}{m}_{\mathrm{jk},i}\·---\left(15\right)$

因此，中心矩可以从矩集{m_pq|p+q＝0，...，n}计算。进而，该矩可以通过定义下列函数而利用积分表示

$M_{\mathrm{pq}}(x,y)\stackrel{\·}{=}\underset{u\≤x,v\≤y}{\∫}{u}^p{v}^{q}f(u,v)\mathrm{dudv},---\left(16\right)$

并且该矩在D上可以计算如下

m_pq＝M_pq(x′，y′)-M_pq(x″，y′)+M_pq(x″，y″)-M_pq(x′，y″).(17)

注意在方程（16）中的参量u^pv^q可以方便地预先计算。最终，整个计算涉及方程（16）的个积分表示的初始形成，其中每个积分表示可以用在域Ω上的一遍来计算，然后每个描述子用O(n²d)个运算的恒定计算复杂性获得。

CMI描述子：

为了计算y_CMI，需要中心矩μ₂和μ₃并且其可用上文描述的程序计算，人们可以从其中计算不变量集{τ_i}。整个计算涉及10d个积分图像的初始形成，然后每个描述子用O(d)个运算的恒定计算复杂性获得。

RM描述子：

为了计算y_RM，我们需要m₁,…,m_n。二项式定理允许将矩与径向矩如下联系起来

$m_{\mathrm{pq}}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{2n-\mathrm{ni}}{\mathrm{\Σ}}}\underset{k=0}{\overset{2i}{\mathrm{\Σ}}}\left(\begin{array}{c}n\\ i\end{array}\right)\left(\begin{array}{c}2n-2i\\ j\end{array}\right)\left(\begin{array}{c}2i\\ k\end{array}\right){\stackrel{\‾}{x}}_D^{2n-2i-j}{\stackrel{\‾}{y}}_D^{2i-k}{m}_{\mathrm{jk}}.---\left(18\right)$

其中

并且

因此，径向矩可以从{m_pq|p+q＝0，...，2n}，计算，其进而可以如上文说明那样计算。整个计算涉及对于方程（16）的（2n²+2n+1）d个积分表示的初始形成，然后每个描述子用O(nd)个运算的恒定计算复杂性获得。

表1：

表1提供描述子长度、待计算的积分表示的数量（遍数）和每个描述子的运算数量的阶的概述（作为图像特征数量d和描述子阶n的函数）。

表1总结该四个描述子的主要计算特性。注意到n＝2或3可足以获得强大的描述子。具有固定的n，待计算的积分表示的数量对于RC描述子是O(d²)，而对于其他三个描述子是O(d)。对用于在预先计算阶段后计算一个描述子的运算数量依然是这样，运算数量对于RC描述子是O(d²)，而对于其他是O(d)。还注意到，具有非常小的n，RM描述子是非常短的。

实验：

进行实验以结合各向异性Φ_A和各向同性Φ_I图像特征分析RC描述子、阶3的CM描述子、CMI描述子和阶2的RM描述子的性能。测试台应用是从空中视频的车辆检测。采用滑动窗方法，其中在每个像素处，描述子在方形图像面积上以5个不同尺度计算，并且馈给SVM分类器，其输出得分。形态滤波和连通分量然后以裁定车辆尺度和建立检测为支持在阈值得分上计算。

在使用CM、CMI和RM描述子的所有实验中，运用SVM分类器。在使用RC描述子的所有实验中，运用具有核心(-γd(y，y′)²)的SVM，其中d(y，y′)是正定协方差矩阵的度量，其考虑关联流形（manifold）的曲率。该实验还证明，给定协方差矩阵的空间的已知结构，简单的线性SVM将是次优的。常数γ通过反复实验最优化。

使用从以各种旋转角度安装的摄像机采集的公路交通的以序列制作的数据集。特别地，该序列采用以0°、20°、35°、65°和90°的旋转摄像机采集。参见例如图2A－2D，其描绘在各种角度获得和旋转的俯视图的图像（例如，0°在图2A中、45°在图2B中、65°在图2C中和90°在图2D中）。对于每个视频，地面实况车辆位置和大小通过记录沿公路移动的每个车辆周围的矩形感兴趣区（ROI）而人工注释，产生总共大约47000个不同ROI，其对应于590个不同的车辆。ROI的大小从大约30×20到120×40个像素变化，取决于车辆的类型。

对于每个描述子，提供分类器输出的接收器工作特性（ROC）曲线，其对应于正和负标记的样本（即ROI分别包含或不包含车辆）。因为对于每个样本，摄像机旋转是已知的，画出对应于每个旋转角度的多个ROC曲线是可能的。对于每个选择的描述子，提供在所有摄像机旋转上评估的ROC曲线，并且还增加一个标准差的上限和下限，其表示由于旋转可以期望多大变化。

使用来自在0°旋转的序列的具有5倍交叉验证的正和负样本。此外，验证通过增加合成旋转样本到测试组进行，其中旋转以20°的间隔在0°和180°之间的范围中均匀取样。

不管特征如何，CM描述子对旋转非常敏感，其与它的理论性质一致。当RC描述子使用各向异性特征时RC描述子对于旋转非常敏感，并且对于各向同性特征变成不变的，且增加显著性能。再次，这与它的性质一致。不管特征如何，CMI和RM描述子是最好的执行器。它们通过从Φ_A切换到Φ_I改善，并且它们示出对旋转变化的有限敏感度（即使当使用Φ_A时它们不是旋转不变的）。

分析了对于下列特征池的CMI描述子的性能： ${\mathrm{\Φ}}_C\stackrel{\·}{=}{[R,G,B]}^T,{\mathrm{\Φ}}_g\stackrel{\·}{=}{\left[\right|I_x|,|I_x|,|I_{\mathrm{xx}}|,|I_{\mathrm{yy}}\left|\right]}^T,{\mathrm{\Φ}}_A={\left[{\mathrm{\Φ}}_c^T{\mathrm{\Φ}}_g^T\right]}^T,{\mathrm{\Φ}}_s\stackrel{\·}{=}{\left[\right|\▿I|,{\mathrm{\κ}}_{\mathrm{\ρ}},{\mathrm{\κ}}_{\mathrm{\Θ}},s]}^T$ 并且分析了

Φ_C是各向同性的，其使CMI和RM旋转不变，并且其解释它们的良好性能。相反，Φ_g是各向异性的，其解释较差的性能和对旋转更大的敏感度。当Φ_C增加有Φ_g以形成Φ_A时，既没有观察到显著的性能提高也没有观察到退化。这解释CMI和RM的相对良好的性能，其是由于R、G和B图像特征的优势度。当Φ_I分解时，注意Φ_s是各向同性的，从而CMI和RM是旋转不变的，并且具有甚至超过Φ_c的情况的性能。因此，当Φ_c增加有Φ_s以形成Φ_I时，获得最佳性能。该分析强调增加特征池Φ_s的重要性，其已经证明比增加Φ_g更有效。

使用来自在0°旋转的序列的用于训练的正和负样本，并且来自在20°、45°、65°和90°旋转的序列的样本用于测试。这是更富有挑战的场景，因为验证用实际旋转图像数据完成，该数据包括将影响描述子计算的新的噪声源。

描述子一般完全如同它们对于合成旋转测试样本的情况所做的那样表现，其中具有对摄像机旋转的敏感度的增加。特别地，存在RC描述子的平均性能的清楚的退化（即使在具有各向同性特征时）。最终，具有各向同性特征的CMI似乎仅经历轻微的性能下降，而RM表现为对该合成的到实际数据的切换是最免疫的。

使用来自在0°旋转的序列的用于训练的正和负样本，连同正和负合成旋转样本（用于训练），并且来自在20°、45°、65°和90°旋转的序列的样本用于测试。

利用Φ_A，每个描述子提高性能，对于RC是明显的以及对于CM甚至更多。假定它们对摄像机旋转的敏感度（现在由更丰富的训练数据集而平滑），这是预期的。利用Φ_I，CM显著改善。因为RC、CMI和RM假定为旋转不变的，它们的性能仅经历较小的变化。总的来说，即使利用包括每个可能旋转的训练，CM和RC描述子被CMI描述子胜过，并且甚至被RM描述子胜过更多。

表2

表2示出在ROC下的面积和RC、CM、CMI和RM描述子之间的比较。作为综合性能参数，表2提供具有由于摄像机旋转的对应的标准差

的ROC曲线下的面积，A_ROC（即

）。较高的A_ROC暗示以相同的假正率的较高的真正率，并且因此暗示更好的性能。该表证实具有各向同性特征的CMI和（甚至还有）RM描述子是最好的执行器。

分类器仅用来自在0°旋转的序列的样本训练。由于空间限制，仅示出具有各向同性特征的RC、CMI和RM描述子的结果。图像表达RM描述子关于摄像机旋转的优良鲁棒性。注意仅检测在公路上的车辆，并且这是因为在训练序列中，在公路外面的面积用于产生负样本。注意如果与用于RC描述子的SVM（其要求协方差矩阵之间的测地距的计算）比较，线性SVM的使用在训练和测试期间提供10倍加速改进。

注意尽管图2A-2D示出来自静态摄像机的图像，检测器不利用运动信息，并且可以当摄像机移动时使用，而不需要视频配准。

最终，在该工作中，不变性采用两种方式处理：（a）通过将它们纳入描述子设计，和（b）通过产生人为变换的样本将它们纳入SVM。发现（a）比（b）更有效。

它减小从不同视角采集训练数据的负荷，减小数据处理量，并且同时产生独立于视角变化的鲁棒性能。

本发明的方面提出新的一类外观描述子，其基于应用于图像特征的采集的图像矩的想法。通过仔细设计图像矩和图像特征，设计尺度和旋转不变外观描述子是可能的，还可以使其对于照明变化是鲁棒的。利用积分表示以设计快速程序以计算这些描述子，并且发现它们具有吸引人的计算复杂性性质。就其本质而言，描述子存在于欧几里得几何和线性分类器足以有效利用它们用于分类目的的空间中。进行大量的实验以确定哪个描述子对尺度和旋转变化是最鲁棒的，并且发现基于径向矩的最好的那个显著胜过用于在空中视频中车辆检测的流行的区域协方差描述子。根据本发明的方面的那类描述子可以在例如实时人检测和对象类别识别等许多其他应用中成为有效的构造块。

参照图1，示出根据本发明的实施例的用于分析对象的系统或系统10的高空示意图。系统10包括与摄像机系统110互相配合并且从其接收多个图像的计算机20。在实施例中，该摄像机系统110可包括至少一个空中摄像机（例如，固定到直升机等）102，至少一个固定或静止摄像机104和至少一个云台变焦（PTZ）摄像机106。在该摄像机系统110中描绘的摄像机的数量和类型在本发明下不意味限制。显然，可根据本发明的方面采用其他数量、类型、位置。

参照图1和3，系统10和它的计算机20能够最终分析从摄像机系统100接收的图像中的对象。图像中的每个包括多个像素。图像可包括一个或多个图像区域。

计算机20包括用于识别、检测和/或归类一个或多个在接收的图像或图像区域中的对象的对象分析器22。该对象分析器22可包括特征池模块24、矩池计算器30和规范化描述子模块40。

如在图3中示出的，在计算机20中的对象分析器22从摄像机系统110接收至少一个具有多个像素的图像。该对象分析器22将在进入分析在图像中的对象时最终找到或计算RM、CMI和/或CM中的至少一个。

如果对象分析器22在从摄像机系统110接收图像后计算RM，特征池模块24然后对图像中的多个像素中的每个像素计算特征池。对象分析器22也计算图像的几何中心。矩池计算器30从特征池和计算的几何中心导出特征的径向矩池。规范化描述子模块40然后基于导出的特征径向矩池计算规范化描述子，如在方程8中示出的。

如果对象分析器22在从摄像机系统110接收图像后计算CMI，特征池模块24然后对图像中的多个像素中的每个像素计算特征池。矩池计算器30从特征池导出特征的中心矩池。规范化描述子模块40然后基于导出的特征中心矩池计算规范化描述子，如在方程7中示出的。

如果对象分析器22在从摄像机系统110接收图像后计算CM，特征池模块24然后对图像中的多个像素中的每个像素计算特征池。对象分析器22也计算图像的面积。矩池计算器30从特征池和计算的面积导出特征的中心矩池。规范化描述子模块40然后基于导出的特征中心矩池和图像的面积计算规范化描述子。

取决于计算规范化描述子（例如，RM、CMI、CM）中的哪个，已经进一步确定在计算RM的情况下，当特征池是各向同性时，那么导出的特征径向矩池是旋转不变的；并且特征的径向矩池的导出可以是用户可选择的顺序。相似地，在计算CMI的情况下，当特征池是各向同性时，那么导出的特征中心矩池也是旋转不变的；并且特征的中心矩池的导出具有固定的顺序。同样，在计算CM的情况下，特征池是各向同性的；并且特征的中心矩池的导出可是用户可选择的顺序。

在任何情况下，一旦规范化描述子由规范化描述子模块40计算，那么计算机20能够比较规范化描述子与图像和数据的库以便使用现在已知或以后开发的方法在接收的图像、多个图像、图像区域和/或多个图像区域中进行下面其中之一：识别、检测和/或归类对象。

计算机科学领域内技术人员将能够结合如描述创建的软件与适当的通用或专用计算机硬件，例如微处理器，以创建实施本发明的实施例的计算机系统或计算机子系统。根据本发明的实施例的设备或系统可是一个或多个处理系统，其包括但不限于中央处理单元（CPRU）、存储器、存储装置、通信链路和装置、服务器、I/O装置，或是一个或多个处理系统（其包括本发明的实施例）的任何子部件，包括软件、固件、硬件或其的子集的任何组合。

本发明的实施例的计算机程序产品在计算机系统上是可执行的，用于使计算机系统执行发现社会网络的方法，其包括本发明的发现方法。计算机系统包括微处理器、输入装置、显示单元和到互联网或例如以太网和内联网等网络的接口。微处理器连接到通信总线。计算机还包括存储器。该存储器可包括随机存取存储器（RAM）和只读存储器（ROM）。计算机系统进一步包括存储装置。该存储装置可以是硬盘驱动器或例如软盘驱动器、光盘驱动器等可拆卸存储驱动器。该存储装置还可以是用于装载计算机程序或其他指令进入计算机系统的其他相似工具。计算机系统还包括通信单元。该通信单元允许计算机通过I/O接口连接到其他数据库和互联网。该通信单元允许数据从其他数据库的传送以及接收。该通信单元可包括调制解调器、以太网卡或任何相似的装置，其使计算机系统能够连接到数据库和例如LAN、MAN、WAN和互联网等的网络。计算机系统便于通过输入装置（通过I/O接口可访问系统）来自用户的输入。各种模块也可采用硬件单元的形式。

计算机系统执行存储在一个或多个存储元件中的指令集以处理输入数据。该指令集可是程序指令工具。该存储元件还可按期望容纳数据或其他信息。该存储元件可采用在处理机中存在的信息源或物理存储器的形式。

指令集可包括指示处理机执行例如构建本发明的方法的实施例的步骤等特定任务的各种命令。指令集可采用软件程序的形式。此外，软件可采用独立程序的集合、具有较大程序的程序模块或程序模块的一部分的形式。软件还可包括采用面向对象程序设计形式的模块化程序设计。由处理机对输入数据的处理可响应于用户命令、之前处理的结果或由另一个处理机做出的请求。

因此，根据本发明的一个实施例，用于分析图像中的对象的计算机化方法，其中该图像从摄像机系统获得，所述计算机化方法包括：从该摄像机系统接收至少一个具有多个像素的图像；对该多个像素中的每个像素计算特征池；进行下列中的一个：从该特征池和该至少一个图像的几何中心导出特征的径向矩池；以及从该特征池导出特征的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个，计算规范化描述子；并且基于该规范化描述子，计算机则进行下列中的至少一个：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

根据本发明的另一个实施例，用于分析图像中的对象的计算机化方法，其中该图像从摄像机系统获得，所述计算机化方法包括：从该摄像机系统接收至少一个具有多个像素的图像；对该多个像素中的每个像素计算特征池；从该特征池导出特征的中心矩池；基于该特征中心矩池，计算中心矩不变量池；基于该至少一个图像的面积和该特征中心矩池，计算规范化描述子；并且基于该规范化描述子，计算机则进行下列中的至少一个：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

根据本发明的另一个实施例，具有提供用于分析图像中的对象的方法的计算机可执行指令的计算机可读介质，其中该图像从摄像机系统获得，所述方法包括：从该摄像机系统接收至少一个具有多个像素的图像；对该多个像素中的每个像素计算特征池；进行下列中的一个：从该特征池和该至少一个图像的几何中心导出特征的径向矩池；以及从该特征池导出特征的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个，计算规范化描述子；并且基于该规范化描述子，进行下列中的至少一个：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

根据本发明的另一个实施例，用于分析在图像中的对象系统，其中该图像从摄像机系统获得，所述系统包括：用于从该摄像机系统接收至少一个具有多个像素的图像的系统；用于对该多个像素中的每个像素计算特征池的系统；用于进行下列中的一个的系统：从该特征池和该至少一个图像的几何中心导出特征的径向矩池；以及从该特征池导出特征的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个，用于计算规范化描述子的系统；和基于该规范化描述子，进行下列中的至少一个的系统：识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在该至少一个图像中的至少一个对象归类。

本发明已经在优选实施例方面描述，并且认识到除明确说明的那些之外的等同物、备选项和修改是可能的并且在附上的权利要求的范围内。

部件列表

22    对象分析器                 24     特征池模块

30    矩池计算器                 40     规范化描述子模块

50    景观                       52     桥/障碍

54    路/公路                    60     拖拉机挂车

62    汽车                       64     SUV

70    图像/空中图像              72     第一对象

74    第二对象                   110    摄像机系统

102   空中摄像机                 104    固定摄像机

106   PTZ摄像机

10    基于摄像机的对象分析系统   20     计算机

Claims (14)

1. 一种用于分析图像中的对象的计算机化方法，其中所述图像从摄像机系统获得，所述计算机化方法包括：

从所述摄像机系统接收至少一个具有多个像素的图像；

对所述多个像素中的每个像素计算特征池；

进行下列中的一个：

从所述特征池和所述至少一个图像的几何中心导出特征的径向矩池；以及

从所述特征池导出特征的中心矩池；

基于所述导出的特征的径向矩池和所述导出的特征的中心矩池中之一和所述至少一个图像的面积，计算规范化描述子；以及

基于所述规范化描述子，计算机则进行下列中的至少一个：

识别所述至少一个图像中的至少一个对象；

检测所述至少一个图像中的至少一个对象；以及

将所述至少一个图像中的至少一个对象归类。

2. 如权利要求1所述的方法，其中所述至少一个对象是车辆。

3. 如权利要求1所述的方法，其中所述摄像机系统的一部分包括空中视频设备。

4. 如权利要求1所述的方法，进一步包括从所述计算机输出所述识别的对象、所述检测的对象和所述归类的对象中的一个的标识。

5. 如权利要求1所述的方法，其中所述至少一个图像包括图像区域。

6. 如权利要求1所述的方法，其中所述导出包括用户可选择的顺序。

7. 如权利要求1所述的方法，其中所述特征池是各向同性的。

8. 如权利要求7所述的方法，其中所述特征的径向矩池是旋转不变的。

9. 如权利要求1所述的方法，其中所述特征池是各向异性的。

10. 一种用于分析图像中的对象的计算机化方法，其中所述图像从摄像机系统获得，所述计算机化方法包括：

从所述摄像机系统接收至少一个具有多个像素的图像；

对所述多个像素中的每个像素计算特征池；

从所述特征池导出特征的中心矩池，

基于特征的中心矩池计算中心矩不变量池；

基于所述特征的中心矩池和所述至少一个图像的面积，计算规范化描述子；以及

基于所述规范化描述子，计算机则进行下列中的至少一个：

识别所述至少一个图像中的至少一个对象；

检测所述至少一个图像中的至少一个对象；以及

将所述至少一个图像中的至少一个对象归类。

11. 如权利要求10所述的方法，其中所述导出具有固定顺序。

12. 如权利要求10所述的方法，其中所述至少一个图像包括图像区域。

13. 如权利要求10所述的方法，其中所述特征池是各向同性的，并且所述中心矩不变量池是旋转不变的。

14. 一种用于分析图像中的对象的系统，其中所述图像从摄像机系统获得，所述系统包括：

用于从所述摄像机系统接收至少一个具有多个像素的图像的部件；

用于对所述多个像素中的每个像素计算特征池的部件；

用于进行下列中的一个的部件：从所述特征池和所述至少一个图像的几何中心导出特征的径向矩池；以及从所述特征池导出特征的中心矩池；

用于基于所述导出的特征的径向矩池和所述导出的特征的中心矩池中之一和所述至少一个图像的面积计算规范化描述子的部件；以及

用于基于所述规范化描述子进行下列中的至少一个的部件：识别所述至少一个图像中的至少一个对象；检测所述至少一个图像中的至少一个对象；以及将所述至少一个图像中的至少一个对象归类。

Images