CN101939191A - 对象检测与辨识系统 - Google Patents

Abstract

本发明提供一种对象辨识系统，其包括：至少一个图像捕获装置，其经配置以捕获至少一个图像，其中所述图像包括多个像素且以图像数据集表示；对象检测装置，其经配置以从所述至少一个图像识别对应于对象的多个像素，其中对象包括多个像素且以对象数据集表示，其中所述对象数据集包括对应于所述对象中的每一像素的一组特征；及图像辨识装置，其经配置以通过对照一组模板图像的图像相关性来辨识存在于对象中的所关心对象以将对象辨识为所述模板中的一者。

Description

对象检测与辨识系统

相关申请案交叉参考

本申请案请求对2008年2月8日提出申请的美国专利申请案第12/068,651号的权益及优先权，所述申请案以全文引用方式并入本文中。

技术领域

本发明一般来说涉及对象检测与辨识的成像领域。更具体来说，本发明涉及一种用于在所捕获图像中的其它对象中辨识所关心对象的系统。

背景技术

由于数字成像技术的浮现，在所捕获图像内的其它对象中检测并辨识所关心对象为一直是热情研究的主题的领域。已产生尝试准确地且精确地在其它对象中检测所关心对象的各种系统。特定来说，此类系统的一个应用是道路标志的检测与辨识。

首先，道路标志的检测与辨识看似非常明确的问题且解决方案将相当简单。也就是说，道路标志往往出现在交通场景中的标准化位置中。此外，由于国家、地区及地方交通标准，已知其形状、色彩及形符。然而，通过对象检测与辨识系统解决此种问题并不像起初看似的那样简单。

实际上，此种对象检测与辨识系统面对各种困难。出于道路标志辨识的目的捕获的图像将从移动的汽车获取且标志大小及定向将随着距离改变，因为其可歪斜及旋转。另外，许多对象将存在于高度复杂的所捕获图像中，例如行人、其它车辆、树丛、建筑物及其它标志。这些其它对象中的一些在形状、图案及色彩上与道路标志非常类似。进一步的麻烦事是，在许多区域中，道路标志存在许多变化形式，这些变化形式经常因所述国家、地区或所在地的法律上制定的标准而有显著变化。最后，如同所有的所应用计算机视觉系统，所实施的系统必须适合实时实施，此需要在缩短的时间框架中处理大量信息。

对象检测与辨识系统的一个实例利用单个相机。单个相机的图像可馈入到机器学习算法(例如，神经网络)中。先前已由道路图像数据库培训的机器学习算法尝试将所捕获图像及其内容分类，从而允许检测并辨识一组所关心对象。然而，进行机器学习的此统计方法需要获取大的图像数据库，此既耗时又昂贵。此外，此方法在根据所制定的标准修复上文关于振动、色彩变化、图像的朦胧、所捕获图像的复杂性及道路标志的变化论述的问题上不完全有效。

除使用统计方法中的机器学习算法外，用于检测所关心对象且随后对其进行辨识的另一方法是使用色彩来帮助从背景图像进行对象分段。然而，快速且强健的对象色彩分段是困难的，因为到达相机的色彩波长并非对入射光的强度及标志的年龄(因其随时间褪色)没有变化。

如对现有系统的解释表明，对检测并辨识所捕获图像中的所关心对象的解决方案中的许多解决方案并不是最佳的。因此，需要一种能够在各种环境中操作的用于检测并辨识所捕获图像中的所关心对象的系统。

发明内容

根据所揭示实施例，提供一种对象检测与辨识系统。所述系统包括至少一个图像捕获装置。视觉控制器经配置以从所述图像捕获装置接收图像。对象检测器经配置以辨识所述所接收图像内的所关心对象。车辆控制器接收所述所关心对象且经配置以响应于所述所关心对象而控制车辆子系统。

在替代实施例中，所述系统包括：对象分段器，其经配置以隔离所述所接收图像内的个别图像；及对象辨识器，其经配置以确定所述个别对象是否包括所关心对象。

在替代实施例中，提供一种对象检测与辨识方法。所述方法包括以下步骤：从至少一个图像捕获装置接收所捕获图像；辨识所述所接收图像内的所关心对象；及将对象辨识信息提供到响应于所述所关心对象而控制车辆子系统的车辆控制器。

根据另一所揭示实施例，对象分段器从至少两个图像捕获装置接收图像以形成所述所接收图像的立体表示，以获得所述所接收图像的范围信息且使用所述范围信息隔离所述所接收图像内的个别对象。

根据另一所揭示实施例，所述辨识步骤进一步包括以下步骤：将所述经隔离对象的图像像素地址映射到至少一个所关心对象图像的像素地址中；最小平方曲线拟合映射参数；使经映射图像与所关心对象图像相关；及通过选择具有最大相关性的至少一个所关心对象图像来进行对象辨识。

应理解，前文一般说明及以下详细说明两者仅为实例性及解释性，且并不限制所提出申请的本发明。通过下述说明、所附权利要求书及图式中所示的随附实例性实施例本发明的这些及其它特征、方面及优点将变得显而易见，下文将简要描述所述图式。

附图说明

图1图解说明根据一个实施例的具有对象检测与辨识系统的车辆。

图2图解说明根据一个实施例的对象检测与辨识系统。

图3图解说明经分段的标志图像。

图4图解说明根据一个实施例的对象辨识系统。

图5图解说明用于模板产生的标志。

图6图解说明经像素化模板及从全图像的一部分形成的模板。

图7图解说明经分段图像与经旋转模板图像之间的坐标映射。

具体实施方式

将在下文中参照附图描述本发明的实施例。应理解，以下说明打算描述本发明的实例性实施例，而非打算限制本发明。

概述：根据一个实施例的对象检测与辨识系统1图解说明于图1中。至少一个图像捕获装置3位于车辆上以捕获所关心场景的图像。此场景包括所述车辆的外部及内部。图像捕获装置3可操作地连接到视觉控制器7且以典型的串行格式将图像5提供给视觉控制器7。视觉控制器7缓冲图像数据9并以兼容格式9将图像数据9提供给对象检测器11。对象检测器11辨识图像9内的所关心对象且将此信息13提供给车辆控制器15。车辆控制器15通过调整包括制动系统17及驾驶员显示系统19的车辆控制子系统来响应所关心对象的辨识。

对象检测器11的框图图解说明于图2中。图像数据9被传递到对象分段器31以隔离图像9内的个别对象。所述图像的经分段部分33被传递到对象辨识器35以确定图像33是否包括所关心对象。数据库37将所关心对象信息39提供到对象辨识器。对象辨识器将所辨识的所关心对象13传递到车辆控制器15。

对象分段：对象分段器31使用图像处理算法来隔离图像数据9内的不同对象。在一个实施例中，使用来自单个图像捕获装置3的图像数据，像素聚类为对象使用边缘检测与区域增长算法。在另一实施例中，还使用像素色彩信息。图3图解说明所得经分段标志图像。

在进一步实施例中，分段器31使用来自至少两个图像捕获装置3的图像9来形成所成像场景的立体表示。所述三维立体图像包括到每一像素的范围以及每一像素的垂直及横向位移。具有所述范围信息大大增强所述分段过程，因为其具有能利用的第三聚类维度。以三个维度聚类产生对象的深度以及其垂直高度及横向宽度。这些以距离单位(例如，米)测量。

对象辨识；对象辨识器35的框图图解说明于图4中。选择由数据库37内的模板39表示的每一所关心对象并将其对照经分段图像33进行测试。对于来自数据库37的每一模板39，对象辨识器35：

●预筛选41模板39以使其符合限定条件；

●将经预筛选的模板曲线拟合43到图像33；

●计算45经曲线拟合的模板与图像33之间的相关性；

●选择53具有最大相关性的模板；及

●如果最大相关性超过最小值，那么将所述最大相关性模板报告55给车辆控制器15。

模板：所关心对象的模板39包括所述所关心对象的图像49。所关心对象的图像由任何图形符号形成且不受语言限制也不受内容限制。所述图像是通过方程式或表格将照度映射到x-y坐标、经像素化图像或其它构件来表示。可转换成模板图像的彩色及黑/白图形符号的实例显示于图5中。图6图解说明经像素化标志模板61。在一个实施例中，为减小图像存储，将所述标志的有关部分63而非整个图像用作模板。

预筛选模板：经分段对象33的有关模板为在一组预筛选限定条件47内的那些模板。这些限定条件包括图像9内的对象位置、对象几何比例、色彩及其它限定词之间的一致性。这些限定条件针对每一模板39包括于数据库37中且被提供47到预筛选器。其它感测系统可辅助所述预筛选过程。举例来说，如果车辆在多车道公路上，那么可使用可确定所述车辆在哪个车道上的系统来建立对象可呈现的最小交叉距离。

给出标志从场所到场所的变化，在一个实施例中，将模板预存储于普遍存在的GPS导航系统中且提供其以随车辆的位置改变来更新数据库。在另一实施例中，直接使用GPS定位数据来启用及停用预存储于数据库37中的模板。在进一步实施例中，使用GPS位置来预筛选41模板。

对象的立体图像提供其深度以及高度及宽度，且使用深度来预筛选模板(例如，标志不具有显著深度，且如果所述对象具有显著深度，那么消除标志模板)。

经分段对象与经预筛选模板的比较：不管对象如何经分段以供对象辨识器35进行处理，所述对象辨识器检查来自一个图像捕获装置的经分段图像33且将所述图像与存储在数据库37中的所关心对象的经预筛选模板相比较。

经分段图像33可随距离车辆的距离缩放，相对于所述车辆旋转，或具有随地方条件变化的色彩及照度。比较的基础是将来自数据库模板49的像素映射到经分段的图像像素33。举例来说，忽略两个图像相对于彼此的旋转，如下执行将pixel_模板(row_{模 板}，column_模板)映射到pixel_图像(row_图像，column_图像)中

row_图像＝s_缩放row_模板+row_偏移，

column_图像＝s_缩放column_模板+column_偏移

其中(行，列)为模板或经分段图像内的像素的像素地址。未知常数s_缩放补偿图像大小，且row_偏移及column_偏移为补偿所述图像内的中心确定的未知常数。如图7中所示，如果图像旋转是问题，那么所述映射包括与仿射变换有联系的旋转角度，例如

row_图像＝s_缩放(row_模板cosθ+column_模板sinθ)+row_偏移

column_图像＝s_缩放(-row_模板sinθ+column_模板cosθ)+column_偏移

其中θ为未知常数旋转角度。

行及列的共用s_缩放假设模板像素与经分段图像像素具有相同纵横比。如果所述纵横比不相同，那么

row_图像＝s_缩放(α_行row_模板cosθ+α_列column_模板sinθ)+row_偏移

column_图像＝s_缩放(-α_行row_模板sinθ+α_列column_模板cosθ)+column_偏移

其中α_行及α_列为图像捕获装置3与模板行及列的大小比。

在替代实施例中，来自经分段图像33的像素被映射到模板图像49的像素，如

row_模板＝[(row_图像-row_偏移)cosθ-(column_图像-column_偏移)sinθ]/s_缩放

column_模板＝[(row_图像-row_偏移)sinθ+(column_图像-column_偏移)cosθ]/s_缩放

由于经分段图像中通常比在模板图像中存在更多的像素，因此此实施例可能不像将像素从模板映射到经分段图像那样有效。

通过最小化模板与经映射图像之间的平方误差来确定未知常数(s_缩放、row_偏移、column_偏移、θ)。举例来说，如果不涉及色彩，但仅涉及照度，那么要最小化的平方误差为

其中λ_照度为缩放照度的未知常数，且I[r，c]为像素[r，c]的照度。术语R_模板及C_模板为模板图像中的行及列的数目。此可以向量格式表达为

p＝[λ_照度 s_缩放 row_偏移 column_偏移θ]^T

ε(p，r，c)＝λ_照度I_图像[s_缩放(rcosθ+csinθ)+row_偏移，s_缩放(-rsinθ+ccosθ)+column_偏移]-I_模板[r，c]

如果考虑色彩，那么照度由色彩分量组成。举例来说，在RGB色彩参考框架中

p＝[λ_R λ_G λ_B s_缩放 row_偏移 column_偏移θ]^T

其中R、G及B分量中的每一者具有相关联的强度且W为指派各个元素ε的关联性的3x3加权矩阵。对于相等加权，W为单位矩阵。与模板相比经分段图像中的色彩分量的变化通过考虑所述分量之间的最紧密匹配来减轻且不需要绝对一致。

存在许多选择未知常数向量p以最小化平方误差函数的标准方法。梯度及拟线性化为两种此类方法。所述梯度方法以对p的初始估计开始且在梯度J(p)的方向上选择更佳估计：

p _i+1＝p _i-k▽ _p J(p _i)

其中▽ _p J(p _i)为在p _i下评价的梯度J(p)且k控制步进大小。所述梯度通过数值扰动确定

${\▿}_{v}J\left({\underset{\‾}{p}}_i\right)\≈\frac{J(p_{1,i},...,v+\mathrm{\Δv},...)-J\left({\underset{\‾}{p}}_i\right)}{\mathrm{\Δv}}$

拟线性化通过如下表达J(p)的预计值开始

其中

在泰勒级数中展开最高仅保持到一阶导数

误差向量梯度被估计为

▽ _p ε(p _i，r，c)＝[▽_λR ε(p _i，r，c)…▽_θ ε(p _i，r，c)]

${\▿}_v\underset{\‾}{\mathrm{\ϵ}}({\underset{\‾}{p}}_i,r,c)\≈\frac{\underset{\‾}{\mathrm{\ϵ}}({\mathrm{\λ}}_{R,i},...,v_i+\mathrm{\Δv},...,{\mathrm{\θ}}_i,r,c)-\underset{\‾}{\mathrm{\ϵ}}({\underset{\‾}{p}}_i,r,c)}{\mathrm{\Δv}}$

当其梯度为零时J最小化：

形成迭代方程式

p _i+1＝p _i+Δp

有效地最小化J函数的关键是以对p的良好估计开始。举例来说：

●所考虑的每一色彩的强度因数λ初始化为经分段图像中的色彩的平均强度与模板图像中的色彩的平均强度之间的比；

●大小比例因子s_缩放初始化为经分段图像的像素面积与模板图像的像素面积的比的平方根；

●偏移初始化为经分段图像的原点；及

●旋转角度初始化为零。

出于此目的，用作初始化参数51的模板图像的某些统计测量包括有模板数据库信息39，例如：

●模板图像中的每一色彩的平均强度；

●模板图像的像素面积

已曲线拟合最佳拟合参数向量

后，确定到模板的所得最佳拟合之间的相关性，以将此模板曲线拟合与数据库中的其它模板的曲线拟合相比较。对于所考虑的每一色彩，经分段图像与模板之间的相关性为

其中P为R或G或B，此取决于正考虑的色彩，且

为Г的平均值。模板

的平均值及和

包括51于数据库信息39中。当考虑色彩时，图像中的所有色彩中间的经组合相关性为

将经分段图像与数据库中的所有经预筛选41模板相比较且选择具有最大r²相关性的比较作为最紧密的模板匹配。如果r²相关性超过最小阈值，那么接受对象辨识。

表1图解说明对象辨识过程。将黑/白25mph速度标志的经分段图像与25mph标志、35mph标志及45mph标志的模板图像相比较。如可见，在每一曲线拟合迭代的情况下，函数J减小，致使r²相关性增加。通过其相关性大于35mph及45mph模板的相关性来解析25mph标志的辨识。

表1：辨识实例

此程序的经验强调了使用模糊的经像素化的所获取图像对使用具有(举例来说)边缘检测的“经清理”版本的价值。像素模糊提供帮助曲线拟合过程的收敛的梯度信息。

对辨识的响应：已通过找出与经分段图像具有充足相关性的经预筛选模板辨识所关心对象后，将所述所关心对象的身份报告13给车辆控制器15。所述车辆控制器通过向驾驶员警报19或更改车辆子系统17的操作来作用于所述信息。举例来说，检测指示速度限制的速度标志，而车辆控制器15速度感测器指示所述车辆正超过此限制，致使将过高速度警报显示给所述驾驶员；极度超速致使车辆控制器应用制动。

尽管本文中所描述的实施例聚焦于道路标志(出于说明性目的)，但相同方法适用于辨识车辆内及车辆外的其它对象。

在给出本发明的揭示内容的情况下，所属领域的技术人员将了解可存在本发明范围及精神内的其它实施例及修改。因此，所属领域的技术人员从本发明可获得的在本发明范围及精神内的所有修改将包括为本发明的进一步实施例。

Claims (25)

1.一种用于车辆的对象检测与辨识系统，其包含：

至少一个图像捕获装置；

视觉控制器，其经配置以从所述图像捕获装置接收图像；

对象检测器，其经配置以辨识所述所接收图像内的所关心对象；及

车辆控制器，其用于接收所述所关心对象且经配置以响应于所述所关心对象的辨识而控制车辆子系统。

2.根据权利要求1所述的用于车辆的对象检测与辨识系统，其中所述车辆子系统为制动系统。

3.根据权利要求1所述的用于车辆的对象检测与辨识系统，其中所述车辆子系统为驾驶员显示器。

4.根据权利要求1所述的用于车辆的对象检测与辨识系统，其中所述对象检测器进一步包含：

对象分段器，其经配置以隔离所述所接收图像内的个别对象；

数据库，其经配置以存储所关心对象信息；及

对象辨识器，其经配置以基于从所述数据库接收的信息确定所述个别对象是否包括所述所关心对象。

5.根据权利要求4所述的对象检测与辨识系统，其中所述对象分段器从一个图像捕获装置接收图像且隔离所述所接收图像内的个别对象。

6.根据权利要求5所述的对象检测与辨识系统，其中所述对象分段器进一步使用色彩信息来隔离所述所接收图像内的个别对象。

7.根据权利要求4所述的对象检测与辨识系统，其中所述对象分段器从至少两个图像捕获装置接收图像以形成所述所接收图像的立体表示，以获得所述所接收图像的范围信息且使用所述范围信息进一步隔离所述所接收图像内的个别对象。

8.根据权利要求7所述的对象检测与辨识系统，其中所述对象分段器进一步与所述范围信息组合地使用色彩信息来隔离所述所接收图像内的个别对象。

9.根据权利要求4所述的对象检测与辨识系统，其中所述对象辨识器从所述数据库接收至少一个所关心对象模板且经配置以通过以下步骤将所述模板曲线拟合到经隔离对象：

通过确定最小化被映射模板与所述对象之间的偏差的函数的映射参数的值来将所述模板映射到所述对象上。

10.根据权利要求9所述的对象检测与辨识系统，其中所述映射参数包括几何比例因子及偏移。

11.根据权利要求10所述的对象检测与辨识系统，其中所述映射参数进一步包括针对形成所述经隔离对象的每一色彩分量的照度比例因子。

12.根据权利要求9所述的对象检测与辨识系统，其中所述对象辨识器从所述数据库接收所关心对象模板，且经配置以：

预筛选所述所关心对象模板以获得预筛选模板；

将所述经预筛选模板曲线拟合到所述个别对象以获得经曲线拟合的模板；

计算所述经曲线拟合的模板与所述个别对象之间的相关性；

选择具有最大相关性的所关心对象模板；及

如果所述相关性超过最小值，那么将所述选定的所关心对象模板报告给所述车辆控制器。

13.根据权利要求9所述的对象检测与辨识系统，其中GPS定位数据用于启用或停用从所述数据库接收的所关心对象模板。

14.一种用于车辆中的对象检测与辨识的方法，其包含以下步骤：

从至少一个图像捕获装置接收所捕获图像；

辨识所述所接收图像内的所关心对象；及

响应于所述所关心对象而控制车辆子系统。

15.根据权利要求14所述的用于车辆中的对象检测与辨识的方法，其中所述车辆子系统为制动系统。

16.根据权利要求14所述的用于车辆中的对象检测与辨识的方法，其中所述车辆子系统为驾驶员显示器。

17.根据权利要求14所述的用于车辆中的对象检测与辨识的方法，其中所述辨识步骤进一步包含：

隔离所述所接收图像内的个别对象；及

基于从数据库接收的信息确定所述个别对象是否包括所述所关心对象。

18.根据权利要求17所述的用于车辆中的对象检测与辨识的方法，其中所述隔离步骤使用色彩信息来隔离所述所接收图像内的个别对象。

19.根据权利要求17所述的用于车辆中的对象检测与辨识的方法，其中所述隔离步骤从至少两个图像捕获装置接收图像以形成所述所接收图像的立体表示，以获得所述所接收图像的范围信息且使用所述范围信息隔离所述所接收图像内的个别对象。

20.根据权利要求17所述的用于车辆中的对象检测与辨识的方法，其中所述隔离步骤与所述范围信息组合地使用色彩信息来隔离所述所接收图像内的个别对象。

21.根据权利要求17所述的用于对象检测与辨识的方法，其中所述对象辨识步骤使用来自所述数据库的所关心对象模板且经配置以通过以下步骤将所述模板曲线拟合到所述对象：

通过确定最小化被映射模板与所述对象之间的偏差的函数的映射参数的值来将所述模板映射到所述对象上。

22.根据权利要求21所述的用于对象检测与辨识的方法，其中所述映射参数包括几何比例因子及偏移。

23.根据权利要求22所述的用于对象检测与辨识系统的方法，其中所述映射参数进一步包括针对形成所述经隔离对象的每一色彩分量的照度比例因子。

24.根据权利要求17所述的用于车辆中的对象检测与辨识的方法，其中所述确定步骤进一步包含：

从所述数据库接收所关心对象模板；

预筛选所述所关心对象模板以获得预筛选模板；

将所述经预筛选模板曲线拟合到所述个别对象以获得经曲线拟合的模板；

计算所述经曲线拟合的模板与所述个别对象之间的相关性；

选择具有最大相关性的所关心对象模板；及

如果所述相关性超过最小值，那么将所述选定的所关心对象模板报告给所述车辆控制器。

25.根据权利要求24所述的用于车辆中的对象检测与辨识的方法，其中使用GPS定位数据来启用或停用从所述数据库接收的所关心对象模板。

Images