CN109313699B - 用于对一车辆的输入图像进行目标识别的装置和方法 - Google Patents

Abstract

本发明涉及一种用于对一车辆的输入图像(A)进行目标识别的装置(100)，其中，该装置(100)包括：一个补丁选择器(10)，其被配置为将输入图像(A)细分为多个区域z^(m)，并为区域z^(m)定义多个补丁p_j ^(m)；一个投票映射生成器(20)，其被配置为给多个区域z^(m)中的每个区域m和多个补丁p_j ^(m)的每个补丁p_j生成一投票映射集V^(m)，并对所生成的投票映射集V^(m)二值化；一个投票映射组合器(30)，其被配置为组合二值化的投票映射集V^(m)；以及一个假设生成器(40)，其被配置为由或从组合的二值化投票映射集V^(m)生成一个假设，并对由或从组合的二值化投票映射集V^(m)所生成的假设进行细化处理。

Description

用于对一车辆的输入图像进行目标识别的装置和方法

技术领域

本发明涉及目标识别领域。本发明尤其涉及一种用于对一车辆的输入图像进行目标识别的装置和方法。

背景技术

现有目标检测方法通过在自然和汽车图像中提取的几个线索来解决目标假设的生成，其中，它依赖于具有足够高分辨率的目标。

由于对当今车辆安全性和舒适性先进功能的需求不断提升，驾驶员辅助系统正变得越来越重要。驾驶员辅助系统基于包括雷达、激光雷达或摄像机等多种传感器对车辆周围区域进行的监控。

前置系统在汽车行业中发挥着重要作用，并提供诸如前车碰撞预警(FCW)、自适应巡航控制(ACC)、行人检测(PED)以及交通标志识别(TSR)等附加的安全性和舒适性功能。

在此，基于摄像机的系统由于能监视一车辆前的整个区域并自动提取安全相关信息而特别受关注。此外，摄像机系统可在一平台上组合各种功能，因此非常适用于对成本费用敏感的市场。

为了提高诸如自适应巡航控制(ACC)或行人检测(PED)等辅助功能的使用范围和鲁棒性，使其超越当今水平，稳定、可靠地识别目标是基于摄像头的驾驶员辅助领域中最重要的任务之一。

发明内容

用于目标识别的装置和方法可能须加以改进。

这些需求通过独立权利要求的主题来加以满足。从从属权利要求以及后续描述中得出其他实施例。

本发明的一个方面涉及一种用于对一车辆输入图像进行目标识别的装置，其中，该装置包括：一个补丁选择器，其被配置为将输入图像细分为多个区域z^(m)，并为各区域z^(m)定义多个补丁p_j ^(m)；一个投票映射生成器，其被配置为给所述多个区域z^(m)中的每个区域m和所述多个补丁p_j ^(m)的每个补丁p_j提供一投票映射集V^(m)，并对所生成的一投票映射集V^(m)进行二值化；一个投票映射组合器，其被配置为组合二值化的投票映射集V^(m)；以及一个假设生成器，其被配置为由或从组合的二值化投票映射集V^(m)生成一个假设，并对由或从组合的二值化投票映射集V^(m)所生成的假设进行细化/精细处理。该装置被配置为执行用于目标识别的方法。

换句话说，可将目标检测或目标识别的任务分解为两个部分：1)假设生成和2)假设验证。

根据本发明所述、用于一输入图像的目标识别方法可应用于图像分析领域。例如，该装置和方法可用于分析雷达信号或雷达图像，或用于磁共振成像(MRI)或计算机断层扫描成像(CT)、基于红外的成像方法或超声成像方法等领域。

传统图像分析和目标识别方法的目标识别距离可达50米，与此相比，根据本发明所述、用于一输入图像的目标识别方法以有益的方式提供的目标识别距离可达数百米。

根据本发明所述、用于目标识别的方法能以有益的方式省略训练需求。甚至不需要训练数据，由此，根据本发明所述的目标识别方法能实现一安全、可靠的图像分析。

根据本发明所述、用于目标识别的方法能以有益的方式识别道路上诸如运输物资、轮胎或其他碎屑等未知目标。

根据本发明所述、用于目标识别的方法以有益的方式不借助目标物体的检测和定位而对远距离目标特征的存在进行任何模型假设。因此，所使用的方法是通用的，并可用于诸如骑车人、汽车、标志、紧急电话等目标的初步检测。

假设生成的目的是快速找到图中的候选位置和区域，以进行进一步的处理，包括将各区域分类为行人、车辆或交通标志。在此，假设生成面临着例如复杂的周围环境、不同的光照和天气条件、非常小的目标以及目标远离摄像机等多项挑战。

根据所使用摄像机系统的物理特性，小目标和远距离目标由于图像对比度较差以及这些目标在图像中所占像数极少，可能难以自动生成假设。

然而，大多数现有文献中的目标检测方法仅解决了具有足够分辨率的目标的假设生成。在此，各种方法利用对称性算子来测量补丁围绕定义轴的对称性。对称性算子只能使用强度，但常常也会分析评估图像边缘，以增加其对噪声的鲁棒性。

近处目标的假设可被非常稳定地生成，与此同时，远距离目标的低分辨率和缺失边缘信息可能使假设的生成对驾驶员辅助系统而言不切实际。

用于目标识别的本方法以有益的方式提供了基于一种投票方案引入一种用于驾驶员辅助的小目标和远距离目标的通用假设生成方法。该投票方案的灵感来自突出显示区域的检测，旨在突出显示自然图像中的相关区域，使其与任意场景的其余部分相比，视觉上更明显、更引人注目。

根据该方案，用于目标识别的本方法能生成较小和较远目标的假设，因为候选目标通常与其周围环境不同。

在此，根据本发明、用于目标识别的方法以有益的方式假定，其他已存在的算法已检测到带有较高分辨率的近处目标。

因此，拟将周围环境建模为具有同质外观的极少数大区域的一项组合。这些区域通过使用仅从可用图像信息中提取的图像统计来计算，不需要关于所需嵌入环境的先验知识。

不能被分配给这些区域的区域是潜在的候选位置，由此形成进一步处理的假设。

与试图通过人工提高图像分辨率来检测远处目标的其他方法相反，本发明打算以有益的方式，能基于用于检测候选远距离区域的显著性引导式投票映射方案在原始图像上起作用。

这以有益方式确保，提供一种可用于诸如不同规格、不同照明、不同天气和不同交通场景等周围环境变化的稳定方法。基于各种测试数据和测试矩阵的实验结果表明令人满意的性能。

这以有益的方式提供显著性启发式投票映射的使用，以生成小目标和远距离目标的假设。

本发明另一个第二方面涉及一种用于一车辆输入图像目标识别的方法，其中，该方法包括以下步骤：

-将输入图像细分为多个区域z^(m)，并为各区域z^(m)定义多个补丁p_j ^(m)；

-为多个区域z^(m)中的每个区域m和多个补丁p_j ^(m)的每个补丁p_j提供一个投票映射集V^(m)，并将所生成的一投票映射集V^(m)二值化；

-组合二值化的投票映射集V^(m)；以及

-由或从组合的二值化投票映射集V^(m)生成一个假设，并对由或从组合的二值化投票映射集V^(m)所生成的假设进行细化处理。

根据本发明所述的一个示例性实施方式，补丁选择器被配置为使用每个补丁p^(m)的内部统计，为各区域z^(m)提供多个补丁p_j ^(m)，以将补丁分类为属于背景或属于目标区域。

根据本发明所述的一个示例性实施方式，补丁选择器被配置为通过在每个补丁p_j ^(m)内的所有像素强度I上计算的高斯分布P(p_j ^(m))来对每个补丁p_j ^(m)的内部统计建模。

这能以有益的方式在可通过匹配来调整的计算工作量和精度的折衷之间提供权衡。

根据本发明所述的一个示例性实施方式，补丁选择器被配置为以如下方式为区域z^(m)的多个补丁p_j ^(m)定义各补丁的大小：使得在每个区域m内仍能检测到小于补丁的目标。这能以有益的方式改善目标识别性能。

根据本发明所述的一个示例性实施方式，投票映射生成器被配置为提供包括与输入图像的图像大小相对应的映射大小的投票映射集V^(m)。这以有益的方式提供了一种经改善的投票映射集。

根据本发明所述的一个示例性实施方式，投票映射生成器被配置为通过针对每个补丁p_j ^(m)计算一个特征描述符I_j ^(m)且针对输入图像的每个像素计算一个描述符d(x)，以此来提供该投票映射集V^(m)。这以有益的方式改善目标识别性能。

根据本发明所述的一个示例性实施方式，投票映射生成器被配置为通过计算每个补丁p_j ^(m)的所有像素上的平均特征矢量来确定特征描述符I_j ^(m)，以此提供该投票映射集V^(m)。这能以有益的方式提供一种经改进的特征描述符I_j ^(m)。

根据本发明所述的一示例性实施方式，投票映射生成器被配置为通过投票映射上的阈值处理确定，哪些像素属于与补丁p_j ^(m)相同的背景区域，并与所有其余像素相比具有高相似度的像素被认为是属于与补丁p_j ^(m)相同的背景区域。这能以有益的方式对一图像的分析加以改进。高相似度可通过使用一阈值，例如一阈值水平加以定义，并且如果一像素的相似度高于阈值，则认为该像素属于与补丁p_j ^(m)相同的背景区域。

根据本发明所述的一个示例性实施方式，投票映射组合器被配置为识别所有未被投票到背景补丁的像素。

执行根据本发明所述方法的计算机程序可被存储在计算机可读存储器上。计算机可读存储器可是软盘、硬盘、光盘、DVD、USB(通用串行总线)存储器、RAM(随机存取存储器)、ROM(只读存储器)或EPROM(可擦除可编程只读存储器)。

计算机可读存储器还可是例如能下载程序代码的互联网等数据通信网络。

这里所述的方法、系统和装置可在数字信号处理器(DSP)、在微控制器或任何其他端处理器中作为软件执行，或在专用集成电路、ASIC(特殊应用集成电路)、CPLD(复杂可编程逻辑器件)或FPGA(现场可编程门阵列)中作为硬件执行。

本发明可在数字电子电路或计算机硬件、固件、软件或在其组合中应用，例如可在常规医学成像装置的可用硬件中或在专用于处理本文所述方法的新硬件中运用。

附图说明

参照以下未按比例绘制的示意图，将会对本发明及与之相关的优点有一更清晰的理解，其中：

图1该图以示意性流程图架构的草图形式描绘了根据本发明所述的一个示例性实施方式所提出的方法；

图2该图描述了根据本发明所述的一个示例性实施方式所提出的通用假设生成的方法；

图3该图以示意性流程图架构的另一草图形式描绘了根据本发明所述的一个示例性实施方式所提出的方法；

图4该图根据本发明所述的一个示例性实施方式在一示例性输入图像中描述了空中两个同质补丁的位置；

图5该图根据本发明所述的一个示例性实施方式，描述了以像素方式的召回率的结果，细化处理前为深灰色，细化处理后为浅灰色；

图6该图描述了根据本发明所述的一个示例性实施方式，至少某些层面被覆盖的目标区域的召回率；

图7该图描绘了根据本专利申请所述的示例性实施方式在细化前和细化后的两个情景；

图8该图描述了根据本发明所述的一个示例性实施方式，用于客观性度量的所有目标尺寸的平均召回率、精确率和F度量(F-Measure)值；

图9该图以一示意图方式描述了根据本发明所述一个示例性实施方式，用于目标识别的装置；以及

图10该图以另一草图形式描述了根据本发明所述一个示例性实施方式、用于目标识别的方法。

具体实施方式

附图中的图示纯粹是示意性的，并不旨在提供缩放关系或尺寸信息。在不同的附图中，相似或相同的器件具有相同的参考号。

通常，相同的部件、单元、实体或步骤在说明中具有相同的参考标记。

根据本发明所使用的术语“补丁”可指一图像上的一片断或一部分，换句话说，补丁可指一二维数据区域或二维数据结构的一片断或一部分。补丁可由形状和大小定义。根据本发明所述的一个示例性实施方式，补丁可有正方形、矩形或多边形的形状。根据本发明所述的一个示例性实施方式，补丁可具有单个像素或一组像素或整个图像的大小。

根据本发明所使用的术语“投票映射”可指原始数据的另一种灰度级表述。换句话说，输入图像的灰度级表示。投票映射的每个像素的灰度级表明该像素是否属于某一目标。换句话说，像素投票映射的值定义由位于那里的像素表示一目标的概率。

根据本发明所使用的术语“由或从组合的二值化投票映射集生成假设”可指生成一二值化投票映射集的合并或组合。

根据本发明所使用的术语“内部统计”可指一图像或一图像区域或一补丁的任何类型的内部统计。

通过使用内部统计，可在例如通过调查一数据值可能的高斯分布或其他可能的分布等使用不同统计分析情况下分析一图像或一图像区域或一补丁的任何类型的数据值—即，检查数据值与其中一个分布的关联程度如何。根据本发明所使用的术语“内部统计”可指不用外部模型假设或类似方式调查来自外源的数据值，而仅采用和分析一图像或一图像区域或一补丁的数据值的观点。换句话说，除了分布之外，仅使用内部输入。

图1以流程图架构的草图形式描绘了根据本发明所述的一个示例性实施方式所提出的方法。

根据本发明所述的一个示例性实施方式，提供了一种也可用于小目标或远距离目标检测和目标识别的方法，因为这些目标的性质不同于背景。

术语“小目标”可指例如几厘米的目标，例如15厘米或25厘米的目标，这些目标与摄像机的距离约为几米，例如50米或高达100米或高达250米或高达500米。

根据本发明所述的一个示例性实施方式，该用于目标识别的方法基于人类视觉系统，并还可基于应用于整个图像的至少一个统计量来得出关于潜在小目标或远距离目标的结论。

除了全局统计外，该方法还可生成能与全局统计相结合的局部统计，从而提供关于近距离潜在目标的结论。

为了生成统计数据，使用各种图像特征提取方法，这些方法可基于诸如当前交通和光线状况自动选择，并且这些方法也可并行使用，随后自适应地进行加权。

图1以一示意性流程图的方式描述了用于一车辆输入图像的目标识别装置和方法。该图描述了根据本发明所述的一个示例性实施方式如何生成通用假设。

由于诸如颜色、强度、大小和粒度等许多属性，人类驾驶员可容易地将各区域归类为属于道路使用者或背景。与场景或背景的其余部分相比，这使道路使用者显得更为突出。

在此，我们想要明确该属性的使用，并利用自然图像中的固有特征，以有效的方式为驾驶员辅助功能生成小目标和远距离目标的假设。

根据本发明所述的一个示例性实施方式，如图1所示，所提出方法的总体结构可分解为四个主要阶段：(i)图像区域中的补丁选择，(ii)投票映射的生成，(iii)投票映射的组合，以及(iv)假设的获取。

以下部分提供了一份每个阶段的详细说明。

根据本发明所述的一个示例性实施方式，在输入图像A的图像区域中实施一项补丁选择。现在，我们希望定义一个模型，以全局方式表示图像背景的不同特性。

在此，我们将周围环境建模为由几个具有同质外观的区域组成，其中，每个区域由表示其全局特征的一组补丁p描述。因此，这类补丁的提取是实施自然图像整体特征建模的第一步。

此外，根据本发明所述的一个示例性实施方式，该方法定义道路使用者的外观取决于其到摄像机的距离，并由此取决于其在图像中的位置。更具体地说，对一般道路场景，假设目标外观从图像外面到图像中心发生改变。因此，输入图像A被细分为具有m∈[1…n]的不同区域z^(m)；首先是n∈N。

根据本发明所述的一个示例性实施方式，该方法将周围环境视为由具有与包含小目标或远距离目标的区域相反的同质外观的区域组成，其中，使用每个补丁p_j ^(m)的内部统计以便将一补丁分类为属于背景或属于一目标区域。根据另一步骤，该方法通过在p_j ^(m)内所有像素x的强度I上计算的一高斯分布P(p_j ^(m)来对每一补丁p_j ^(m)的内部统计进行建模。

根据本发明所述的一个示例性实施方式，给定同质性的定义，可假设一同质补丁p_h内的高斯分布可使用低方差σ(p_j ^(m))来建模，同时，同质补丁包括一导致大σ(p_j ^(m))值的广泛分布。

因此，选择标准偏差σ_j ^(m)作为消除非同质补丁的参数，并生成一同质补丁集H^(m)，供进一步处理如下：

对具有同质背景内容的周围环境，可假设z^(m)中p_j ^(m)的所有标准偏差上所计算的分布P(σ(p_j ^(m)))是高斯分布。

那么，是高斯分布极点，并将补丁分类为同质补丁或不同质补丁。

根据本发明所述的一个示例性实施方式，为了确保H^(m)中仅包括背景补丁，补丁大小必须足够大，以确保大目标上没有区域由于其同质性而被视为背景。

否则，可将一补丁置于一目标内。因此，补丁大小w_p x h_p的选择方法是，使得在每个区域内仍能检测到小于补丁的目标。内部实验表明，最小的补丁理想情况下包含至少100个像素，以确保统计检查。

根据本发明所述的一个示例性实施方式，实施一投票映射的生成。

根据我们的模型，每个同质补属于一个非目标区域。因此，可为每个区域m生成一投票映射集V^(m)，

用于每个p_j ^(m)。投票映射V_j ^(m)具有输入图像A的大小，并且每个像素x的值V_j ^(m)(x)表示该像素属于背景补丁的相似性。

根据本发明所述的一个示例性实施方式，为了确定V_j ^(m)，我们为每个补丁计算一个特征描述符/>并为A中的每个像素计算一个描述符d(x)。投票映射可被计算为：

在所提出的方法中，我们以LAB色彩空间的强度值作为特征，并通过计算一补丁p_j ^(m)的所有像素的平均特征矢量来确定V_j ^(m)是与补丁/>相对应的投票映射。图4描述了两个投票映射示例。

根据本发明所述的一个示例性实施方式，为确定哪些像素属于与补丁相同的背景区域，进行投票映射上的一项阈值处理。在阈值处理期间，与所有其余像素相比具有高相似性的像素被认为属于与补丁相同的背景区域。

其中BV_j ^(m)是为一补丁计算的二值化投票映射，以及自适应阈值/>计算如下：

T_a，j＝ρ·Dyn(V_j ^(m)) (4)

根据本发明所述的一个示例性实施方式，对投票映射V_j ^(m)的仔细分析表明，相似度值的分布遵循高斯混合模型。因此，操作符Dyn(.)通过对V_j ^(m)的阈值处理方法给出，其中，控制参数ρ＝0.2。阈值方法的一个例子是大津(Otsu)算法。

最后，根据本发明所述的一个示例性实施方式，每个二值化投票映射BV_j ^(m)包含属于周围环境BV_j ^(m)(x)＝0或形成潜在候选目标的区域BV_j ^(m)(x)＝1的像素。

根据本发明所述的一个示例性实施方式，实施一项投票映射的组合。现在，通过组合所有二值化投票映射，可仅获得属于目标区域的那些像素。

根据本发明所述的一个示例性实施方式，对未投票到任何背景补丁的所有像素加以识别。由此，根据相应补丁实际属于哪个区域来对所有二值化投票映射加以组合。

根据本发明所述的一个示例性实施方式，区域m的最终投票映射V_j ^(m)是二值化映射BV_j ^(m)和相邻二值化映射BV_j ^(m+1)的一个加权组合。

根据本发明所述的一个示例性实施方式，由于不同区域之间的边缘由于不同区域内的不同补丁尺寸而难以建模，因此引入不同区域的组合：

和一个因子r∈[0，1]，然后，我们可如下所示，通过累积个体化的和二值化的投票映射V^(m)来计算最终投票映射V_f：

根据本发明所述的一个示例性实施方式，可使用以下的实施细节：

区域(矩形)n＝3；补丁尺寸为14-29x 10-20像素

ρ＝0.2；r＝0.66；dev_c＝0.1。

实验分析评估显示上述参数的最佳性能：

根据本发明所述的一个示例性实施方式，可生成假设。

在累积所有二值化投票映射后，最终投票映射中可能存在尚未被分配给周围环境的像素。

根据本发明所述的一个示例性实施方式，这些像素可属于潜在候选目标和形式的区域，因此，这些区域用于生成假设。

根据本发明所述的一个示例性实施方式，为了提取用于生成假设的相关区域，我们首先使用聚类方法根据像素在图像中的位置对其进行聚类。

根据本发明所述的一个示例性实施方式，聚类后实施一细化处理阶段，以避免生成包含多个邻近候选目标区域或噪声的单一假设，其中，假设不同但邻近的候选目标具有不同的外观并由此具有不同的特征。

因此，根据本发明所述的一个示例性实施方式，一聚类内所有特征I_c与其平均值的偏差不应超过由下式计算的特定值dev_c。

根据本发明所述的一个示例性实施方式，如果若干目标区域构成一个聚类，则在所有特征上使用k平均聚类方案对其进行迭代聚类，然后重新聚类以避免迷你聚类。

由于我们只期望具有特定尺寸的目标，因此无良好紧密性的聚类被忽略。紧密性标准包括聚类在x方向和y方向的延伸以及方形像素中的整体大小。

根据本发明所述的一个示例性实施方式，如果一聚类包含多于300个像素，或如果一聚类在x方向或y方向上延伸超过150个像素，则该聚类被解除。

图2描述了根据本发明所述的一个示例性实施方式所提出的通用假设生成方法。

图2在顶部尤其显示：原始图像或输入图像A以及最终或完整的投票映射。在底部显示：远距离候选目标和地面实况的假设。

图3以流程图架构的草图形式描绘了根据本发明所述的一个示例性实施方式所提出的方法。

图4显示空中两个同质补丁的位置，原始图像(a)中显示图像左侧的灰色框，以及右侧树中的灰色框。投票映射是针对(b)中左侧所显示的补丁和(c)中右侧所显示的补丁计算的。

图5描述了根据本发明所述的一个示例性实施方式的实验结果。

该方法在一高速公路交通数据集上进行分析评估。它所关注的是，指定距离中所有车辆和目标是否包括在最终目标假设内。这是通过一组指标和在所检测区域中目标的定性分析来分析评估的。

下列数据集和标签被加以使用。为了评估该方法，记录了一个含有80个不同高速公路场景的数据集。从每个场景中选择包含远距离车辆的两个图像。

图8展示了数据集的几个示例。图像的大小为640x1176像素。所有相关目标以像素方式被标记为每个场景中的被关注/感兴趣的目标区域，参见图8(b)。

在此，只有指向运动相反方向的交通标志被视为目标区域。同样，至少70％被另一目标覆盖的目标被认为是单个组合目标区域。

图5描述了根据本发明所述的一个示例性实施方式，在细化前(暗灰色)和细化后(浅灰色)的以像素方式的召回率。平均而言，目标区域在细化前61.9％被覆盖，在细化后51.6％被覆盖。

图6在(a)中描述了显示细化前，被至少10％(浅灰色)和20％(灰色)数据集覆盖的目标区域的召回率。在(b)中描述了细化后与(a)中相同的测量。在图6的(c)中，描述了细化前以像素方式的精确率值(浅灰色)和F度量(F-Measure)值(深灰色)。在(d)中描述了与(c)中相同但在细化处理阶段后的值。(a)和(b)中条形顶部的数字显示每个目标大小数据集中的目标数量。

图7在上半部分描述了细化前(a)和细化后(b)的两个场景。过渡像素和树中的许多误报召回率在细化处理阶段期间被加以识别和消除。

图7在下半部分描述了所有目标大小的平均召回率、精确率和F度量(F-Measure)值结果，用于描述客观性度量(目标度量)和本目标识别方法。

这些数值以对数标度显示，以便能在一幅图中对召回率、精确率和F度量(F-Measure)值加以比较。这可看出，我们的方法优于对所选择的所有度量的假设生成方法。

图8在(a)中示出了的原始图像或输入图像。绿色矩形表示(b)到(d)中的缩放区域。该缩放版本为293x 159像素，并显示了远距离目标。(b)中显示了缩放的地面实况数据。(c)描述了细化处理后目标识别的本方法，(d)中示出了客观性度量，其中，红色矩形给出图像中最有可能的目标。

图8描述了相比另一种已知方法，用于目标识别的本方法的质量。

图8中，(d)显示了在远距离候选目标方面的性能。给予客观性算法的图像被裁切成293x 159像素的尺寸，并且仅显示大小为最大50x 50像素的最初70个目标框，参见图8的(d)。

客观性线索是为大型目标精心设计的；然而，远距离的小目标较难通过相同的线索被识别。由于这些场景中的颜色分布太宽而无法获得相关结果，因此多尺度显著性不能应用于整个高速公路场景。

由于远距离目标在图像上占据很少像素，因此边缘密度标准以及超像素跨越不能为目标假设提供重要佐证。对远距离目标，局部或半局部指标更合适。

为将已知的边框算法与我们提出的像素方法进行比较，一边框内的所有像素都被归属为一个召回率。然后如所描述的那样对召回率进行分析评估。

图7显示了用于客观性测量和用于当前的细化处理前/细化处理后的目标识别方法的、在小于200像素的所有目标尺寸上以像素方式的平均召回率、精确率和F度量(F-Measure)值的示例。

它表明，目标识别方法在召回率值上明显表现更好，而在精确率和F度量(F-Measure)值的表现大致相同。

因此，用于目标识别的本方法可用于提高小候选目标的目标区域识别率。

图9以一示意图方式描述了根据本发明所述一个示例性实施方式、用于目标识别的装置。

该装置100可包括一个补丁选择器10、一个投票映射生成器20、一个投票映射组合器30和一个假设生成器40。

补丁选择器10被设置为将输入图像A细分为多个区域z^(m)，并为各区域z^(m)定义多个补丁p_j ^(m)；

投票影射生成器20被设置为为所述多个区域z^(m)中的每个区域m和所述多个补丁p_j ^(m)的每个补丁p_j提供一个投票映射集V^(m)，并将所生成的一投票映射集V^(m)二值化。

投票映射组合器30被配置为组合二值化的投票影射集V^(m)。

假设生成器40被配置为由或从组合的二值化投票映射集V^(m)生成一个假设并对由或从组合的二值化投票映射集V^(m)所生成的假设执行细化处理。

图10以一示意图方式描述了根据本发明所述一个示例性实施方式，用于目标识别的方法。

用于一车辆输入图像A的目标识别方法可包括以下步骤：

作为该方法的一个第一步骤，将输入图像A细分S1为多个区域z^(m)，并为各区域z^(m)定义多个补丁p_j ^(m)。

作为该方法的一个第二步骤，为多个区域z^(m)中的每个区域m和多个补丁p_j ^(m)的每个补丁p_j提供S2一个投票映射集V^(m)，并可执行对所生成投票映射集V^(m)的二值化。

作为该方法的一个第三步骤，组合S3二值化投票映射集V^(m)。

作为该方法的一个第四步骤，由或从组合的二值化投票映射集V^(m)生成S4一个假设，并对由或从组合的二值化投票映射集V^(m)所生成的假设进行细化处理。

换句话说，本发明以有益的方式提供了直接导致一般目标区域识别的投票映射的生成，从而优于基于客观性度量的现有假设生成。

本发明以有益的方式仅使用颜色信道在高速公路场景上提供投票映射的生成，同时，还应用诸如定向和局部差异性等其他特征。

换句话说，本发明以有益的方式规定，在指定场景内给定一定程度同质性的情况下，可在不使用关于该场景任何先验知识的情况下，召回(恢复/获取)高速公路场景中候选目标的假设。

这使该用于目标识别的方法可用于在例如具有高速度的高速公路场景中提高用于远距离目标假设的先进驾驶员辅助系统(ADAS)算法的识别率。可及早发现任何交通标志、汽车或未知目标。随后的分类阶段可仅应用于潜在感兴趣区域，同时明显降低误报率。

使用我们的方法尤其可找到诸如掉落的独木舟、自行车、鞋子、饮料箱等意外出现在公路上的候选目标，尽管没有对这些目标进行事先假设。

由此，可提高诸如自适应巡航控制(ACC)或交通标志识别(TSR)等基于摄像机的辅助功能的鲁棒性。然而，由于在局部聚类期间异常值会被抑制，微小目标依然无法被去除。这可通过使用一时间过滤器和基于候选像素差异性的概率值来克服。

该方法应用于高速公路场景，在为先进驾驶员辅助系统(ADAS)算法生成汽车目标的假设方面显示出大有希望的结果。然而，时间过滤和结合诸如道路模型等先验知识可进一步提高我们方法的性能。

根据另一示例性实施方式，可借助一补丁分类器实施区域z^(m)的多个补丁p_j ^(m)的分割，以消除在诸如空中或树木等区域中检测到的误报目标假设，为每个区域m提供一改进的投票映射集V^(m)。

必须注意，根据本发明所述的实施方式是参考不同主题来描述的。尤其是，一些实施方式将参考方法类型的权利要求来描述，而其他实施方式则参考装置类型的权利要求来描述。

但是，一名本领域的专业人员将从以上和前面的描述中确定，除非另有说明，除了属于同类型标的特征的任何组合外，还顾及到了与本申请一起公开的、不同标的相关特征之间的任何组合。

但是，所有特征都可组合，以达到远胜于将各项特征简单相加的协同效应。

虽然已在附图和前面的描述中对本发明进行了详细的图示和描述，但这类图示和描述应被认为是说明性或示例性的，而不是限制性的；本发明不限于所公开的实施方式。

本领域专业人员可通过对附图、所公布内容及所附权利要求的研究，理解和实现所公布实施方式的其他变异形式以及实践这一专利。

在权利要求中，词语“包括”不排除其他器件或步骤，并且不定冠词“一”或“一个”不排除多个。一个处理器或控制器或其他单元可实现权利要求中记载的若干项功能。

在相互不同的从属权利要求中叙述某些措施的仅有事实并不表示这些措施的组合不能用于获益。权利要求中的任何参考标记不应被视为对范围的限制。

Claims (9)

1.用于输入图像(A)的目标识别装置(100)，该装置(100)包括：

-一个补丁选择器(10)，其被配置为将输入图像(A)细分为多个区域z^(m)，以及为各区域z^(m)定义多个补丁p_j ^(m)，以及使用每个补丁p_j ^(m)的内部统计为各区域z^(m)提供多个补丁p_j ^(m)，以将补丁分类为属于背景区域或目标区域；

-一个投票映射生成器(20)，其被配置为针对所述多个区域z^(m)中的每个区域m和所述多个补丁p_j ^(m)的每个补丁p_j ^(m)生成一个投票映射集V^(m)，并被配置为对所生成一投票映射集V^(m)进行二值化；

-一个投票映射组合器(30)，其被配置为组合二值化的投票映射集V^(m)；以及

-一个假设生成器(40)，其被配置为由或从组合的二值化投票映射集V^(m)生成一个假设并对由或从组合的二值化投票映射集V^(m)所生成的假设进行细化处理。

2.根据权利要求1所述的装置，

其中，补丁选择器(10)被配置为通过在每个补丁p_j ^(m)内的所有像素强度I上计算的高斯分布P(p_j ^(m))来对每个补丁p_j ^(m)的内部统计进行建模。

3.根据权利要求1或2所述的装置，

其中，补丁选择器(10)被配置为给各区域z^(m)的多个补丁p_j ^(m)定义补丁大小，使得在每个区域m内仍能检测到小于补丁的目标。

4.根据权利要求1或2所述的装置，

其中，投票映射生成器(20)被配置为生成包括与输入图像(A)的图像大小相对应的映射大小的投票映射集V^(m)。

5.根据权利要求1或2所述的装置，

其中，投票映射生成器(20)被配置为通过计算i)每个补丁p_j ^(m)的特征描述符I_j ^(m)和/或ii)输入图像(A)的每个像素的描述符d(x)来生成投票映射集V^(m)。

6.根据权利要求1或2所述的装置，

其中，投票映射生成器(20)被配置为通过在计算每个补丁p_j ^(m)的所有像素上的平均特征矢量方面确定一个特征描述符I_j ^(m)来生成该投票映射集V^(m)。

7.根据权利要求1或2所述的装置，

其中，投票映射生成器(20)被配置为通过对投票映射进行阈值处理来确定，哪些像素属于与补丁p_j ^(m)相同的背景区域，和/或其中，投票映射生成器(20)被配置为将与其余像素相比具有高相似度的像素分配给属于与补丁p_j ^(m)相同的背景区域。

8.根据权利要求1或2所述的装置，

其中，投票映射组合器(30)被配置为识别所有未被投票到背景补丁的像素。

9.用于输入图像(A)的目标识别方法，该方法包括以下步骤：

-将输入图像(A)细分为多个区域z^(m)，并为各区域z^(m)定义多个补丁p_j ^(m)；以及使用每个补丁p_j ^(m)的内部统计为各区域z^(m)提供多个补丁p_j ^(m)，以将补丁分类为属于背景区域或目标区域；

-为所述多个区域z^(m)中的每个区域m和所述多个补丁p_j ^(m)的每个补丁p_j ^(m)生成一个投票映射集V^(m)，并将所生成的投票映射集V^(m)进行二值化处理；

-组合二值化的投票映射集V^(m)；以及

-由或从组合的二值化投票映射集V^(m)生成一个假设，并对由或从组合的二值化投票映射集V^(m)所生成的假设进行细化处理。