CN105678315A - 生成训练图像的方法以及目标识别系统的学习方法 - Google Patents

Abstract

一种生成训练图像的方法以及目标识别系统的学习方法，在生成显示有自然目标环境中的待识别目标的训练图像的方法中，通过将摄像机拍摄的基础图像与模板图像组合而生成作为合成图像的训练图像，用从模板图像通过移位映射算法获得的结构特征来替换从所述基础图像获得的结构特征。

Description

生成训练图像的方法以及目标识别系统的学习方法

技术领域

本发明涉及一种生成训练图像的方法，特别是为基于摄像机的目标识别系统的学习提供的训练图像，该图像显示了自然目标环境中待识别目标。

背景技术

基于摄像机的目标识别系统在汽车工程中尤其变得越来越重要。计算机辅助图像处理系统能够可靠地识别不同的感兴趣目标，例如所拍到的摄像图像中的路标、车道标记、行人等等。所谓的学习方法或训练方法经常用于开发和/或改编相应的识别算法。在该方法中，将一系列训练图像提交给图像处理系统，这些训练图像是样本图像，示出了相应的目标环境中的典型待识别目标。

在基于图像的目标识别技术领域中，已经公开了许多不同的学习方法。然而，这些方法都需要相当多的不同的训练图像，以达到可接受的学习结果。在许多实际情况下，采用所谓的分类器进行学习，通过分类器，可以将图像中识别出的目标划分到不同且不相关联的对象类中。在具有相对多数量的类的应用中，尤其存在这样一个问题，即需要花费大量的时间和精力来获取训练图像。当特定类的对象在日常现实中相对少时，这一问题可能会更严重。例如，德国有14种不同版本的限速路标——从5km/h高达130km/h。可以想象得到，在这种情况下，为所有14类生成足够规模的数据集，是极其复杂的，特别是对于那些比较少出现的路标的类，例如限速5km/h或110km/h。

因此，需要一种生成训练图像的简化方法。

发明内容

这个目的是通过具有权利要求1的特征的方法来满足。

根据本发明，通过将摄像机拍摄的基础图像和模板图像进行组合，来生成作为合成图像的训练图像，在一个主要的示例中，通过移位映射算法从基础图像获得结构特征，将该结构特征替代为从模板图像获得的结构特征。

以此方式，同一个基础图像可以设置有不同目标。例如，基础图像中的50km/h限速路标可以替换为5km/h的限速路标，该基础图像是用摄像机以常规方式拍摄而得，其在本文中也被称为自然图像。使用这种合成的训练图像，可以极大地减少为数据提供而耗费的精力。移位映射算法的使用使所生成的合成图像具有与基础图像同样的自然外观。然而，在与各个目标相应的直接替换的图像区域不可避免会出现有关照明条件的可识别差异，使用移位映射算法，自然基础图像的照明程度和整体表现将始终保持为结构特征的替换。

本发明的另一改进可以从从属权利要求、说明书和附图看出。

优选地，结构特征的替换可以仅通过重新排列基础图像的像素来实现。为此目的，可以于移位映射算法的框架内执行一种重新排列的方法。合成的训练图像中只出现那些色调值，而那些色调值也出现于自然基础图像中，这是十分有利的。因此，即使训练图像是合成图像，但是它具有完全的自然感观，即使它是合成图像。

在本发明的一种实施方式中，基础图像的像素的重新排列被限制于基础图像的一部分区域，优选为中央部分区域。这可以通过适当调整移位映射算法的优化准则以简单方式而产生。从而，像素的重新排列可以限制于其中通常会有待识别对象的图像的部分区域。这种调整方法的优点之一在于，完全没有改变目标周围的背景。

根据本发明的另一实施方式，优化准则被用于移位映射算法，其包括保持基础图像的像素间距离关系、避免所生成的训练图像出现色调值不连续、和/或保持基础图像和模板图像间的相似度。以此方式，可以生成有特别自然外观的训练图像。

根据本发明一特定实施方式，将基础图像和模板图像相互比较，以确定出用于表示图像相似度的距离维度，该距离维度用作为移位映射算法的优化准则。距离维度为各个图像的相似度提供客观标准，其可以成为移位映射算法的优化函数的一部分，例如能量函数或位势。

优选地，在相互比较基础图像和模板图像以确定距离尺寸之前，将基础图像和模板图像转换成标准参考帧。在标准的参考帧中，这两幅图像有充分的对象相关可比性。特别地，通过标准转换可以将对象的倾斜、变形或位移考虑进去。

结构特征可以是纹理和/或图案。如果待识别目标是路标，图案可以是，例如，表示限速值的数字序列。

模板图像可以是摄像机拍摄的图像，换言之，模板图像是自然图像。对于相对罕见的目标，只需要拍摄若干幅图像或甚至仅一幅图像，就足够生成用于这种目标类型的多幅不同的训练图像。因此，在本实施方式中，将两幅自然图像彼此结合来生成训练图像。

本发明一替代的实施方式中，模板图像是图形化生成，可以说是合成图像。基本上，可以为一个目标生成一组训练对象，其中不存在一幅摄像图像，即自然图像。因此该方法的灵活性特别高。

基础图像和训练图像可以分别示出道路环境中的交通标志。实践证明，根据本发明的生成训练图像的方法特别适合于识别路标的学习算法。

为此本发明也涉及一种目标识别系统的学习方法，特别是道路标记识别系统，其中，提供显示了自然目标环境中待识别目标的训练图像，并利用训练图像，通过图像处理系统开发或改编用于目标识别的识别算法。根据本发明，可以通过上述方法来生成至少一幅训练图像。实际上，优选地，可以用上述方法生成多幅训练图像。通过所提供的合成的训练图像，可以大大减少数据采集过程的工作，从而使目标识别系统的学习在整体上因此更为有效。

根据这个方法的一实施方式，识别算法包括分类算法，用于将识别出的目标关联到多个预定义的对象类中的一类。通过合成的训练图像，可以特别容易地训练出这种分类器。

本发明还涉及一种计算机程序产品，其包括程序指令，当计算机程序运行于计算机时，程序指令执行如上给出的生成训练图像的方法和/或目标识别系统的学习方法。

下面将参照附图以举例的方式描述本发明。

附图说明

图1以示意方式示出了根据本发明的生成训练图像的方法的不同步骤；

图2A示出了基础图像、模板图像、以及通过本发明的方法从基础图像和模板图像生成的训练图像；

图2B示出了另一实施方式中的基础图像、模板图像、以及通过本发明的方法从基础图像和模板图像生成的训练图像。

具体实施方式

图1示意性示出了一种用于生成训练图像10的方法，其需要基础图像11和模板图像13作为输入的数据集。在所示的实施方式中，基础图像11和模板图像13分别示出了行车路面环境中的路标20、20'。基础图像11的路标20表示限速50km/h，而模板图像13的路标20'表示限速80km/h。

基础图像11是由摄像机拍摄的自然图像，而模板图像13可以是由摄像机拍摄的自然图像，也可以是图形化生成的图像。基础图像11用作待生成的训练图像10的背景模型，并设定了一组灰度值或彩色值以用于生成训练图像10。换言之，基础图像11于有关可能的灰度值及路标20的形状方面界定了训练图像10的表现。在本实施方式中，可以从模板图像13获取作为结构特征的路标20’的内容，该内容显示了用于表示限速的数字序列，并被用于替代基础图像11的相应的结构特征。因此，基础图像11中的路标20的图案被替换为模板图像13的路标20'的图案。

由于基础图像11和模板图像13通常重现不同的照明条件，因此对应路标20、20’的图像区域的简单替换，不论怎样，都会产生不自然表现的训练图像10。为此，使用移位映射算法重新设置，以便交换结构特征。移位映射算法在数字图像处理领域是众所周知的，例如Pritch等人在2009年的IEEE第12届计算机视觉国际会议第150-158页发表的论文“移位映射图像编辑”中的描述。

移位映射算法规定了不同的优化准则，例如位势函数形式或能量函数形式的优化准则。一种优化准则是保持基础图像11和模板图像13间的相似性。为此，通过第一变换14和随后的第二变换19，将基础图像11和模板图像13转换为标准的参考帧21。第一变换14是所谓的形状变换，用以补偿路标20、20'的变形、倾斜和位移的所谓的形状变换。第二变换19是所谓的外形变换，即图像缩放或特征提取，其可使基础图像11和模板图像13相互比较。因此通过第二变换19可以获得不改变外形的路标20、20'。第二变换19可以特别地包括基于直方图均衡、方差归一化、边缘图像、“梯度方向的直方图”、和/或正交变换的特征提取器。

因此，可以在标准的参考帧21中对路标20、20'的变形、倾斜和位移进行补偿，从而可以客观地相互比较基础图像11和模板图像13。然后，确定出表示图像11、13的相似性的距离维度，该距离维度被直接用作移位映射算法的优化准则。

另一优化准则是保持基础图像11的像素的距离关系，以及避免在所生成的训练图像10出现不连续的色调值。

优选地，移位映射算法由四个不同条件组成，即一元池位势（unarypoolpotential）、一元对象位势（unaryobjectpotential）、一元相似度位势（unarysimilaritypotential）和成对位势（pair-wisepotential）。一元池位势设定了基础图像的一组可能的位置，其可用于设计训练图像10。一元对象位势设定的区域中，路标20、20’定位于基础图像11和模板图像13中——这里对应中央的图像区域。一元相似度位势设定了上述的基础图像11和模板图像13间的相似性测量。成对位势规定避免训练图像10中出现不连续性。这意味着成对位势提供了足够平滑的移位映射的特性。

在执行移位映射算法之后，得到合成的训练图像10，其具有基础图像11的整体表现，但却示出了模板图像13的路标20'。

图2A和2B示出了不同实施例中的基础图像11、模板13和使用上述算法合成的训练图像10。可以分别看出，训练图像10通常形似基础图像11。特别是背景25，即路标20'的环境，完全保持不变。但是，根据模板图像13所示的路标20’，限速值发生变化——图2A中从50变为30，图2B中从50变为100。由于没有复制图像区域，而是仅重新排列基础图像11的像素，所以训练图像10中的路标20'的亮度对应于基础图像11的亮度，而非例如模板图像13的亮度。因此训练图像10具有自然的表现，即使它是合成图像。

使用上述方法，可以生成例如多幅训练图像；其分别示出了具有限速30km/h的路标20'，且就这点来说，如果存在足够多的显示其它限速的路标20的基础图像11，每幅训练图像具有不同的背景。因此可以省时且简单地提供一组训练图像10，将其用作路标识别系统的学习方法的输入。然后，可以使用这些训练图像10来开发或改编用于识别路标20的识别算法。优选地，这种识别算法包括分类器，用于将识别出的路标20关联到多个预定义分类中的一类，例如，德国14类限速标志中的一类。

上述生成训练图像10与关联的路标识别系统的学习方法都可以运行于具有足够性能比的任何所期望的计算机上。可以理解的是，根据本发明的生成训练图像10的方法不仅有利于路标识别系统的学习，而且与任何所需的可训练的基于摄像机的目标识别算法一起使用。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

参考标号列表

10训练图像

11基础图像

13模板图像

14第一变换

19第二变换

20,20'路标

21标准的参考帧

25背景

Claims (12)

1.一种生成训练图像（10）的方法，尤其是为基于摄像机的目标识别系统的学习提供的训练图像，所述训练图像显示自然目标环境（25）中的待识别目标（20'），其特征在于，通过将摄像机拍摄的基础图像（11）与模板图像（13）组合而生成作为合成图像的训练图像（10），其中去除所述基础图像（11）的结构特征，并用从模板图像（13）通过移位映射算法获得的结构特征予以替换，其中，仅通过重新排列基础图像（11）的像素来实现结构特征的替换。

2.根据权利要求1所述的方法，其特征在于，所述基础图像（11）的像素的重新排列仅限于所述基础图像（11）的一部分区域。

3.根据权利要求1所述的方法，其特征在于，所述基础图像（11）的像素的重新排列仅限于所述基础图像（11）的中央部分区域。

4.根据前述任一项权利要求所述的方法，其特征在于，优化准则被用于移位映射算法，其包括保持基础图像（11）的像素距离关系、避免所生成的训练图像（10）出现不一致的色调值、和/或保持基础图像（11）和模板图像（13）间的相似度。

5.根据前述任一项权利要求所述的方法，其特征在于，相互比较所述基础图像（11）和所述模板图像（13），以确定出用于表示图像相似性的距离维度；所述距离维度用作移位映射算法的一种优化准则。

6.根据权利要求5所述的方法，其特征在于，在相互比较所述基础图像（11）和所述模板图像（13）之前，使用距离维度，将二者转换为标准的参考帧（21）。

7.根据前述任一项权利要求所述的方法，其特征在于，所述结构特征包括纹理和/或图案。

8.根据前述任一项权利要求所述的方法，其特征在于，所述模板图像（13）是用摄像机拍摄的图像。

9.根据权利要求1-7任一项所述的方法，其特征在于，所述模板图像（13）为图像化生成的图像。

10.根据前述任一项权利要求所述的方法，其特征在于，所述基础图像（11）和所述训练图像（10）各自显示道路环境中的路标（20，20'）。

11.一种目标识别系统的学习方法，尤其是路标识别系统的学习方法，其中，提供显示有自然目标环境（25）中的待识别目标（20，20'）的训练图像（10），并使用所述训练图像（10），通过图像处理系统开发或改编用于识别目标（20，20'）的识别算法，其特征在于，所述至少一幅训练图像（10）是通过根据前述任一项权利要求所述的方法而生成。

12.根据权利要求11所述的方法，其特征在于，所述识别算法包括分类算法，用于将识别出的目标（20，20'）关联到多个预定义的对象类中的一类。