CN109643363A - 特征提取和对象检测的方法、系统和装置 - Google Patents

Abstract

公开了一种特征提取的方法、系统和装置和一种对象检测的方法、系统和装置。在特征提取的方法中，多个图像通道从训练图像中的每一个生成；通道内特征从针对训练图像中的每一个的多个图像通道提取，其中通道内特征包括独立地从单个图像通道提取的特征；跨通道特征从针对训练图像中的至少一个的多个图像通道提取，其中跨通道特征包括从至少两个图像通道提取的特征。通道内特征和跨通道特征形成用于特征选择和分类器训练的特征的集合。利用本公开的方案，反映跨不同的图像通道的鉴别信息的跨通道特征可以连同通道内特征一起进一步被用于对象检测，并且因此存在针对对象检测的丰富得多的特征并且可以实现对象检测的更好的准确度。

Description

特征提取和对象检测的方法、系统和装置

技术领域

本公开的非限制性和示例性实施例总体上涉及对象检测的技术领域，并且特别地涉及一种特征提取的方法、系统和装置以及一种对象检测的方法、系统和装置。

背景技术

本部分介绍可以促进本公开的更好的理解的各方面。因此，本部分的陈述将就此而论被阅读，并且将不被理解为是关于什么是现有技术或者什么不是现有技术的承认。

对象检测是计算机视觉的重要技术，其是找到图像或者视频中的真实世界对象(诸如面部、自行车和建筑物)的实例的过程。检测图像或者视频中的对象在计算机视觉或者移动视觉系统(诸如智能视频监督、流量监测、车辆导航、基于照相机的驾驶员辅助、人机交互等)中扮演重要角色。有效并且高效的对象检测是可以开始类似上文所提到的那些任务的许多任务的先决条件。因此，对象检测的高性能对于成功图像/视频分析是关键。

在现有方案中，存在各种对象检测方法。这些对象检测方法通常地使用提取特征和学习算法来识别对象类别的实例。因此，特征提取和特征分类是对象检测的两个关键构成部分，并且所提取特征的鉴别限制分类性能的上限。因此，对象检测的性能主要由特征提取和分类的性能来确定。

在常规方法中，主要存在三种用于特征提取的方式：(1)完全手工(HC)特征、(2)随后学习算法的手工提取特征(HCLA)(例如，特征选择算法)、和(3)基于深度学习(DL)特征。经典的手工(HC)特征的两个示例包括类哈尔特征和方向梯度直方图(HOG)，其二者已经分别在人脸检测和行人检测中获得了好的结果。深度学习(DL)特征过于复杂以致于不能在没有高性能硬件的情况下高效地计算。HCLA特征包括例如积分通道特征(ICF)、聚合通道特征(ACF)、局部去相关通道特征(LDCF)、InformedHaar、SquaresChnFtrs、滤波通道特征(FCF)和非相邻特征，其中ACF、LDCF、InformmedHaar、SquaresChnFtrs和FCF是ICF的所有变型，并且因此其还可以被称为类似ICF的特征。在这些方式的共同过程中，首先从输入图像生成图像通道的集合，然后将图像通道中的每个被划分成图块并且从这些图块提取特征，并且将最后提取的特征馈送到类似经由分类器训练算法(诸如AdaBoost)学习的决策森林的决策装置中。

最近，一些新思想被提出以改进特征提取的性能，例如增加图像通道的数目、使用部分和之差而不是部分和、修改图像通道中的图块的划分方式等等。然而，特征提取和对象检测的所获得的性能仍然未能满足对于对象检测的性能的不断地增加的要求。

因此，在本领域中，需要一种用于特征提取和对象检测的新方案。

发明内容

本公开的各种实施例主要旨在提供用于特征提取和对象检测的方法、系统和装置来改进对象检测的准确度并且实现对象检测的更好的性能。当结合通过示例图示本公开的实施例的原理的附图阅读特定实施例的以下描述时，从这些特定实施例还将理解本公开的实施例的其他特征和优点。

在本公开的第一方面中，提供了一种特征提取的方法。该方法包括：通过非线性转换从训练图像中的每个训练图像生成多个图像通道；针对训练图像中的每个训练图像从多个图像通道提取通道内特征，其中通道内特征包括从单个图像通道独立地提取的特征；并且针对训练图像中的至少一个训练图像从多个图像通道提取跨通道特征，其中跨通道特征包括从至少两个图像通道提取的特征。通道内特征和跨通道特征形成用于特征选择和分类器训练的特征的集合。

在本公开的一个实施例中，从多个图像通道提取跨通道特征可以包括：基于一个或多个图块组中的图块来确定跨通道特征，所述图块组每个图块组包括分别在至少两个图像通道上的至少两个对应的图块。

在本公开的另一实施例中，从多个图像通道提取跨通道特征还可以包括在确定跨通道特征之前，分别地对一个或多个图块组中的图块的特征值进行归一化。

在本公开的另一实施例中，基于一个或多个图块组中的图块确定跨通道特征可以包括：从一个或多个图块组中的至少两个图像通道中的相应图像通道上的图块获得针对至少两个图像通道中的相应图像通道的组合特征；基于针对至少两个图像通道中的相应图像通道的组合特征，获得跨通道特征。

在本公开的又一实施例中，基于一个或多个图块组中的图块确定跨通道特征可以包括：从一个或多个图块组中的图块组中的图块获得针对该图块组的组合特征；并且基于针对该图块组的组合特征，获得跨通道特征。

在本公开的又一实施例中，基于一个或多个图块组中的图块确定跨通道特征还可以包括：基于一个或多个图块组中的另一图块组中的图块，获得针对另一图块组的另一组合特征。在这样的情况下，获得跨通道特征还可以包括：基于针对图块组的组合特征和针对另一图块组的另一组合特征，获得跨通道特征。

在本公开的第二方面中，提供了一种对象检测的方法。该方法包括：通过非线性转换从图像生成多个图像通道；从多个图像通道提取预定通道内特征，其中预定通道内特征包括从单个图像通道独立地提取的特征；从多个图像通道提取预定跨通道特征，其中预定跨通道特征包括从至少两个图像通道提取的特征；以及基于预定通道内特征和预定跨通道特征，确定图像是否包含期望的对象。

在本公开的第三方面中，提供了一种特征提取的系统。该系统包括至少一个处理器；和至少一个存储器，包括计算机程序代码。至少一个存储器和计算机程序代码被配置为利用至少一个处理器使得系统至少：通过非线性转换从训练图像中的每个训练图像生成多个图像通道；针对训练图像中的每个训练图像从多个图像通道提取通道内特征，其中通道内特征包括从单个图像通道独立地提取的特征；并且针对训练图像中的至少一个训练图像从多个图像通道提取跨通道特征，其中跨通道特征包括从至少两个图像通道提取的特征。通道内特征和跨通道特征形成用于特征选择和分类器训练的特征的集合。

在本公开的第四方面中，提供了一种对象检测的系统。该系统包括至少一个处理器；和至少一个存储器，包括计算机程序代码。至少一个存储器和计算机程序代码被配置为利用至少一个处理器使得系统至少：通过非线性转换从图像生成多个图像通道；从多个图像通道提取预定通道内特征，其中预定通道内特征包括独立地从单个图像通道提取的特征；从多个图像通道提取预定跨通道特征，其中预定跨通道特征包括从至少两个图像通道提取的特征；以及基于预定通道内特征和预定跨通道特征，确定图像是否包含期望的对象。

在本公开的第五方面中，提供了一种特征提取的装置。该装置包括图像通道生成模块、通道内特征提取模块和跨通道特征提取模块。图像通道生成模块被配置为通过非线性转换从训练图像中的每个训练图像生成多个图像通道。通道内特征提取模块被配置为针对训练图像中的每个训练图像从多个图像通道提取通道内特征，其中通道内特征包括从单个图像通道独立地提取的特征。跨通道特征提取模块被配置为针对训练图像中的至少一个训练图像从多个图像通道提取跨通道特征，其中跨通道特征包括从至少两个图像通道提取的特征。通道内特征和跨通道特征形成用于特征选择和分类器训练的特征的集合。

在本公开的第六方面中，提供了一种对象检测的装置。该装置包括图像通道生成模块、预定通道内特征提取模块、预定跨通道特征提取模块和图像分类模块。图像通道生成模块被配置为通过非线性转换从图像生成多个图像通道。预定通道内特征提取模块被配置为从多个图像通道提取预定通道内特征，其中预定通道内特征包括独立地从单个图像通道提取的特征。预定跨通道特征提取模块被配置为从多个图像通道提取预定跨通道特征，其中预定跨通道特征包括从至少两个图像通道提取的特征。图像分类模块被配置为基于预定通道内特征和预定跨通道特征，确定图像是否包含期望的对象。

在本公开的第七方面中，提供了一种计算机程序产品，其包括被存储在其上的计算机程序代码，计算机程序代码被配置为当被执行时，使得装置执行根据本公开的第一方面的实施例中的任一个的方法中的动作。

在本公开的第八方面中，提供了一种计算机程序产品，其包括被存储在其上的计算机程序代码，计算机程序代码被配置为当被执行时，使得装置执行根据本公开的第二方面的方法中的动作。

利用本公开的技术方案，借助于非线性转换从训练图像中的每一个生成多个图像通道，并且可以从这些图像通道提取反映图像通道内的鉴别信息的通道内特征和反映跨不同的图像通道的鉴别信息的跨通道特征。因此，除通道内特征之外，跨通道特征还可以被用于对象检测，并且因此有更加丰富的特征用于对象检测并且可以实现更加准确的对象检测。

附图说明

本公开的各种实施例的以上和其他方面、特征和益处将通过示例从参考附图的以下详细描述变得更加完全显而易见，其中相同附图标记或者标志被用于指代相同或者等效元件。附图被示出以促进本公开的实施例的更好的理解，并且其非必然按比例绘制，其中：

图1示意性地图示了现有技术中的示例特征提取过程；

图2示意性地图示了根据本公开的实施例的特征提取的方法的流程图；

图3示意性地图示了根据本公开的实施例的示例特征提取过程；

图4A至图4C示意性地图示了根据本公开的实施例的示例跨通道特征提取方案；

图5示意性地图示了根据本公开的实施例的对象检测的方法的流程图；

图6图示了根据本公开的实施例的特征提取的系统的示意性框图；以及

图7图示了根据本公开的实施例的对象检测的系统的示意性框图；

图8图示了根据本公开的实施例的用于特征提取的装置的示意性框图；以及

图9图示了根据本公开的实施例的用于对象检测的装置的示意性框图。

具体实施方式

在下文中，将参考说明性实施例描述本公开的原理和精神。应当理解，所有这些实施例仅针对本领域的技术人员给定以更好地理解并且进一步实践本公开，但是不用于限制本公开的范围。例如，被图示或者被描述为一个实施例的一部分的特征可以与另一实施例一起被用于形成又一实施例。为了清晰起见，在本说明书中未描述实际实现的所有特征。

说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或者特性，但是并非每个实施例必然包括特定特征、结构或者特性。而且，这样的短语不必指代相同实施例。进一步地，当在结合实施例描述特定特征、结构或者特性时，应当指出的是，结合其他实施例实现这样的特征、结构或者特性是在本领域的技术人员的知识范围内的，不管是否明确描述。

应当理解，虽然术语“第一”和“第二”等可以在本文中被用于描述各种元件，但是这些元件不应当由这些术语限制。这些术语被用于将一个元件与另一个元件进行区分。例如，在不脱离示例实施例的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如本文中所使用的，术语“和/或”包括相关联的列表项中的一个或多个的任何和全部组合。

本文中所使用的术语仅出于描述特定实施例的目的并且并非旨在对示例实施例的限制。如本文中所使用的，除非上下文另外清楚指示，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。将进一步理解到，当在本文中使用时，术语“包括”、“包含”、“有”、“具有”、“含有”和/或“带有”指定说明特征、元件和/或部件的存在，但是不排除一个或多个其他特征、元件、部件和/或其组合的存在或者添加。另外，在以下描述和权利要求中，除非另外定义，否则本文中所使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的含义相同的意义。

在下文中，首先参考图1来描述现有技术中的示例特征提取过程。如在图1中所示，对于输入图像101而言，首先从输入图像101生成图像通道102a至102d的集合，然后将图像通道102a至102d中的每一个被划分成多个图块103，并且从相应图块103提取特征以及将提取的特征存储到特征池104中。被存储在特征池104中的所有提取特征还可以被用于特征选择和分类器训练，以获得经训练的分类器。借助于经训练的分类器，可以检测图像是否包含期望的对象。

然而，对所获得的特征的鉴别仍然尚不足够大来实现有效和高效的对象检测。鉴于此，在本公开的实施例中，提供了一种用于特征提取和对象检测的新方案。在下文中，将参考图2至图9来描述如在本文中详细提供的用于特征提取和对象检测的方案。

图2示意性地图示了根据本公开的实施例的特征提取的方法200的流程图。如在图2中所示，方法从步骤201开始，其中通过非线性转换(例如，颜色空间转换)从训练图像中的每个训练图像生成多个图像通道。从共同照相机取得的图像通常是RGB(红绿蓝)图像。RGB是加性颜色模型，其中红、绿和蓝光以各种方式被加在一起以再现宽颜色阵列。换句话说，RGB图像包含三个重叠的图像通道，红色(R)通道、绿色(G)通道和蓝色(B)通道。然而，在本公开的实施例中，图像通道并不是被包含在原始RGB图像中的R通道、G通道和B通道，而是通过类似颜色空间转换的非线性转换而从RGB图像而获得的。作为说明性但是非限制性示例，图像可以从RGB空间转换为LUV空间。LUV是在1976由国际照明委员会(CIE)定义的颜色模型，其与RGB颜色模型不同并且使用L、U、V表示颜色，其中L表示亮度，U表示红色和绿色的色饱和度，并且B表示黄色和蓝色的色饱和度。LUV可以比RGB更好地反映图像的颜色特性。另外，在本公开的另一实施例中，可以生成进一步的图像通道。例如，还可以获得包括可以表征图像中(例如，在RGB域中或者在LUV空间中)的对象边缘中的改变的图像通道。因此，清楚的是，在本公开的实施例中，图像通道表示图像的不同的特性，换句话说，这些图像通道是异质的。

出于说明的目的，图3图示了根据本公开的实施例的示例特征提取。对于训练图像301中的每一个而言，生成图像通道302a至302d，可以是例如L图像通道、U图像通道、V图像通道和梯度图像通道。

返回参考图2，在步骤202处，然后针对训练图像中的每个训练图像从多个图像通道提取通道内特征。在本文中，术语“通道内特征”意味着从单个图像通道独立地提取的特征。换句话说，所有通道内特征均从相应图像通道被独立地提取，并且因此其反映包含在单个图像通道中的信息。在生成多个图像通道之后，图像通道中的每个图像通道被分成多个图块303。图像的划分在本领域中是已知的并且因此将不在本文中描述。针对图像通道，通道内特征可以从图像通道上的图块303生成。在本公开的实施例中，可以从图像通道上的一个或多个图块303提取通道内特征，只要其是从单个图像通道提取即可。在图3中，通道内特征的提取通过指向特征池304的实线而示出。

此后，在步骤203处，针对训练图像中的至少一个训练图像从多个图像通道提取跨通道特征。在本文中使用的术语“跨通道特征”意味着从至少两个图像通道提取的特征。不同于从单个图像通道独立地提取的通道内特征，跨通道特征联合地从至少两个图像通道被提取，并且因此是不同的图像通道协作工作用于特征提取的结果。因此，跨通道特征可以反映跨不同的图像通道的信息。应注意到，在不同的通道之间可以存在某种关系并且那些信息可以被当作是用于对象检测的互补特征。在图3中，跨通道特征的提取通过指向特征池304的虚线实线示出。

在本公开的实施例中，跨通道特征的实施例可以包括基于一个或多个图块组中的图块来确定跨通道特征。在本文中所使用的术语“图块组”意味着包含分别在至少两个图像通道上的至少两个对应的图块的组。术语“对应的图块”意味着相应图像通道上位于类似位置上或者具有预定位置关系的图块。出于说明的目的，参考图4A至图4C将详细描述跨通道特征。

在图4A至图4C中，图示了四个图块A、B、A'和B'，其中图块A和B是通道i上的两个图块，并且图块A'和B'是另一通道j上的另一图块。图块A和A'位于图像的相同位置处并且因此是对应的图块，并且图块B和B'位于图像的相同位置处并且因此是对应的图块。另外，由于不同的图像通道的特征值可以在数据类型、单位、尺寸等方面彼此不同的事实，因而在确定跨通道特征之前，可以首先分别地对一个或多个图块组中的图块的特征值进行归一化。然而，应当注意，归一化并非是必要的步骤，并且在许多情况下，该方法也可以在没有归一化的情况下执行。应当理解，虽然在图4A至图4C中，图示了两个图像通道，但是使用超过两个图像通道也是可能的。

首先参考图4A，其图示了根据本公开的实施例的示例跨通道特征提取方案。在本公开的该实施例中，从一个或多个图块组中的至少两个图像通道中的相应图像通道上的图块来确定针对至少两个图像通道中的相应图像通道的组合特征，并且然后基于针对至少两个图像通道中的相应图像通道的组合特征来获得跨通道特征。特别地，如在图4A中所示，从通道i上的图块A和B提取针对通道i的第一组合特征，并且从通道j上的图块A'和B'提取针对通道j的第二组合特征。然后，使用第一组合特征和第二组合特征来获得跨通道特征。该过程可以通过下式来表达：

f1＝G3(G1(A,B),G2(A’,B’))等式1

其中f1表示跨通道特征，G1和G2分别地表示用于计算针对通道i和通道j的组合特征的两个函数，其可以相同或者不同，并且G3表示基于组合特征来计算跨通道特征的另一函数。这些函数可以基于图像通道i和j的特性由本领域的技术人员选择，并且因此将不在本文中描述。应当注意，虽然利用图示两个图块组的图4A来描述跨通道特征的提取，但是使用更多图块组也是可能的。

图4B图示了根据本公开的另一实施例的示例跨通道特征提取。在本公开的该实施例中，首先从图块组中的图块获得针对一个或多个图块组中的一图块组的组合特征，并且然后基于针对该图块组的组合特征来获得跨通道特征。特别地，在图4中，从两个图块A和A'获得针对包括图块A和图块A'的图块组的组合特征，并且然后跨通道特征基于该组合特征来获得。跨通道特征提取的过程可以通过下式来表达：

f2＝G5(G4(A,A’))等式2

其中f2表示跨通道特征，G4表示用于计算针对图块组的组合特征的函数，并且G5表示基于组合特征来计算跨通道特征的函数。这些函数可以基于图块组中的图块的特性由本领域的技术人员选择，并且因此将不在本文中描述。此外，还可以理解到，虽然G5被用作基于组合特征来计算跨通道特征的函数，但是将组合特征自身用作跨通道特征也是可能的，这意味着G5＝1。

图4C图示了根据本公开的另一实施例的示例跨通道特征提取。在本公开的该实施例中，除针对如在图4B中所示图块组的组合特征之外，还进一步基于另一图块组中的图块来确定针对另一图块组的另一组合特征，并且跨通道特征基于针对图块组的组合特征和针对该另一图块组的另一组合特征二者来获得。特别地，在图4C中，从两个图块A和A'获得针对包括图块A和图块A'的图块组的第一组合特征，并且从两个图块B和B'获得针对包括图块B和图块B'的图块组的第二组合特征。然后，基于第一组合特征和第二组合特征来获得跨通道特征。跨通道特征提取的过程可以通过下式来表达：

f3＝G7(G4(A,A’),G6(B,B’))等式3

其中f3表示跨通道特征，G4和G6分别地表示用计算针对两个图块组的组合特征的函数，其可以相同或者不同；并且G7表示基于组合特征来计算跨通道特征的函数。还应当注意，虽然利用图示两个图块组的图4C来描述跨通道特征的提取，但是使用更多图块组也是可能的。

本公开的更特定实施例中，A和B度量两个图块的面积，并且A'和B'度量两个图块的高度。在这样的情况下，其可以使用下式来计算跨通道特征；

F＝A×A’-B×B’等式4

因此，跨通道特征F表征两个图块的体积之间的差。

在步骤202处提取的通道内特征和在步骤203处提取的跨通道特征形成特征的集合，其可以被存储在如在图3中所示特征池304中用于特征选择和分类器训练。通过特征选择，特征的集合中间的至少一些特征可以被选择为用于对象特征的特征。在分类器训练之后，其可以获得用于对象检测的分类器或者分类模型。基于分类器或者分类模型，其可以执行实际应用中的测试图像或者图像中的对象检测。

应当注意，虽然通道内特征的提取被描述为在跨通道特征之前操作，但是本公开不限于此。两个操作可以相反地或者并行地执行。

因此，可以看到，在本公开的技术方案中，借助于非线性转换从训练图像中的每个训练图像生成多个图像通道，并且可以从这些图像通道提取反映图像通道内的鉴别信息的通道内特征和反映跨不同的图像通道的鉴别信息的跨通道特征。因此，除通道内特征之外，跨通道特征还可以被用于对象检测，并且因此有更加丰富的特征用于对象检测并且可以实现更加准确的对象检测。

在下文中，参考图5来描述对象检测的方案。参考图5，方法500从步骤501开始，其中通过非线性转换从图像生成多个图像通道。在本文中，多个图像通道类似于用于特征提取的多个图像通道，例如包括LUV图像通道和梯度通道。检测对象时的图像通道的生成也类似于参考图2描述的那些，并且因此在本文中将省略其详细描述。

然后在步骤502处，从多个图像通道提取预定通道内特征，其中预定通道内特征包括从单个图像通道独立地提取的特征。应当注意，不同于特征提取过程，其未提取所有可能的通道内特征，而是在特征选择期间针对对象检测所选择的一个或多个预定通道内特征。

在步骤503处，从多个图像通道提取预定跨通道特征，其中预定跨通道特征包括从至少两个图像通道提取的特征。在本文中，预定跨通道特征还意味着在特征选择期间针对对象检测所选择的一个或多个预定跨通道特征。用于跨通道提取的至少两个图像通道表示例如图像的不同特性。

在本公开的实施例中，提取预定跨通道特征可以通过基于一个或多个图块组中的图块确定预定跨通道特征实现，所述图块组每个包括分别在至少两个图像通道上的至少两个对应的图块。在确定预定跨通道特征之前，可以首先分别地对一个或多个图块组中的图块的特征值进行归一化。

特别地，基于一个或多个图块组中的图块确定预定跨通道特征可以包括：从一个或多个图块组中的至少两个图像通道中的相应图像通道上的图块获得针对至少两个图像通道中的相应图像通道的组合特征；以及基于针对至少两个图像通道中的相应图像通道的组合特征，获得预定跨通道特征。作为备选方案，基于一个或多个图块组中的图块确定预定跨通道特征可以包括：从一个或多个图块组中的图块组中的图块获得针对该图块组的组合特征；并且基于针对该图块组的组合特征，获得预定跨通道特征。另外，还可以基于针对一个或多个图块组中的另一图块组中的图块，获得该另一图块组的另一组合特征。在这样的情况下，获得预定跨通道特征还可以包括：基于针对图块组的组合特征和针对另一图块组的另一组合特征，获得预定跨通道特征。

返回对图5进行参考，在提取预定通道内特征和预定跨通道特征之后，在步骤504处，通过经训练的分类器或者生成的分类模型基于预定通道内特征和预定跨通道特征来确定图像是否包含期望的对象。

应当注意，图像通道的生成、预定通道内特征的提取和预定跨通道特征的提取基本上类似于参考特征提取在上文中所描述的那些操作，并且因此在将不在本文中描述。

参考图6，其图示了根据本公开的实施例的特征提取的系统600的示意性框图。如在图6中所示，系统600至少一个处理器610；和至少一个存储器620，其包括计算机程序代码630。至少一个存储器620和计算机程序代码630被配置为利用至少一个处理器610使得系统600至少：通过非线性转换从训练图像中的每个训练图像生成多个图像通道；针对训练图像中的每个训练图像从多个图像通道提取通道内特征，其中通道内特征包括从单个图像通道独立地提取的特征；并且针对训练图像中的至少一个训练图像从多个图像通道提取跨通道特征，其中跨通道特征包括从至少两个图像通道提取的特征，其中通道内特征和跨通道特征形成用于特征选择和分类器训练的特征的集合。特别地，至少两个图像通道表示图像的不同的特性。

从多个图像通道提取跨通道特征可以包括：基于一个或多个图块组中的图块来确定跨通道特征，所述图块组每个包括分别在至少两个图像通道上的至少两个对应的图块。在确定跨通道特征之前，可以首先分别地对一个或多个图块组中的图块的特征值进行归一化。

在本公开的实施例中，可以从一个或多个图块组中的至少两个图像通道中的相应图像通道上的图块来获得针对至少两个图像通道中的相应图像通道的组合特征，并且然后可以使用针对至少两个图像通道中的相应图像通道的组合特征获得跨通道特征。备选地，可以从一个或多个图块组中的图块组中的图块获得针对该图块组的组合特征；并且然后基于针对图块组的组合特征来获得跨通道特征。另外，还可以基于一个或多个图块组中的另一图块组中的图块来获得针对该另一图块组的另一组合特征。在这样的情况下，跨通道特征可以基于针对图块组的组合特征和针对另一图块组的另一组合特征来获得。

参考图7，其图示了根据本公开的实施例的用于对象检测的系统700的示意性框图。如在图7中所示，系统700包括至少一个处理器710，和至少一个存储器720，其包括计算机程序代码730。至少一个存储器720和计算机程序代码730被配置为利用至少一个处理器710使得系统至少：通过非线性转换从图像生成多个图像通道；从多个图像通道提取预定通道内特征，其中预定通道内特征包括从单个图像通道独立地提取的特征；从多个图像通道提取预定跨通道特征，其中预定跨通道特征包括从至少两个图像通道提取的特征；以及基于预定通道内特征和预定跨通道特征，确定图像是否包含期望的对象。至少两个图像通道可以表示图像的不同的特性。

从多个图像通道提取预定跨通道特征可以包括：基于一个或多个图块组中的图块来确定预定跨通道特征，所述图块组每个包括分别在至少两个图像通道上的至少两个对应的图块。在确定预定跨通道特征之前，可以分别地对一个或多个图块组中的图块的特征值进行归一化。

在本公开的另一实施例中，基于一个或多个图块组中的图块确定预定跨通道特征可以包括：从一个或多个图块组中的至少两个图像通道中的相应图像通道上的图块获得针对至少两个图像通道中的相应图像通道的组合特征；以及基于针对至少两个图像通道中的相应一个的组合特征，获得预定跨通道特征。备选地，基于一个或多个图块组中的图块确定预定跨通道特征可以包括：从一个或多个图块组中的图块组中的图块获得针对该图块组的组合特征；并且基于针对该图块组的组合特征，获得预定跨通道特征。另外，还可以基于一个或多个图块组中的另一图块组中的图块，获得针对另一图块组的另一组合特征。在这样的情况下，预定跨通道特征可以基于针对图块组的组合特征和针对另一图块组的另一组合特征来确定。

图8图示了根据本公开的实施例的用于特征提取的装置的示意性框图。如在图8中所示，装置800包括图像通道生成模块802、通道内特征提取模块803和跨通道特征提取模块804。图像通道生成模块802可以被配置为通过非线性转换从训练图像中的每个训练图像生成多个图像通道。这些训练图像可以被存储在图像存储装置801中，并且特别地，至少两个图像通道表示图像的不同的特性。通道内特征提取模块803可以被配置为针对训练图像中的每个训练图像从多个图像通道提取通道内特征，其中通道内特征包括从单个图像通道独立地提取的特征。跨通道特征提取模块804可以被配置为针对训练图像中的至少一个训练图像从多个图像通道提取跨通道特征，其中跨通道特征包括从至少两个图像通道提取的特征。通道内特征和跨通道特征形成用于特征选择和分类器训练的特征的集合。提取的通道内和跨通道特征可以被存储在特征池805中。

跨通道特征提取模块804可以被配置为通过基于一个或多个图块组中的图块确定跨通道特征来提取跨通道特征，所述图块组每个包括分别在至少两个图像通道上的至少两个对应的图块。跨通道特征提取模块804还可以被配置为在确定跨通道特征之前，首先分别地对一个或多个图块组中的图块的特征值进行归一化。

在本公开的实施例中，跨通道特征提取模块804可以被配置为从一个或多个图块组中的至少两个图像通道中的相应图像通道上的图块获得针对至少两个图像通道中的相应图像通道的组合特征，并且使用针对至少两个图像通道中的相应图像通道的组合特征获得跨通道特征。备选地，跨通道特征提取模块804可以被配置为从一个或多个图块组中的图块组中的图块获得针对该图块组的组合特征；并且然后基于针对该图块组的组合特征，获得跨通道特征。另外，跨通道特征提取模块804还可以被配置为基于一个或多个图块组中的另一图块组中的图块，进一步获得针对另一图块组的另一组合特征。在这样的情况下，跨通道特征可以基于针对图块组的组合特征和针对另一图块组的另一组合特征来获得。

图9图示了根据本公开的实施例的用于对象检测的装置900的示意性框图。如在图9中所示，装置900包括图像通道生成模块902、预定通道内特征提取模块903、预定跨通道特征提取模块904和图像分类模块905。图像通道生成模块902可以被配置为通过非线性转换从图像901生成多个图像通道。预定通道内特征提取模块903可以被配置为从多个图像通道提取预定通道内特征，其中预定通道内特征包括从单个图像通道独立地提取的特征。预定跨通道特征提取模块904可以被配置为从多个图像通道提取预定跨通道特征，其中预定跨通道特征包括从至少两个图像通道提取的特征。图像分类模块905可以被配置为基于预定通道内特征和预定跨通道特征，确定图像是否包含期望的对象。

在本公开的实施例中，预定跨通道特征提取模块904被配置为基于一个或多个图块组中的图块来确定预定跨通道特征，所述图块组每个包括分别在至少两个图像通道上的至少两个对应的图块。预定跨通道特征提取模块904还可以被配置为在确定预定跨通道特征之前，分别地对一个或多个图块组中的图块的特征值进行归一化。

在本公开的实施例中，预定跨通道特征提取模块904可以被配置为：从一个或多个图块组中的至少两个图像通道中的相应图像通道上的图块获得针对至少两个图像通道中的相应图像通道的组合特征；以及基于针对至少两个图像通道中的相应图像通道的组合特征，获得预定跨通道特征。备选地，预定跨通道特征提取模块904可以被配置为从一个或多个图块组中的图块组中的图块获得针对该图块组的组合特征；并且基于针对图块组的组合特征，获得预定跨通道特征。另外，预定跨通道特征提取模块904还可以被配置为基于一个或多个图块组中的另一图块组中的图块获得针对另一图块组的另一组合特征。在这样的情况下，预定跨通道特征可以基于针对图块组的组合特征和针对另一图块组的另一组合特征来确定。

另外，本公开还可以提供包含如上文所提到的计算机程序的载体，其中载体是以下各项之一：电子信号、光学信号、无线电信号或者计算机程序产品(诸如计算机可读存储介质)。计算机可读存储介质可以是例如光学压缩盘或者电子存储器设备类似RAM(随机存取存储器)、ROM(只读存储器)、闪存、磁带、CD-ROM、DVD、蓝光光盘等。

应当注意，系统600、700、装置800和900中的操作类似于参考特征提取和对象检测的方法在上文中所描述的那些操作并且因此将不在本文中描述。

还应当注意，在本文中所描述的技术可以通过各种装置实现，使得实现利用实施例描述的对应的装置的一个或多个功能的装置包括不仅现有技术装置，而且用于实现利用实施例所描述的对应的装置的一个或多个功能的装置，并且其可以包括用于每个分离的功能的分离的装置、或者可以被配置为执行两个或两个以上功能的装置。例如，这些技术可以以硬件(一个或多个装置)、固件(一个或多个装置)、软件(一个或多个模块)或其组合实现。对于固件或者软件而言，可以通过执行本文中所描述的功能的模块(例如，程序、功能等等)做出实现。

上文已经参考方法和装置的框图和流程图图示描述了本文中的示例性实施例。将理解到，框图和流程图图示的每个框和框图和流程图图示中的框的组合分别地可以由包括计算机程序指令的各种装置实现。这些计算机程序指令可以被加载到通用计算机、专用计算机或其他可编程数据处理装置上以产生机器，使得在计算机或其他可编程数据处理装置上执行的指令创建用于实现流程图(一个或多个)框中所指定的功能的装置。

虽然本说明书包含许多特定实现细节，但是这些细节不应当被解释为对任何实现的范围或可以要求保护的范围的限制，而是可以特定于特定实现的特定实施例的特征的描述。在该说明书中在分离的实施例的上下文中所描述的某些特征还能够组合被实现在单个实施例中。相反地，在单个实施例的上下文中所描述的各种特征还可以分离地或者以任何适合的子组合被实现在多个实施例中。而且，尽管特征可以在上文中被描述为在某些组合中作用并且甚至如此初始地要求保护，但是在一些情况下，可以从组合去除所要求保护的组合的一个或多个特征，并且所要求保护的组合可以涉及子组合或子组合的变型。

对于本领域的技术人员而言将显而易见的是，随着技术进步，发明构思可以以各种方式实现。上文所描述的实施例被给定用于描述而不是限制本公开，并且将理解到，在不脱离如本领域的技术人员容易地理解的本公开的精神和范围的情况下，可以采取修改和变型。这样的修改和变型被认为是在本公开和随附的权利要求的范围。本公开的保护范围由随附的权利要求定义。

Claims (32)

1.一种特征提取的方法，包括：

通过非线性转换从训练图像中的每个训练图像生成多个图像通道；

针对训练图像中的每个训练图像从所述多个图像通道提取通道内特征，其中所述通道内特征包括从单个图像通道独立地提取的特征；以及

针对所述训练图像中的至少一个训练图像从所述多个图像通道提取跨通道特征，其中所述跨通道特征包括从至少两个图像通道提取的特征，以及

其中所述通道内特征和所述跨通道特征形成用于特征选择和分类器训练的特征的集合。

2.根据权利要求1所述的方法，其中所述从所述多个图像通道提取跨通道特征进一步包括：

基于一个或多个图块组中的图块来确定所述跨通道特征，所述图块组每个包括分别在所述至少两个图像通道上的至少两个对应的图块。

3.根据权利要求2所述的方法，其中所述从所述多个图像通道提取跨通道特征进一步包括：

在所述确定所述跨通道特征之前，分别地对所述一个或多个图块组中的所述图块的特征值进行归一化。

4.根据权利要求2或3所述的方法，其中所述基于一个或多个图块组中的图块来确定所述跨通道特征进一步包括：

从所述一个或多个图块组中的所述至少两个图像通道中的相应图像通道上的图块获得针对所述至少两个图像通道中的所述相应图像通道的组合特征；

基于针对所述至少两个图像通道中的所述相应图像通道的所述组合特征，获得所述跨通道特征。

5.根据权利要求2或3所述的方法，其中所述基于一个或多个图块组中的图块来确定所述跨通道特征进一步包括：

从所述一个或多个图块组中的图块组中的图块获得针对所述图块组的组合特征；以及

基于针对所述图块组的所述组合特征，获得所述跨通道特征。

6.根据权利要求5所述的方法，其中所述基于一个或多个图块组中的图块来确定所述跨通道特征进一步包括：

基于所述一个或多个图块组中的另一图块组中的图块，获得针对所述另一图块组的另一组合特征；以及

其中所述获得所述跨通道特征包括：

基于针对所述图块组的所述组合特征和针对所述另一图块组的所述另一组合特征，获得所述跨通道特征。

7.根据权利要求1至6中的任一项所述的方法，其中所述至少两个图像通道表示图像的不同特性。

8.一种对象检测的方法，包括：

通过非线性转换从图像生成多个图像通道；

从所述多个图像通道提取预定通道内特征，其中所述预定通道内特征包括从单个图像通道独立地提取的特征；

从所述多个图像通道提取预定跨通道特征，其中所述预定跨通道特征包括从至少两个图像通道提取的特征；以及

基于所述预定通道内特征和所述预定跨通道特征，确定所述图像是否包含期望对象。

9.根据权利要求8所述的方法，其中所述从所述多个图像通道提取预定跨通道特征进一步包括：

基于一个或多个图块组中的图块来确定所述预定跨通道特征，所述图块组每个包括分别在所述至少两个图像通道上的至少两个对应的图块。

10.根据权利要求9所述的方法，其中所述从所述多个图像通道提取预定跨通道特征进一步包括：

在所述确定所述预定跨通道特征之前，分别地对所述一个或多个图块组中的所述图块的特征值进行归一化。

11.根据权利要求9或10所述的方法，其中所述基于一个或多个图块组中的图块来确定所述预定跨通道特征进一步包括：

从所述一个或多个图块组中的所述至少两个图像通道中的所述相应图像通道上的图块获得针对所述至少两个图像通道中的相应图像通道的组合特征；

基于针对所述至少两个图像通道中的所述相应图像通道的所述组合特征，获得所述预定跨通道特征。

12.根据权利要求9或10所述的方法，其中所述基于一个或多个图块组中的图块来确定所述预定跨通道特征进一步包括：

从所述一个或多个图块组中的图块组中的图块获得针对所述图块组的组合特征；以及

基于针对所述图块组的所述组合特征，获得所述预定跨通道特征。

13.根据权利要求12所述的方法，其中所述基于一个或多个图块组中的图块来确定所述预定跨通道特征进一步包括：

基于所述一个或多个图块组中的另一图块组中的图块，获得针对所述另一图块组的另一组合特征；以及

其中所述获得所述预定跨通道特征包括：

基于针对所述图块组的所述组合特征和针对所述另一图块组的所述另一组合特征，获得所述预定跨通道特征。

14.根据权利要求8至13中的任一项所述的方法，其中所述至少两个图像通道表示图像的不同的特性。

15.一种特征提取的系统，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码；

所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述系统至少：

通过非线性转换从训练图像中的每个训练图像生成多个图像通道；

针对训练图像中的每个训练图像从所述多个图像通道提取通道内特征，其中所述通道内特征包括从单个图像通道独立地提取的特征；以及

针对所述训练图像中的至少一个训练图像从所述多个图像通道提取跨通道特征，其中所述跨通道特征包括从至少两个图像通道提取的特征，以及

其中所述通道内特征和所述跨通道特征形成用于特征选择和分类器训练的特征的集合。

16.根据权利要求15所述的系统，其中所述从所述多个图像通道提取跨通道特征进一步包括：

基于一个或多个图块组中的图块来确定所述跨通道特征，所述图块组每个包括分别在所述至少两个图像通道上的至少两个对应的图块。

17.根据权利要求16所述的系统，其中所述从所述多个图像通道提取跨通道特征进一步包括：

在所述确定所述跨通道特征之前，分别地对所述一个或多个图块组中的所述图块的特征值进行归一化。

18.根据权利要求16或17所述的系统，其中所述基于一个或多个图块组中的图块来确定所述跨通道特征进一步包括：

从所述一个或多个图块组中的所述至少两个图像通道中的相应图像通道上的图块获得针对所述至少两个图像通道中的所述相应图像通道的组合特征；

基于针对所述至少两个图像通道中的所述相应图像通道的所述组合特征，获得所述跨通道特征。

19.根据权利要求16或17所述的系统，其中所述基于一个或多个图块组中的图块来确定所述跨通道特征进一步包括：

从所述一个或多个图块组中的图块组中的图块获得针对所述图块组的组合特征；以及

基于针对所述图块组的所述组合特征，获得所述跨通道特征。

20.根据权利要求19所述的系统，其中所述基于一个或多个图块组中的图块来确定所述跨通道特征进一步包括：

基于所述一个或多个图块组中的另一图块组中的图块，获得针对所述另一图块组的另一组合特征；以及

其中所述获得所述跨通道特征包括：

基于针对所述图块组的所述组合特征和针对所述另一图块组的所述另一组合特征，获得所述跨通道特征。

21.根据权利要求15至20中的任一项所述的系统，其中所述至少两个图像通道表示图像的不同特性。

22.一种特征提取的系统，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码；

所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述系统至少：

通过非线性转换从图像生成多个图像通道；

从所述多个图像通道提取预定通道内特征，其中所述预定通道内特征包括独立地从单个图像通道提取的特征；

从所述多个图像通道提取预定跨通道特征，其中所述预定跨通道特征包括从至少两个图像通道提取的特征；以及

基于所述预定通道内特征和所述预定跨通道特征，确定所述图像是否包含期望对象。

23.根据权利要求22所述的系统，其中所述从所述多个图像通道提取预定跨通道特征包括：

基于一个或多个图块组中的图块来确定所述预定跨通道特征，所述图块组每个包括分别在所述至少两个图像通道上的至少两个对应的图块。

24.根据权利要求23所述的系统，其中所述从所述多个图像通道提取预定跨通道特征包括：

在所述确定所述预定跨通道特征之前，分别地对所述一个或多个图块组中的所述图块的特征值进行归一化。

25.根据权利要求23或24所述的系统，其中所述基于一个或多个图块组中的图块来确定所述预定跨通道特征进一步包括：

从所述一个或多个图块组中的所述至少两个图像通道中的所述相应图像通道上的图块获得针对所述至少两个图像通道中的相应图像通道的组合特征；

基于针对所述至少两个图像通道中的所述相应图像通道的所述组合特征，获得所述预定跨通道特征。

26.根据权利要求23或24所述的系统，其中所述基于一个或多个图块组中的图块来确定所述预定跨通道特征进一步包括：

从所述一个或多个图块组中的图块组中的图块获得针对所述图块组的组合特征；以及

基于针对所述图块组的所述组合特征，获得所述预定跨通道特征。

27.根据权利要求26所述的系统，其中所述基于一个或多个图块组中的图块来确定所述预定跨通道特征进一步包括：

基于所述一个或多个图块组中的另一图块组中的图块，获得针对所述另一图块组的另一组合特征；以及

其中所述获得所述预定跨通道特征包括：

基于针对所述图块组的所述组合特征和针对所述另一图块组的所述另一组合特征，获得所述预定跨通道特征。

28.根据权利要求22至27中的任一项所述的系统，其中所述至少两个图像通道表示图像的不同特性。

29.一种特征提取的装置，包括：

图像通道生成模块，其被配置为通过非线性转换从训练图像中的每个训练图像生成多个图像通道；

通道内特征提取模块，其被配置为针对训练图像中的每个训练图像中从所述多个图像通道提取通道内特征，其中所述通道内特征包括从单个图像通道独立地提取的特征；以及

跨通道特征提取模块，其被配置为针对所述训练图像中的至少一个训练图像从所述多个图像通道提取跨通道特征，其中所述跨通道特征包括从至少两个图像通道提取的特征，以及

其中所述通道内特征和所述跨通道特征形成用于特征选择和分类器训练的特征的集合。

30.一种对象检测的装置，包括：

图像通道生成模块，其被配置为通过非线性转换从图像生成多个图像通道；

预定通道内特征提取模块，其被配置为从所述多个图像通道提取预定通道内特征，其中所述预定通道内特征包括从单个图像通道独立地提取的特征；

预定跨通道特征提取模块，其被配置为从所述多个图像通道提取预定跨通道特征，其中所述预定跨通道特征包括从至少两个图像通道提取的特征；以及

图像分类模块，其被配置为基于所述预定通道内特征和所述预定跨通道特征，确定所述图像是否包含期望对象。

31.一种计算机程序产品，包括被存储在其上的计算机程序代码，所述计算机程序代码被配置为当被执行时，使得装置执行根据权利要求1至7中的任一项所述的方法中的动作。

32.一种计算机程序产品，包括被存储在其上的计算机程序代码，所述计算机程序代码被配置为当被执行时，使得装置执行根据权利要求8至14中的任一项所述的方法中的动作。