CN104050620B - 对象检测设备 - Google Patents

Abstract

一种安装在系统中用于在各种变化的环境条件下检测目标对象的对象检测设备（1）。在设备（1）中，获取器（101，S100）获取表示系统周围的外部环境的信息和表示系统的工作状态的信息中的任一者或两者。确定器（102，S102）根据所获取的信息来确定关于输入图像的环境条件。设置器（103，S104）根据由确定器（102，S102）确定的环境条件来对多个图像识别方法中的每个图像识别方法设置权重因子，每个图像识别方法是多个图像识别词典之一和多个图像识别技术之一的组合。检测器（104，S106）通过如下方式来检测输入图像中的对象：将多个图像识别方法中的每个图像识别方法应用于输入图像以获得反映权重因子的识别结果；以及综合地评估识别结果。

Description

对象检测设备

技术领域

本发明涉及一种通过利用图像识别词典从输入图像中检测目标对象的对象检测设备。

背景技术

用于检测作为待检测对象的目标对象（例如出现在对象交通工具的前方或后方的人或交通工具）的已知对象检测设备将图像识别算法应用于由相机等捕获并且从相机等接收的图像，该图像识别算法利用描述针对该目标对象的参考数据的识别词典。如日本公开特许公报No.2010-79716所公开的对象检测设备通过将所捕获图像与用于检测行人的模板数据（称为图像识别词典）相匹配来识别行人的存在。

针对假定的具体环境条件来预定义用于目标对象的图像识别的图像识别词典。然而，在捕获图像时的环境条件远不同于在预定义图像识别词典时假定的环境条件的情况下，将降低利用该图像识别词典获得的图像识别结果的鲁棒性，并且从而将降低检测目标对象的性能。

可以引起检测性能变化的环境条件包括但不限于日照条件（亮度）、天气条件（降水）、白天和夜间时间、背景属性（市区、郊区、山区等）以及照明装置或刮水器的有效和无效状态。因此，即使在如下情况下也可能无法实现检测目标对象的稳定性能：将使用针对假定的具体环境条件而预定义的图像识别词典和图像识别技术的图像识别处理应用于在目标对象周围的各种变化的环境条件下所捕获的图像。

考虑到上述内容，因此期望的是，获得一种即使在目标对象周围的各种变化的环境条件下也能够可靠地检测输入图像中的目标对象的对象检测设备。

发明内容

根据本发明的示例性实施方式，提供一种安装在系统中的对象检测设备。该设备包括存储器，该存储器存储多个图像识别词典和多个图像识别技术，每个图像识别词典描述针对待检测对象的参考数据，并且每个图像识别技术用于利用多个图像识别词典之一从由成像单元捕获的输入图像中检测对象。

在该设备中，获取器获取表示系统周围的外部环境的信息和表示系统的工作状态的信息中的任一者或两者。确定器根据从获取器获取的信息来确定关于输入图像的环境条件。设置器根据由确定器确定的环境条件来对分别针对假定的不同环境条件而预定义的多个图像识别方法中的每个图像识别方法设置权重因子，其中，每个图像识别方法是多个图像识别词典之一和多个图像识别技术之一的组合。检测器通过如下方式来检测输入图像中的对象：将多个图像识别方法中的每个图像识别方法应用于输入图像以获得反映由设置器针对各个图像识别方法设置的权重因子的图像识别结果；以及然后综合地评估该图像识别结果。

在该配置情况下，利用多个图像识别方法来执行输入图像中的目标对象的图像识别，每个图像识别方法由多个图像识别词典之一和多个图像识别技术之一的组合来定义。针对各个图像识别方法而设置的权重因子随着各种环境条件而变化。例如，当获取表示傍晚或雨天的信息作为外部环境条件时，将相对较高的权重因子分配给能够针对这样的外部环境条件提供高检测性能的图像识别方法，这导致该图像识别方法对通过综合地评估各个图像识别方法的识别结果而获得的最终结果的贡献增大，并且从而导致针对目标对象的识别率增大。这能够实现针对目标对象周围的各种变化的环境条件的图像识别的较高鲁棒性，并且能够实现检测目标对象的较高性能。

附图说明

在附图中：

图1A示出了根据本发明的一个实施方式的对象检测系统的框图；

图1B示出了处理器的功能框图；

图2A示出了多个图像识别词典和多个图像识别技术的示例；

图2B示出了多个图像识别方法的示例；以及

图3示出了目标对象检测处理的示例性流程图。

具体实施方式

下文将参照附图更充分地描述本发明。

[系统配置]

根据本发明的一个实施方式的对象检测系统安装在交通工具中（下文称为对象交通工具），并且用于检测具体目标对象，例如在对象交通工具的前方出现的人、交通工具（除对象交通工具之外的）、路标等。如图1A中所示，对象检测系统包括对象检测设备1，该对象检测设备1可通信地与图像输入2、外部环境和交通工具信息输入3以及检测结果输出4等连接。

对象检测设备1包括处理器10和存储器11。对象检测设备1被配置成通过利用描述目标对象的图像识别词典将图像识别处理应用于输入图像来从输入图像中检测目标对象图像。

处理器10是包括中央处理单元（CPU）、只读存储器（ROM）、随机存取存储器（RAM）以及输入/输出接口等（未示出）的信息处理器。处理器10对来自图像输入2的输入图像进行处理，以检测目标对象并且输出检测结果。处理器10将利用针对目标对象的图像识别词典的公知的图像识别处理应用于输入图像，以检测其中的目标对象图像。在根据本实施方式的应用于输入图像的图像识别处理中，处理器10利用多个图像识别方法将图像识别处理应用于输入图像，每个图像识别方法是由预定义的多个图像识别词典之一和预定义的多个图像识别技术之一的组合形成的，其中根据由对象交通工具的工作状态和外部环境确定的环境条件，给多个图像识别方法分配其各自的权重。随后将更详细地描述本实施方式的目标对象识别处理。

存储器11存储用于描述针对一个目标对象或多个目标对象的参考数据的图像识别词典、以及与利用图像识别词典的图像识别技术（算法和图像校正）相关联的计算机程序等。在本实施方式中，在存储器11中存储针对相同目标对象的假定的不同环境条件而预定义的多个图像识别词典。根据由对象交通工具的工作状态（例如对象交通工具的交通工具前灯、刮水器等的打开和关闭状态（或有效和无效状态））以及外部环境（例如天气、一天中的时间、亮度、背景属性）所引起的各种变化的环境条件，在图像亮度、对比度、色彩、清晰度等方面对这些图像识别词典进行区分。存储器11可以存储针对撑伞的行人的图像识别词典，该图像识别词典描述针对雨天或强烈阳光下的行人的参考数据。

在存储器11中存储的多个图像识别技术包括在识别机制方面彼此不同的其各自的图像识别算法，例如基于图像识别词典之一与输入图像之间的几何信息中的相似性的图像识别算法以及基于图像识别词典之一与输入图像之间的像素值的平均值或像素值的直方图中的相似性的图像识别算法。每个图像识别技术还可以包括图像校正，以增大图像识别算法的图像识别检测率，在将图像识别算法应用于输入图像之前，在图像校正中调节输入图像的亮度、对比度、色彩、清晰度等中的至少一个。

图2A示出了多个图像识别词典和多个图像识别技术的示例。更具体地，在图2A中，多个图像识别词典包括针对根据对象交通工具的工作状态和外部环境而在目标对象（人）图像的亮度和清晰度方面彼此不同的各个假定的环境条件预定义的不同的图像识别词典a、b、c...。多个图像识别技术包括不同的识别算法α、β和图像校正。

在本实施方式中，如图2B中所示，在存储器11中预存储多个图像识别方法（模式A、B、C...），每个图像识别方法表示用于将图像识别处理应用于输入图像的图像识别词典之一和图像识别技术之一的组合。在考虑用于针对目标对象图像的亮度和清晰度方面的不同而预定义各个图像识别词典以及各个图像识别算法的识别特性的环境条件的情况下，这些图像识别方法被设计成在各种假定的环境条件下提供最佳检测性能。

例如，应用于雨天的图像识别方法可以是针对下雨的假定环境条件而预定义的图像识别词典以及能够在下雨的环境条件下提供最佳检测性能的图像识别算法的组合。可以预定义针对除雨天之外的外部环境的图像识别方法。除雨天之外的外部环境包括但不限于有雾天、阴天、晴天、大雨之后的好天气、阳光之后的雨天、白天、傍晚、夜间、光线好的区域、黑暗的区域、市区、郊区以及山区。

作为示例，当前灯关闭（或打开）时，可以使用如下图像识别方法：该图像识别方法是针对前灯关闭（或打开）的假定环境条件而预定义的图像识别词典和能够在这样的假定环境条件下提供最佳性能的图像识别算法的组合。而且，当刮水器关闭（或打开）时，可以使用如下图像识别方法：该图像识别方法是针对刮水器关闭（或打开）的假定环境条件而预定义的图像识别词典和能够在这样的假定环境条件下提供最佳性能的图像识别算法的组合。

另外，在输入图像的清晰度显著降低的条件下，例如在恶劣天气下或在刮水器快速工作时，可以将图像校正应用于输入图像，其中在将图像识别算法应用于输入图像之前，调节输入图像的亮度、对比度、色彩、清晰度等。

再参照图1A，图像输入2包括作为成像单元的车载相机等，以捕获对象交通工具前方的图像。将所捕获图像作为输入图像从图像输入2馈送至对象检测设备1的处理器10。

外部环境和交通工具信息输入3将用于确定对象交通工具周围的外部环境以及车载照明装置（例如前灯）和风挡刮水器的工作状态的各种信息馈送至对象检测设备1。更具体地，为了获取与对象交通工具周围的外部环境有关的信息，外部环境和交通工具信息输入3可以包括雨量传感器、照度传感器、接收来自外部机构的天气信息和本地信息的通信装置和/或输入在地图数据库中存储的地图信息的输入装置，或者外部环境和交通工具信息输入3可以被配置成根据由图像输入2捕获的输入图像来确定环境亮度和/或周围背景以及可见度等。为了获取与对象交通工具的工作状态有关的信息，外部环境和交通工具信息输入3可以包括控制照明装置的亮灭的灯开关以及操作刮水器的刮水器开关。

响应于来自对象检测设备1的检测结果，检测结果输出4向对象交通工具的驾驶员发出存在交通工具或人的警报，和/或控制对象交通工具。检测结果输出4包括但不限于交通工具驾驶安全系统或驾驶辅助系统的控制器。

如图1B中所示，处理器10包括获取器101、确定器102、设置器103以及检测器104。获取器101获取表示系统周围的外部环境的信息和表示系统的工作状态的信息中的任一者或两者。获取器101负责执行目标对象检测处理（随后描述）的步骤S100。确定器102根据从获取器101获取的信息来确定关于输入图像的环境条件。确定器102负责执行目标对象检测处理的步骤S102。设置器103根据由确定器102确定的环境条件来对分别针对假定的不同环境条件而预定义的多个图像识别方法中的每个图像识别方法设置权重因子，其中每个图像识别方法是多个图像识别词典之一和多个图像识别技术之一的组合。设置器103负责执行目标对象检测处理的步骤S104。检测器104通过如下方式来检测输入图像中的对象：将多个图像识别方法中的每个图像识别方法应用于输入图像以获得反映由设置器103针对各个图像识别方法设置的权重因子的图像识别结果；以及然后综合地评估该图像识别结果。检测器104负责执行目标对象检测处理的步骤S106。

[目标对象检测处理]

现在将参照图3的流程图来说明在对象检测设备1的处理器10中执行的目标对象检测处理。

在步骤S100中，处理器10从外部环境和交通工具信息输入3获取表示对象交通工具周围的外部环境以及交通工具照明装置、刮水器等的工作状态的信息。对象交通工具周围的外部环境可以包括但不限于天气条件（例如，雨天、雾天、阴天、晴天、大雨之后的好天气、阳光之后的雨天等）、一天中的时间或时段（例如，白天、傍晚、夜间等）、环境亮度以及背景属性（例如，市区、郊区、山区等）等。照明装置的工作状态可以包括前灯的打开、关闭、近光模式、远光模式等。刮水器的工作状态可以包括打开、关闭、工作速度、工作间隔等。

在步骤S102中，处理器10基于在步骤S100中获取的信息来确定输入图像的环境条件。此后在步骤S104中，处理器10基于在步骤S102中确定的环境条件来设置与假定的各个环境条件相关联的多个图像识别方法中的每个图像识别方法的权重因子。

更具体地，按照如下方式来设置各个图像识别方法的权重因子。在存储器11中存储权重因子表（参见图3），该权重因子表列出了与假定的各个环境条件相关联的各个图像识别方法（模式A、B、C，...）的权重因子。在这样的表中，例如将向针对与在步骤S102中确定的环境条件一致或类似的假定环境条件而预定义的图像识别方法所分配的权重因子设置成相对大于向针对与在步骤S102中确定的环境条件比较不类似的假定环境条件而预定义的图像识别方法所分配的权重因子。相反地，将向针对与在步骤S102中确定的环境条件不同的假定环境条件而预定义的图像识别方法所分配的权重因子设置成相对小于向针对与在步骤S102中确定的环境条件一致或比较类似的假定环境条件而预定义的图像识别方法所分配的权重因子。参照在存储器11中存储的权重因子表，将与在步骤S102中确定的当前环境条件相关联的权重因子分配给多个图像识别方法中的每个图像识别方法。

在步骤S106中，处理器10利用分配有在步骤S104中设置的其各自的权重因子的多个图像识别方法中的每个图像识别方法，将图像识别处理应用于从图像输入2接收的输入图像，从而检测输入图像中的目标对象。更具体地，针对多个图像识别方法中的每个图像识别方法，处理器10利用图像识别方法的图像识别词典来扫描输入图像，并且根据图像识别方法的图像识别算法将图像识别处理应用于输入图像中的每个预定义区域，从而计算针对各个图像识别方法的分数。当图像识别方法中包括图像校正时，在应用图像识别方法的图像识别算法之前对输入图像进行校正。应该注意的是，针对各个图像识别方法所计算的分数反映了针对各个图像识别方法所设置的权重因子。

针对多个图像识别方法中的每个图像识别方法，利用图像识别方法计算临时分数作为图像识别结果，并且然后通过该图像识别方法的权重因子对该临时分数进行加权，从而提供了该图像识别方法的最终分数。可替选地，针对多个图像识别方法中的每个图像识别方法，可以通过该图像识别方法的权重因子对在与该图像识别方法相关联的图像识别词典中所描述的目标对象的特征进行加权，从而产生针对该图像识别方法的图像识别词典的经修改或校正的参数。通过将利用针对图像识别方法的经修改的图像识别词典和图像识别算法的图像识别处理应用于输入图像来获得针对该图像识别方法的最终分数。

通过综合地评估针对各个图像识别方法的、反应各个图像识别方法的权重因子的分数来给出最终结果。随后在步骤S108中，处理器10将最终结果（作为检测结果）输出到检测结果输出4。

[益处]

本实施方式的对象检测设备1能够提供以下益处。

在利用多个图像识别方法（每个图像识别方法通过多个图像识别词典之一和多个图像识别技术之一的组合来定义）的本实施方式的图像识别处理中，各个图像识别方法的权重因子随着由对象交通工具的工作状态和外部环境所确定的各种环境条件而改变，从而导致能够针对当前环境条件提供最佳检测性能的图像识别方法对通过综合地评估各个图像识别方法的分数所获得的最终结果的贡献增大，并且从而导致针对目标对象的识别率增大。这能够实现针对围绕目标对象或目标对象周围的各种变化的环境条件的图像识别的较高鲁棒性，并且能够实现检测目标对象的较高性能。

[修改]

在以上实施方式中，对象检测设备被配置成使得将多个可选择的图像识别词典和多个可选择的图像识别技术预存储在设备中。可替选地，对象检测设备可以被配置成使得将多个可选择的图像识别词典和单个固定用途的图像识别技术预存储在设备中，或者可以被配置成使得将单个固定的图像识别词典和多个可选择的图像识别技术预存储在设备中。

在以上实施方式中，通过对象交通工具的工作状态和外部环境来确定环境条件。可替选地，可以通过对象交通工具的工作状态或外部环境来确定环境条件。

在以上实施方式中，将对象检测设备安装在具体类型的交通工具（即汽车）中。可替选地，可以将对象检测设备安装在各种系统中。例如，可以将对象检测设备安装在另一类型的交通工具（例如飞机、船舶、铁路交通工具等）中，或者可以将对象检测设备安装在安置于建筑物等中的安全装置、家电等中。

在具有在前面描述和相关联的附图中所存在的教导的益处的情况下，本发明所属领域内的技术人员将想到本发明的许多修改和其他实施方式。因此，应当理解的是，本发明不限于所公开的具体实施方式和修改，并且意在将其他实施方式包括在所附权利要求的范围内。虽然在本文中使用了具体术语，但是它们仅以一般和描述性意义来使用，而非用于限制目的。

Claims (10)

1.一种安装在系统中的对象检测设备(1)，所述设备(1)包括：

存储器(11)，所述存储器(11)存储多个图像识别词典和多个图像识别技术，每个所述图像识别词典描述针对待检测对象的参考数据，并且每个所述图像识别技术用于利用所述多个图像识别词典之一从由成像单元捕获的输入图像中检测所述对象；

获取器(101，S100)，所述获取器(101，S100)被配置成获取表示所述系统周围的外部环境的信息和表示所述系统的工作状态的信息中的任一者或两者；

确定器(102，S102)，所述确定器(102，S102)被配置成根据从所述获取器(101，S100)获取的所述信息来确定关于所述输入图像的环境条件；

设置器(103，S104)，所述设置器(103，S104)被配置成根据由所述确定器(102，S102)确定的所述环境条件来对分别针对假定的不同环境条件而预定义的多个图像识别方法中的每个图像识别方法设置权重因子，每个图像识别方法是所述多个图像识别词典之一和所述多个图像识别技术之一的组合；以及

检测器(104，S106)，所述检测器(104，S106)被配置成通过如下方式来检测所述输入图像中的所述对象：将所述多个图像识别方法中的每个图像识别方法应用于所述输入图像以获得反映由所述设置器(103，S104)针对所述各个图像识别方法设置的所述权重因子的图像识别结果；以及然后综合地评估所述图像识别结果。

2.根据权利要求1所述的设备(1)，其中，所述设置器(103，S104)被配置成针对所述多个图像识别方法中的每个图像识别方法、设置根据由所述确定器(102，S102)确定的所述环境条件与同所述图像识别方法相对应的所述假定的环境条件之间的相似性的权重因子。

3.根据权利要求1或2所述的设备(1)，其中，所述多个图像识别技术中的每个图像识别技术包括：利用所述图像识别方法的与所述图像识别技术相对应的所述图像识别词典而待应用于所述输入图像的图像识别算法。

4.根据权利要求3所述的设备(1)，其中，所述多个图像识别技术中的至少一个图像识别技术还包括在将相对应的图像识别算法应用于所述输入图像之前应用于所述输入图像的图像校正。

5.根据权利要求1或2所述的设备(1)，其中

所述系统是交通工具，

所述表示所述系统周围的外部环境的信息包括天气条件、一天中的时间、环境亮度以及背景属性中的至少之一，以及

所述表示所述系统的工作状态的信息包括所述交通工具的照明装置的工作状态和所述交通工具的刮水器的工作状态中的至少之一。

6.一种安装在系统中的对象检测设备(1)，所述设备(1)包括：

存储器(11)，所述存储器(11)存储多个图像识别词典和单个图像识别技术，每个所述图像识别词典描述针对待检测对象的参考数据，并且所述单个图像识别技术用于利用所述多个图像识别词典之一从由成像单元捕获的输入图像中检测所述对象；

获取器(101，S100)，所述获取器(101，S100)被配置成获取表示所述系统周围的外部环境的信息和表示所述系统的工作状态的信息中的任一者或两者；

确定器(102，S102)，所述确定器(102，S102)被配置成根据从所述获取器(101，S100)获取的所述信息来确定关于所述输入图像的环境条件；

设置器(103，S104)，所述设置器(103，S104)被配置成根据由所述确定器(102，S102)确定的所述环境条件来对分别针对假定的不同环境条件而预定义的多个图像识别方法中的每个图像识别方法设置权重因子，所述每个图像识别方法是所述多个图像识别词典之一和所述单个图像识别技术的组合；以及

检测器(104，S106)，所述检测器(104，S106)被配置成通过如下方式来检测所述输入图像中的所述对象：将所述多个图像识别方法中的每个图像识别方法应用于所述输入图像以获得反映由所述设置器(103，S104)针对所述各个图像识别方法设置的所述权重因子的图像识别结果；以及然后综合地评估所述图像识别结果。

7.根据权利要求6所述的设备(1)，其中，所述设置器(103，S104)被配置成针对所述多个图像识别方法中的每个图像识别方法、设置根据由所述确定器(102，S102)确定的所述环境条件与同所述图像识别方法相对应的所述假定的环境条件之间的相似性的权重因子。

8.根据权利要求6或7所述的设备(1)，其中，所述单个图像识别技术包括利用所述图像识别词典之一而待应用于所述输入图像的图像识别算法。

9.根据权利要求8所述的设备(1)，其中，所述单个图像识别技术还包括在将所述图像识别算法应用于所述输入图像之前应用于所述输入图像的图像校正。

10.根据权利要求6或7所述的设备(1)，其中

所述系统是交通工具，

所述表示所述系统周围的外部环境的信息包括天气条件、一天中的时间、环境亮度以及背景属性中的至少之一，以及

所述表示所述系统的工作状态的信息包括所述交通工具的照明装置的工作状态和所述交通工具的刮水器的工作状态中的至少之一。