CN104008518B - 对象检测设备 - Google Patents

Abstract

提供了一种对象检测设备。一种安装在车辆中的用于在各种变化的环境条件下检测目标对象的对象检测设备（1）。在设备（1）中，存储器（11）预存储多个图像识别字典以及多个图像识别技术，每个图像识别字典描述针对目标对象的参考数据，并且每个图像识别技术用于利用多个图像识别字典之一从输入图像中检测目标对象。第一获取器（101，S100，S102）获取车辆的照明装置的工作状态。选择器（103，S104）根据所获取的照明装置的工作状态来选择多个图像识别字典之一以及多个图像识别技术之一。检测器（104，S106）通过利用所选择的图像识别字典和技术、将图像识别处理应用于输入图像，检测输入图像中的目标对象。

Description

对象检测设备

技术领域

本发明涉及一种利用图像识别字典从输入图像中检测目标对象的对象检测设备。

背景技术

用于检测作为待检测对象的目标对象（例如出现在对象车辆的前方或后方的人或车辆）的已知对象检测设备将预定图像识别算法应用于由相机等捕获并且从相机等接收的图像，该预定图像识别算法利用描述针对该目标对象的参考数据的图像识别字典。如日本专利申请早期公布No.2005-259031所公开的对象检测设备通过根据外部环境信息（例如天气或温度信息）设置用于识别人的存在的参考模式，识别人的存在。

针对假定的具体环境条件来预定义用于目标对象的图像识别的图像识别字典。然而，在捕获图像时的环境条件远不同于在预定义图像识别字典时假定的环境条件的情况下，将降低利用该图像识别字典获得的图像识别结果的鲁棒性，并且从而将降低检测目标对象的性能。

在所公开的设备中，响应于与天气或温度等有关的外部环境信息的变化来设置参考模式能够增强检测性能。然而，在安装在车辆中的这样的对象检测设备中，不仅由外部环境信息的变化而且由对象车辆的工作状态的变化所引起的环境条件的变化可以影响检测性能。

目标对象的可见性是可变的。例如，在白天当对象车辆的前灯关闭时行人的全身显然是明亮的，而在夜间当对象车辆的前灯打开时行人的下半身显然是明亮的而行人的上半身太黑而不能被看见。因此，在如下情况下，可能无法实现检测目标对象的稳定性能：将使用针对假定的具体环境条件而预定义的图像识别字典和图像识别技术的图像识别应用于在由包括对象车辆的前灯的有效和无效状态的对象车辆的不同工作状态所引起的围绕目标对象的各种变化的环境条件下所捕获的图像。

考虑到上述内容，因此期望的是，使安装在车辆中的对象检测设备即使在由车辆的工作状态的变化所引起的各种变化的环境条件下也能够可靠地检测目标对象。

发明内容

根据本发明的示例性实施方式，提供一种安装在车辆中的对象检测设备。该设备包括存储器，该存储器存储多个图像识别字典和多个图像识别技术，每个图像识别字典描述针对待检测对象的参考数据，并且每个图像识别技术用于利用多个图像识别字典之一、从由车辆的成像单元捕获的输入图像中检测对象。多个图像识别技术中的每个图像识别技术包括利用多个图像识别字典之一的图像识别算法，并且还可以包括图像校正，在将图像识别处理应用于输入图像之前，在图像校正中调节该输入图像的亮度、对比度、色彩、锐度等中的至少一个。

该设备还包括：第一获取器，该第一获取器被配置成获取车辆的照明装置的工作状态；选择器，该选择器被配置成根据由第一获取器获取的照明装置的工作状态，选择在存储器中存储的多个图像识别字典之一以及在存储器中存储的多个图像识别技术之一；以及检测器，该检测器被配置成通过利用由选择器选择的图像识别字典和图像识别技术、将图像识别处理应用于输入图像，检测输入图像中的对象。

如上配置的对象检测设备能够根据车辆照明装置的工作状态、在用于检测目标对象的多个图像识别字典之间以及多个图像识别技术之间进行切换。优选地，例如，对象检测设备预存储可以针对车辆前灯的各自工作状态（例如打开、关闭等）提供最佳性能的多个图像识别字典和图像识别技术，并且选择在将图像识别处理应用于输入图像时、与前灯的工作状态相对应的图像识别字典之一和图像识别技术之一的组合。这能够增强经由图像识别来检测目标对象的性能，即使在由照明装置的工作状态所引起的各种变化的环境条件下也如此。

附图说明

在附图中：

图1A示出了根据本发明的一个实施方式的对象检测系统的框图；

图1B示出了处理器的功能框图；

图2A示出了多个图像识别字典和多个图像识别技术的示例；

图2B示出了选择模式的表格的示例；以及

图3示出了目标对象检测处理的示例性流程图。

具体实施方式

下文将参照附图更充分地描述本发明。

[系统配置]

根据本发明的一个实施方式的对象检测系统安装在车辆中（下文称为对象车辆），并且用于检测具体目标对象（例如在对象车辆的前方出现的人、车辆、路标等）。如图1A中所示，对象检测系统包括对象检测设备1，该对象检测设备1可通信地连接至图像输入2、车辆信息输入3以及检测结果输出4等。

对象检测设备1包括处理器10和存储器11。对象检测设备1被配置成通过利用描述目标对象的图像识别字典、将图像识别处理应用于输入图像，从输入图像中检测目标对象图像。

处理器10是包括中央处理单元（CPU）、只读存储器（ROM）、随机存取存储器（RAM）以及输入/输出接口等（未示出）的信息处理器。处理器10对来自图像输入2的输入图像进行处理以检测目标对象，并且输出检测结果。处理器10将利用针对目标对象的图像识别字典的公知的图像识别处理应用于输入图像，以检测其中的目标对象图像。在根据本实施方式的应用于输入图像的图像识别处理中，处理器10从预定义的多个图像识别字典和图像识别技术中，选择适于车辆前灯和雨刮器的工作状态的图像识别字典和图像识别技术。随后将更详细地描述本实施方式的目标对象识别处理。

存储器11存储用于描述针对一个目标对象或多个目标对象的参考数据的图像识别字典、以及与利用图像识别字典的图像识别技术（算法和图像校正）相关联的计算机程序等。在本实施方式中，在存储器11中预存储针对相同目标对象的假定的不同环境条件而预定义的多个图像识别字典。根据由对象车辆的各种工作状态（例如对象车辆的车辆前灯、雨刮器等的打开和关闭状态（或有效和无效状态））所引起的各种变化的环境条件，在图像亮度、对比度、色彩、锐度等方面对这些图像识别字典进行区分。

另外，将与在识别特性方面彼此不同的多个图像识别技术相关联的计算机程序也存储在存储器11中。多个图像识别技术包括在识别机制方面彼此不同的其各个图像识别算法，例如基于图像识别字典之一与输入图像之间的几何信息中的相似性的图像识别算法以及基于图像识别字典之一与输入图像之间的像素值的平均值或像素值的直方图中的相似性的图像识别算法。每个图像识别技术还可以包括图像校正，以增大图像识别算法的图像识别检测率，在将图像识别算法应用于输入图像之前，在图像校正中调节输入图像的亮度、对比度、色彩、锐度等中的至少一个。

图2A示出了多个图像识别字典和图像识别技术的示例。更具体地，在图2A中，多个图像识别字典包括针对其各自假定的环境条件而预定义的六个不同的图像识别字典a、b、c、a'、b'、c'，其中根据前灯和雨刮器的工作状态，这些假定的环境条件在目标对象（人）图像的亮度和锐度方面彼此不同。多个图像识别技术包括两个不同的识别算法α、β和图像校正。

在本实施方式中，如图2B中所示，将选择模式表格预存储在存储器11中。根据前灯和雨刮器的工作状态，每个选择模式与多个图像识别字典之一和多个图像识别算法之一的组合相关联。借助于考虑用于预定义各个图像识别字典的环境条件、以及在目标对象图像的亮度和锐度方面不同的各个图像识别算法的识别特性的实验或模拟，设计这些选择模式，以便于提供最佳检测性能。

作为示例，当前灯关闭（或打开）时，可以使用针对其中前灯关闭的假定环境条件而预定义的图像识别字典，并且可以使用可以在这些假定的环境条件下提供最佳或良好性能的图像识别算法。而且，当雨刮器关闭（或打开）时，可以使用针对其中雨刮器关闭（或打开）的假定环境条件而预定义的图像识别字典，并且可以使用可以在这些假定的环境条件下提供最佳或良好性能的图像识别算法。另外，在输入图像的锐度显著降低的条件下，例如当雨刮器在强倾盆大雨下快速工作时，可以将图像校正应用于输入图像，在将图像识别算法应用于输入图像之前，在该图像校正中调节输入图像的亮度、对比度、色彩、锐度等。

在图2B中所示的表格中，预定义了多个选择模式，其中每个选择模式与前灯照明状态（关闭、近光束模式、远光束模式）之一以及雨刮器的工作状态（关闭、低速模式、高速模式）之一的组合相对应。或者，可以针对考虑车辆辅助灯的工作状态、雨刮器的工作速度等的更详细条件来设计更多类型的选择模式。

再参照图1A，图像输入2包括作为成像单元的车载相机等，以捕获对象车辆前方的图像。将所捕获图像作为输入图像从图像输入2馈送至对象检测设备1的处理器10。

车辆信息输入3将用于确定车载照明装置（例如前灯）和风挡雨刮器的工作状态的各种信息馈送至对象检测设备1。更具体地，车辆信息输入3包括但不限于控制照明装置的亮灭的灯开关以及操作雨刮器的雨刮器开关。

响应于来自对象检测设备1的检测结果，检测结果输出4向对象车辆的驾驶员发出存在（除对象车辆之外的）车辆或人的警报，和/或控制对象车辆。检测结果输出4包括但不限于车辆驾驶安全系统或驾驶辅助系统的控制器。

如图1B中所示，处理器10包括第一获取器101、第二获取器102、选择器103以及检测器104。第一获取器101获取对象车辆的照明装置（例如前灯）的工作状态，并且负责执行目标对象检测处理（随后描述）的步骤S100、S102。第二获取器102获取对象车辆的雨刮器的工作状态，并且负责执行目标对象检测处理的步骤S100、S102。选择器103根据由第一获取器101获取的照明装置的工作状态和由第二获取器102获取的雨刮器的工作状态，选择在存储器11中存储的多个图像识别字典之一和在存储器11中存储的多个图像识别技术之一。选择器103负责执行目标对象检测处理的步骤S104。检测器104通过利用由选择器103选择的图像识别字典和技术、将图像识别处理应用于输入图像，检测输入图像中的目标对象。检测器104负责执行目标对象检测处理的步骤S106。

[目标对象检测处理]

现在将参照图3的流程图来说明在对象检测设备1的处理器10中执行的目标对象检测处理。

在步骤S100中，处理器10从车辆信息输入3获取表示灯开关和雨刮器开关的工作状态的车辆信息。灯开关的工作状态包括打开、关闭、近光束模式、远光束模式等。雨刮器开关的工作状态包括打开、关闭、工作速度、工作间隔等。

在步骤S102中，处理器10基于在步骤S100中获取的车辆信息来确定前灯和雨刮器的工作状态。此后在步骤S104中，处理器10基于在步骤S102中确定的前灯和雨刮器的工作状态，选择在应用于来自图像输入2的输入图像的图像识别处理中所使用的图像识别字典和图像识别技术。更具体地，处理器10参照图2B中所示的表格来选择与前灯和雨刮器的当前工作状态相对应的选择模式之一，从而确定用于图像识别处理中的图像识别字典和图像识别技术。

此后在步骤S106中，处理器10利用在步骤S104中选择的图像识别字典和图像识别技术、将图像识别处理应用于来自图像输入2的输入图像，以检测输入图像中的目标对象。更具体地，处理器10利用所选择的图像识别字典来扫描输入图像，并且根据所选择的图像识别技术的图像识别算法来将图像识别处理应用于输入图像中的预定义区域中的每个预定义区域。当图像校正包括在所选择的图像识别技术中时，在应用所选择的图像识别技术的图像识别算法之前，对输入图像进行校正。

在步骤S108中，处理器10将在步骤S106中执行的图像识别处理的检测结果输出到检测结果输出4。

[益处]

本实施方式的对象检测设备1能够提供以下益处。

对象检测设备1能够根据照明装置（前灯）和雨刮器的工作状态，在用于检测目标对象的多个图像识别字典之间以及多个图像识别技术之间进行切换。更具体地，对象检测设备1预存储可以针对前灯和雨刮器的各自工作状态提供最佳性能的多个图像识别字典和图像识别技术，并且在将图像识别处理应用于输入图像时、选择与前灯和雨刮器的工作状态相对应的图像识别字典之一和图像识别技术之一的组合。这能够增强经由图像识别来检测目标对象的性能，即使在由照明装置（前灯）和雨刮器的工作状态所引起的各种变化的环境条件下也如此。

[修改]

在以上实施方式中，对象检测设备被配置成使得将多个可选择的图像识别字典和多个可选择的图像识别技术预存储在设备中。可替代地，对象检测设备可以被配置成使得将多个可选择的图像识别字典和仅一个固定的图像识别技术预存储在设备中，或者可以被配置成使得将仅一个固定的图像识别字典和多个可选择的图像识别技术预存储在设备中。

在以上实施方式中，为了说明的目的，将所考虑以选择可以提供最佳检测性能的图像识别字典之一和图像识别算法之一的组合的照明装置的工作状态限制于前灯的点亮状态。可替代地，所考虑以选择可以提供最佳检测性能的图像识别字典之一和图像识别算法之一的组合的照明装置的工作状态可以包括除前灯的点亮状态之外的辅助灯（例如车辆侧灯、雾灯等）的点亮状态，或者还可以包括前灯的调平状态。

在具有在前面描述和相关联的附图中所存在的技术的益处的情况下，本发明所属领域内的技术人员将想到本发明的许多修改和其他实施方式。因此，应当理解的是，本发明不限于所公开的具体实施方式和修改，并且意在将其他实施方式包括在所附权利要求的范围内。虽然在本文中使用了具体术语，但是它们仅以一般和描述性意义来使用，而非用于限制目的。

Claims (4)

1.一种安装在车辆中的对象检测设备(1)，所述对象检测设备包括：

存储器(11)，所述存储器(11)存储多个图像识别字典和多个图像识别技术，每个图像识别字典描述针对待检测对象的参考数据，并且每个图像识别技术用于利用所述多个图像识别字典之一、从由所述车辆的成像单元(2)捕获的输入图像中检测所述对象，所述多个图像识别技术中的每个图像识别技术包括在识别机制方面存在差异的不同图像识别算法；

第一获取器(101，S100，S102)，所述第一获取器(101，S100，S102)被配置成获取所述车辆的照明装置的工作状态；

选择器(103，S104)，所述选择器(103，S104)被配置成根据由所述第一获取器(101，S100，S102)获取的所述照明装置的工作状态，选择在所述存储器(11)中存储的所述多个图像识别字典之一和在所述存储器(11)中存储的所述多个图像识别技术之一；以及

检测器(104，S106)，所述检测器(104，S106)被配置成通过利用由所述选择器(103，S104)选择的图像识别字典和图像识别技术、将图像识别处理应用于所述输入图像，检测所述输入图像中的所述对象，

其中，根据由所述车辆的照明装置的工作状态所引起的环境条件，在图像亮度、对比度、色彩以及清晰度方面对所述多个图像识别字典进行区分；以及

所述多个图像识别技术中的每个图像识别技术包括图像校正，在所述图像校正中，在应用图像识别算法之前，调节所述输入图像的亮度、对比度、色彩以及清晰度中的至少一个。

2.根据权利要求1所述的设备(1)，还包括第二获取器(102，S100，S102)，所述第二获取器(102，S100，S102)被配置成获取所述车辆的雨刮器的工作状态，

其中，所述选择器(103，S104)还被配置成根据由所述第一获取器(101，S100，S102)获取的所述照明装置的工作状态和由所述第二获取器(102，S100，S102)获取的所述雨刮器的工作状态，选择在所述存储器(11)中存储的所述多个图像识别字典之一和在所述存储器(11)中存储的所述多个图像识别技术之一。

3.根据权利要求1或2所述的设备(1)，其中，所述多个图像识别技术中的每个图像识别技术包括用于将所述图像识别处理应用于所述输入图像的相应图像识别算法。

4.根据权利要求3所述的设备(1)，其中，所述多个图像识别技术中的至少一个图像识别技术还包括：在所述图像识别算法应用于所述输入图像之前应用于所述输入图像的图像校正。