CN102428494B - 汽车视觉系统和方法 - Google Patents

Abstract

一种汽车视觉系统(10)，包括至少一个适于从汽车周围区域探测图像的成像设备(12)，和一个用于处理所述成像设备(12)所提供的图像数据的电子处理装置(14)，其中所述的成像设备(12)包括一个图像传感器(21)，其特征在于：所述视觉系统(10)适于向所述图像传感器(21)输入窗口参数，用于切出和输出所述图像传感器(21)的完整成像区域(30)的一个窗口图像部分(30)。

Description

汽车视觉系统和方法

本发明涉及汽车视觉系统，该视觉系统包括至少一个适于从汽车周围区域探测图像的成像设备，和一个处理所述成像设备所提供的图像数据的电子处理装置，其中，所述成像设备包括一个图像传感器。而且，本发明涉及相应的视觉方法（vision method）。

此类系统大致为人所知，例如可参见美国专利US7158664B2。由于汽车中的处理和存储资源有限，必须在探测效率和成本之间找取平衡点。

本发明的目的是提供一种用于汽车的可靠的和低本高效的视觉系统。

本发明通过具有独立权利要求中的特征的对象来实现所述目标。依据本发明，从已经处于成像设备的图像传感器中的整个成像区域中切出一个窗口并只将所切出的窗口传输至电子处理（或预处理）装置进行进一步的图像和数据处理。因此，需要被传输、处理和存储的数据数量在信号产生的起始点已经被减少了。

在本发明的上下文中，图像传感器指的是将被探测的辐射转化成一个电子信号的电子装置。与已知的在图像传感器后执行的图像处理程序中使用窗口图像不同的是，本发明已经在图像传感器中执行窗口的形成。优选的是，图像传感器是红外传感器或CMOS设备。

优选的是，窗口参数依据成像设备的相对定向被分别设定，所述相对定向为成像设备相对于汽车的定向或相对于其他成像设备的定向。这种特征使本发明不同于：无视成像设备的定向而切出一个位于完整的传感器区域中的恒定窗口。

依据成像设备的相对定向来分别设置窗口参数在本发明的一个优选的下述应用中特别有利，所述应用为将本发明用于立体视觉系统中的应用，所述立体视觉系统通常包括两个成像设备，像红外相机或CMOS相机，每一个包括一个图像传感器。在此应用中，优选地，对每个图像传感器独立地设定窗口参数。依据相应的成像设备的定向切出各窗口图像可被看作是将立体图像相互之间进行对齐的第一步。以此方式，下述电子处理（或预处理）装置中的立体图像的对齐和匹配过程可被更快速地执行，同时存储器占用的比较少。

优选的是，成像设备的窗口参数由电子处理装置设定，从而无需一个额外的参数设定装置。

优选的是，视觉系统包扩一个存储装置，用于存储窗口参数，从而允许——例如通过汽车制造商或服务站——在一个测量程序中预先确定窗口参数并将其预先存储在存储装置中。或者也可以，在驾驶期间，依据对来自成像装置的图像数据的分析，来确定窗口参数。

下面，参考附图，基于优选实施方案来描述本发明，其中：

图1示出了汽车视觉系统的示意图；并且

图2示出了被立体视觉系统探测的立体图像的示例。

视觉系统10被安装在汽车里面并包括成像装置11，成像装置用于探测汽车周围区域的图像，例如，汽车前面的区域。优选的是，成像设备11是红外设备，并且，更优选的是，包括一个或多个光学和/或红外相机12a、12b，在此，红外覆盖了波长小于5微米的近红外和/或波长超过5微米的远红外。优选的是，成像设备11包括两个相机12a、12b，形成了一个立体成像装置11；或者可以使用仅仅一个形成单一成像装置的相机。

每一个相机12a、12b包括一个光学布置20a、20b以及一个2维图像传感器21a、21b，尤其是一个红外传感器或一个光学传感器，其被提供用于将传输通过相机12a、12b的入射红外辐射或可见光转化为一个包含探测到的景象的图像信息的电子信号。

相机12a、12b被连接到一个图像预处理器13，该图像预处理器13适于控制相机12a、12b的图像捕获，接收包含来自图像传感器21a、21b的图像信息的电子信号，弯曲左/右图像对，使之对齐并生成不同的图像（这在现有技术中是已知的）。图像预处理器13可由指定的硬件电路实现。或者，预处理器13或它的部分功能能够在电子处理装置14中被实现。

然后，经预处理的图像数据被提供给一个电子处理装置14，在该电子处理装置处，进一步的图像和数据处理由相应的软件执行。尤其是，在处理装置14中的图像和数据处理包含下面的功能：对汽车前方的可能目标（如其他汽车、行人、骑自行车的人、大型动物）进行识别和分类；随着时间追踪被探测图像中所识别的目标候选对象的位置；依据目标探测和追踪过程的结果，激活或控制汽车安全装置17、18、19。

汽车安全装置17、18、19........可包括警告装置17，其适于通过合适的光、声和/或触觉警告信号给驾驶员提供一碰撞警告；用于显示与被识别的目标相关的信息的显示装置18；一个或多个约束系统19，例如乘员气囊、安全带张紧器、行人气囊、引擎照升起器等；和/或动态汽车控制装置，例如刹车。

电子处理装置14可便利地访问存储装置15。

优选地，电子处理装置14被编程或是可编程的并且可包括一个微处理器或微控制器。优选的是，图像预处理器13、电子处理装置14和存储装置15在一个板上电子控制单元16（ECU）中被实现，并且可被连接到相机21a、21b，优选地是通过一个分立的电缆或通过一个汽车数据总线而被连接到相机21a、21b。在另一个实施方案中，ECU和一个相机12a、12b能被集成至单个单元中。所有的步骤，从成像、图像预处理、图像处理到激活或控制安全装置17、18、19...都在驾驶期间实时地被自动和连续执行。

每一个图像传感器21a、21b包括一个窗口输入22a、22b，用于给每一个图像传感器21a、21b指定每个窗口的参数。优选的是，窗口参数被存储在存储装置15中并且通过处理装置14传给图像传感器21a、21b，如图1所示。然而，也可由预处理器13或电子控制单元16中其他合适的装置将窗口参数传递给图像传感器21a、21b。

使用图2所示的示例性图像30a,30b来解释完整的图像区域的各窗口图像部分的切出过程。假定图像30a已经被相机12a探测到，其中，图像区域30a对应于图像传感器21a的完整的感应区域，或整个传感器阵列。类似地，假定图像30b已经被相机12b探测到，其中，图像30b对应于图像传感器21b的完整的感应区域，或整个传感器阵列。

在图2的示例中，相机12a和12b稍微不重合。具体是，左边的相机30a轻微地偏离右下方，从而使图像30a的内容，例如行人图像31a，稍稍地移向左上方，并且右侧的相机30b稍微偏离左上方，从而使图像30b的内容，例如行人图像31b，稍稍地移向右下方。

如果整个图像区域30a、30b被传给预处理器13，相等的图像内容出现在立体图像30a、30b中的不同的位置处。例如,在左部的图像30a中，行人31顶部的出现要比右边图像30b中的行人31顶部的出现早几行几列。这导致预处理器13中的图像30a、30b的立体匹配的等待时间更长以及存储器消耗更大。例如，如果在预处理器13中，立体匹配是逐行进行的，则左侧图像30a中的包含行人31a的顶部的行的匹配还不能开始，直至该行在多时之后出现在右侧的图像30b中，并且其间的所有行必须被缓存在存储器中。

依据本发明，为了补偿相机12a、12b的任何未对准，整个图像区域30a、30b中——以一种使窗口图像部分32a、32b中的图像内容紧密匹配的方式——分别切出更小的窗口图像部分32a、32b。为了尽早就从数据量减少这方面获益，在图像传感器21a、21b中就已经执行窗口的形成；只需将量已经减少的图像数据从相机12a、12b传递至电子控制单元16并存于其中。

应用于图像传感器21a、21b的窗口输入22a、22b的各窗口参数例如可以包括窗口区域32a、32b的预定点的x,y坐标（图2中的左上窗角的xa,ya和xb,yb）。应用于窗口输入22a、22b的窗口参数也可以包含关于窗口尺寸（如窗口行和列的数量）的信息。或者，可以将窗口尺寸预设在图像传感器21a、21b中。

通过上面描述的窗口的形成，相等的图像内容出现于窗口图像32a、32b中的近乎相等的垂直位置处。这导致预处理器13中的窗口图像32a、32b的立体匹配的等待时间减少以及存储器消耗降低。例如，在预处理器13中，如果立体匹配逐行进行，则左侧窗口图像32a中的包含行人31a的顶部的行的匹配可以在没有大的延期的情况下开始，因为，该行在右侧窗口图像32b中于同一时间出现，或者，无论如何，也仅仅只有小得多的行偏移。

将要应用于图像传感器21a、21b的窗口参数可以被预先确定，例如由汽车制造商或服务站在一个确定车内相机12a、12b的对齐的测量程序中被预先确定，并被存储在存储装置15，供驾驶期间使用。然而也可在驾驶期间确定车中相机12a、12b的对齐，例如通过确定一个消视点32a、32b相对于图像区域30a、30b的中心的偏移，并从所确定的对齐（未对齐）来计算各窗口参数。

Claims (13)

1.一种汽车视觉系统(10)，包括至少两个适于从汽车周围区域探测图像的成像设备(12)，和一个用于处理所述成像设备(12)所提供的图像数据的电子处理装置(14)，其中每个所述成像设备(12)包括一个图像传感器(21)，其特征在于：所述视觉系统(10)适于向每个所述图像传感器(21)独立地输入窗口参数，所述图像传感器(21)用于切出和输出所述图像传感器(21)的完整成像区域(30)的一个窗口图像部分(32)，使两个所述图像传感器提供的窗口图像部分中的图像内容匹配，

在所述图像传感器中就已经执行窗口的形成，只需将量已经减少的图像数据从成像设备传递至电子控制单元并存于其中。

2.根据权利要求1所述的视觉系统，其中所述窗口参数依据所述成像设备(12)的相对定向被分别设定。

3.根据权利要求1或2所述的视觉系统，其中所述视觉系统(10)是一个立体视觉系统。

4.根据权利要求1所述的视觉系统，其中所述成像设备(12)是红外相机或CMOS传感器。

5.根据权利要求1所述的视觉系统，其中所述图像传感器(21)是红外相机或CMOS传感器。

6.根据权利要求1所述的视觉系统，其中由所述电子处理装置(14)向所述图像传感器(21)输入所述窗口参数。

7.根据权利要求1所述的视觉系统，包括用于存储窗口参数的存储装置(15)。

8.根据权利要求7所述的视觉系统，其中所述窗口参数在一个测量程序中被预先确定，并被预先存储在所述存储装置(15)中。

9.根据权利要求1所述的视觉系统，包括一个适于预处理由所述图像传感器(21)提供的窗口图像部分(32)的图像预处理设备(13)。

10.根据权利要求9所述的视觉系统，其中所述预处理设备(13)适于在立体匹配之前弯曲窗口图像部分(32)，使之对齐。

11.根据权利要求1所述的视觉系统，其中所述窗口参数包括窗口图像部分(32)的一个具体成像点的坐标。

12.一种汽车视觉方法，包括步骤：使用至少两个包括相应的图像传感器的车载成像设备从汽车前面的一个区域探测图像；以及在一个车载电子处理装置中处理所述成像设备所提供的图像数据，其特征在于：向每个所述图像传感器独立地输入窗口参数，切出所述图像传感器的完整成像区域的由所述窗口参数限定的一个窗口图像部分,以及从所述图像传感器输出所述窗口图像部分,使两个所述图像传感器提供的窗口图像部分中的图像内容匹配，

在所述图像传感器中就已经执行窗口的形成，只需将量已经减少的图像数据从成像设备传递至电子控制单元并存于其中。

13.根据权利要求12所述的视觉方法，其中，为了补偿汽车中的所述成像设备的相对定向，分别调整所述窗口参数。