CN102150062A

CN102150062A - 物体检测装置

Info

Publication number: CN102150062A
Application number: CN200980114068XA
Authority: CN
Inventors: 白石达也
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-06-27
Filing date: 2009-06-26
Publication date: 2011-08-10
Also published as: WO2009157548A1; US20110037853A1; EP2293118A1; JP4453775B2; JP2010008280A

Abstract

本发明的课题为，提供一种物体检测装置，其即使在本车辆的运行情况发生了变化的情况下，也能够设定适当的图像处理区域。本发明为，对拍摄本车辆周边的图像中的特定图像处理区域进行图像处理，从而获取本车辆周边的物体的信息的物体检测装置，其具有：获取本车辆周边的物体的位置信息的毫米波传感器(2)以及ECU(4)、和对本车辆周边进行拍摄的照相机(3)，该物体检测装置根据毫米波传感器(2)以及ECU(4)获取的物体的位置信息，来设定通过照相机(3)拍摄的图像中的图像处理区域，并检测本车辆的运行情况的变化，从而根据检测出的本车辆运行情况的变化而对所设定的图像处理区域进行补正。

Description

物体检测装置

技术领域

本发明涉及一种物体检测装置。

背景技术

近年来，开发出了防碰撞装置、车间距控制装置、追随行驶装置等的驾驶辅助装置。在这些驾驶辅助装置中，重要的是对行驶在本车辆前方的车辆的检测。在物体检测装置中，有一种为了提高检测精度而设有两个特性不同的检测单元的装置，即，通过毫米波雷达等雷达实施的检测单元、和利用了通过照相机拍摄的图像的检测单元。在专利文献1所记载的装置中，根据通过雷达检测出的物体的测定结果来设定图像处理区域，并在通过照相机拍摄的图像中对该设定的图像处理区域进行图像处理，从而自该图像处理区域检测出物体的信息。

在先技术文献

专利文献

专利文献1：日本特开2006-151125号公报

专利文献2：日本特开2006-258507号公报

发明内容

本发明所要解决的课题

根据路面状况或者行驶中的加减速和转向等，车辆的运行情况会发生变化(前后颠簸、侧倾、横摆)。因此，例如在发生前后颠簸的过程中根据雷达的测定结果来设定图像处理区域时，因为雷达无法检测出高度方向的信息，所以有时在该被设定的图像处理区域内不存在物体的全部或者仅存在一部分。在这种情况下，将无法从该图像处理区域中检测出有关物体的信息。

因此，本发明的课题为，提供一种物体检测装置，其即使在本车辆的运行情况发生变化时，也能够设定恰当的图像处理区域。

用于解决课题的方法

本发明所涉及的物体检测装置，对拍摄本车辆周边的图像中的特定图像处理区域进行图像处理，从而获取本车辆周边的物体的信息，其特征在于，具有：位置信息获取单元，其获取本车辆周边的物体的位置信息；拍摄单元，其对本车辆周边进行拍摄；图像处理区域设定单元，其根据通过位置信息获取单元获取的物体的位置信息，来设定通过拍摄单元拍摄的图像中的图像处理区域；车辆运行情况检测单元，其检测本车辆的运行情况的变化；补正单元，根据通过车辆运行情况检测单元检测出的本车辆运行情况的变化，对通过图像处理区域设定单元设定的图像处理区域进行补正。

在该物体检测装置中，通过位置信息获取单元来检测本车辆周边的物体的位置信息，并由图像处理区域设定单元根据该检测出的位置信息来设定图像处理区域。此外，在物体检测装置中，通过车辆运行情况检测单元来检测本车辆运行情况的变化(例如，前后颠簸、侧倾、横摆)。而且，在物体检测装置中，由补正单元根据该被检测出的本车辆的运行情况的变化而对图像处理区域进行补正。而且，在物体检测装置中，对通过拍摄单元拍摄的本车辆周边的图像中的图像处理区域进行图像处理，从而获取本车辆周边的物体的信息。以此方式，在物体检测装置中，通过对本车辆的运行情况的变化进行检测，并根据该运行情况的变化而对图像处理区域进行补正，从而即使在本车辆的运行情况发生变化时，也能够设定充分包含本车辆周边物体的、适当的图像处理区域。其结果为，即使在本车辆的运行情况发生变化时，也能够切实地从该补正后的图像处理区域中获取物体的信息。

在本发明的上述物体检测装置中，优选为，补正单元对图像处理区域的位置进行补正。

在该物体检测装置中，通过由补正单元根据本车辆运行情况的变化而对图像处理区域的位置进行补正，从而能够根据本车辆运行情况变化切实地对图像处理区域的位置偏差进行补正。例如，在本车辆前后颠簸时，由于图像处理区域将在上下方向上产生位置偏差，因此通过在上下方向上平行移动从而对位置进行补正。在本车辆侧倾时，由于图像处理区域将向侧倾方向旋转而产生位置偏差，因此通过旋转移动从而对位置进行补正。

在本发明的上述物体检测装置中，优选为，车辆运行情况检测单元对通过拍摄单元分别拍摄的、拍摄时刻不同的多个图像间的光流进行计算，并根据该光流来检测本车辆运行情况的变化。

在该物体检测装置中，通过由车辆运行情况检测单元利用多个拍摄时刻不同的图像间的光流而检测本车辆的运行情况的变化，从而能够高精度地检测出本车辆的运行情况的变化。

发明效果

本发明通过检测本车辆的运行情况的变化，并根据该运行情况的变化而对图像处理区域进行补正，从而即使在本车辆的运行情况变化了的情况下，也能够设定适当的图像处理区域。

附图说明

图1为本实施方式所涉及的周边监视装置的结构图。

图2为表示本车辆的侧倾和图像处理区域之间的关系的拍摄图像的一个示例。

图3为表示本车辆的前后颠簸和图像处理区域之间的关系的拍摄图像的一个示例。

图4为表示图1的ECU中的图像处理区域决定处理流程的流程图。

符号说明

1···周边监视装置；

2···毫米波传感器；

3···照相机；

4···ECU。

具体实施方式

下面，参照附图，对本发明所涉及的物体检测装置的实施方式进行说明。

在本实施方式中，将本发明所涉及的物体检测装置应用在了搭载于车辆上的周边监视装置中。本实施方式所涉及的周边监视装置检测本车辆前方的障碍物(例如，其他车辆、自行车、行人等移动物体，坠落物等静止物体)，并将其检测到的障碍物信息输出到驾驶辅助装置(防碰撞装置等)处，或者通过语音或显示的方式提供给驾驶者。而且，检测方向被设为前方，但是也可以设定为侧方，后方等其他方向。

下面参照图1～图3，对本实施方式所涉及的周边监视装置1进行说明。图1为本实施方式所涉及的周边监视装置的结构图。图2为表示本车辆侧倾和图像处理区域之间关系的拍摄图像的一个示例。图3为表示本车辆前后颠簸和图像处理区域之间关系的拍摄图像的一个示例。

周边监视装置1作为本车辆前方的检测单元而具有毫米波传感器和照相机，利用毫米波传感器的障碍物传感信息来设定照相机拍摄的图像中的障碍物传感区域(图像处理区域)。特别是，在周边监视装置1中，为了在本车辆的运转情况变化时也能够切实地从传感区域检测出障碍物的信息，而对本车辆的运行情况的变化进行检测，并根据该运行情况的变化而对传感区域进行补正。周边监视装置1具有：毫米波传感器2、照相机3以及ECU(ElectronicControl Unit：电子控制单元)4。

本实施方式中，毫米波传感器2以及ECU4的功能相当于权利要求中所述的位置信息获取单元，照相机3相当于权利要求中所述的拍摄单元，ECU4的各功能相当于权利要求中所述的图像处理区域设定单元、车辆运行情况检测单元、补正单元。

毫米波传感器2是利用毫米波来检测物体的雷达传感器。毫米波传感器2被安装在本车辆前侧中央的预定高度位置(能够可靠地检测出作为检测对象的障碍物的高度位置)上。在毫米波传感器2中，使毫米波沿左右方向扫描的同时从本车辆向前方发送，并接收反射回来的毫米波。发送毫米波时的上下方向的角度是固定的，该角度被设定为，在车辆停止时其相对于路面平行。在毫米波传感器2中，将能够接收到反射毫米波的各反射点(检测点)的由毫米波信息(左右方向的扫描方位角、发送时刻、接收时刻、反射强度等)组成的毫米波信号，发送至ECU4。

照相机3为，对本车辆的前方进行拍摄的照相机。照相机3被安装在本车辆的前侧中央处。照相机3对本车辆前方进行拍摄，并将该拍摄图像信息作为图像信号而向ECU4发送。该拍摄图像为，每隔一定时间(例如，1/30秒)的帧图像。

ECU4为，由CPU(Central Processing Unit：中央处理器)、ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)以及图像处理芯片等组成的电子控制单元，其对周边监视装置1进行综合控制。在ECU4中，通过将存储在ROM中的应用程序加载到RAM中，并由CPU来执行，从而实现了毫米波障碍物检测功能、图像处理区域设定功能、本车辆运动量推断功能、图像处理区域补正功能、图像障碍物检测功能。在ECU4中，每隔一定时间，读取来自毫米波传感器2的毫米波信号以及来自照相机3的图像信号，并按时间序列而存储毫米波信息以及拍摄图像信息。而且，在ECU4中，利用这些信息来执行各功能的处理，并将检测到的障碍物信息(例如，相对距离、相对速度、横向位置、大小信息、种类信息)输出到驾驶辅助装置中或者提供给驾驶员。

下面对毫米波障碍物检测功能进行说明。在ECU4中，利用当前时刻(t)的毫米波信息，并根据毫米波从发送到接收的时间来计算出距前方障碍物的相对距离。而且，在ECU4中，根据在该当前时刻(t)计算出的距离和在前一时刻(t-1)计算出的距离的变化，从而计算出与前方障碍物的相对速度。此外，在ECU4中，利用当前时刻(t)的毫米波信息，对反射回来的毫米波中以最大强度反射回来的毫米波的方向进行检测，从而根据该方向而求出本车辆的行驶方向和障碍物的方向之间所成的角度，并从该角度计算出横向位置。另外，在计算相对速度时，也可以使用比前一时刻(t-1)更早的相对距离数据。

下面对图像处理区域设定功能进行说明。在ECU4中，根据通过毫米波障碍物检测功能而检测出的障碍物信息(特别是，相对距离、横向位置)，来设定图像处理区域。在此，根据相对距离和横向位置等来决定图像处理区域的中心位置，并设定自该中心位置分别确保有预先设定的上下方向宽度和左右方向宽度的图像设定区域。

下面对本车辆运动量推断功能进行说明。在ECU4中，从当前时刻(t)的帧图像和前一时刻(t-1)的帧图像之间的图像整体计算出光流。根据该光流，能够将图像整体中的各点(物体)的运动作为矢量而取得。由于在图像中存在前方车辆等的移动物体和道路等的静止物体，所以通过以图像整体为对象而求取光流，从而能够分别求得移动物体和静止物体的光流。在移动物体的情况下，由于光流中包含移动物体的运动和本车辆的运动，所以难以推断本车辆的运动量。但是，在静止物体的情况下，由于光流中只包含本车辆的运动，所以易于推断本车辆的运动量。另外，在计算光流时，也可以使用比前一时刻(t-1)更早的帧图像。

而且，在ECU4中，根据各点的光流(特别是，静止物体的光流)而对本车辆的运动量(俯仰角、侧倾角、横摆角等)进行推断。在该推断中，利用了8点算法等。并且，虽然该被推断出的运动量，严格来说是拍摄了用于推断的图像的照相机3的运动量，但是由于照相机3被搭载于本车辆上，从而照相机3也以和本车辆一体的方式而运动，所以该运动量相当于本车辆的运动量。

下面对图像处理区域补正功能进行说明。在ECU4中，对通过本车辆运动量推断功能而求得的俯仰角是否大于俯仰角阈值进行判断。俯仰角阈值为根据试验等而被预先设定的阈值，其用于判断俯仰角的大小是否为，在因本车辆的前后颠簸而产生了位置偏差的图像处理区域(通过图像处理区域设定功能而设定的区域)中进行图像处理时，会对图像处理结果(障碍物信息)产生影响的大小。当俯仰角大于俯仰角阈值时，在ECU4中，根据该俯仰角而计算出图像内的上下方向上的平行移动量(像素数)。而且，在ECU4中，按照该上下方向上的平行移动量，而使通过图像处理区域设定功能设定的图像处理区域的位置进行平行移动，从而最终决定图像处理区域。

此外，在ECU4中，对通过本车辆运动量推断功能求得的侧倾角是否大于侧倾角阈值进行判断。侧倾角阈值为根据试验等而被预先设定的阈值，其用于判断侧倾角的大小是否为，在因本车辆的侧倾而产生了位置偏差的图像处理区域中进行图像处理时，会对图像处理结果产生影响的大小。当侧倾角大于侧倾角阈值时，在ECU4中，将根据该侧倾角而计算出图像内的旋转移动量(图像中心处相对于水平轴的旋转角)。而且，在ECU4中，按照该旋转移动量，将通过图像处理区域设定功能设定的图像处理区域的位置，以图像中心为旋转轴而进行旋转移动，从而最终决定图像处理区域。

另一方面，当俯仰角在俯仰角阈值以下、并且侧倾角在侧倾角阈值以下时，在ECU4中，将通过图像处理区域设定功能设定的图像处理区域，最终决定为图像处理区域。

下面对图像障碍物检测功能进行说明。在ECU4中，从当前时刻(t)的图像中提取最终决定的图像处理区域的图像。而且，在ECU4中，从图像处理区域的图像中检测出障碍物的信息。作为能够从图像检测出的障碍物的信息，包括：障碍物的大小信息(横向宽度、高度)、利用了模型识别的障碍物种类信息(例如车辆、行人)等。

图2所示的示例为，在本车辆侧倾时，根据基于毫米波信息而获得的障碍物信息来设定了图像处理区域时的情况。在该情况下，设定了相对于拍摄图像P1中的前方车辆FV而向右下方向位置偏差了的图像处理区域IA1。此时，通过推断本车辆的侧倾角，并求得相当于该侧倾角的旋转移动量(图像中心C处相对于水平轴的旋转角θ)，且按照该旋转角θ而将图像处理区域IA1沿顺时针方向进行旋转移动，从而再次设定出图像处理区域RA1。在该图像处理区域RA1内，充分包含了前方车辆FV。

图3所示的示例为，在本车辆前后颠簸时根据由毫米波信息获得的障碍物信息来设定了图像处理区域时的情况。在该情况下，设定了相对于拍摄图像P2中的前方车辆FV向下方位置偏差了的图像处理区域IA2。此时，通过推断本车辆的俯仰角，并求得相当于该俯仰角的上下方向上的平行移动量(像素数D)，且按照该像素数D而将图像处理区域IA2向上方进行平行移动，从而再次设定出图像处理区域RA2。在该图像处理区域RA2内，充分包含了前方车辆FV。

下面参照图1～图3，对周边监视装置1的动作进行说明。特别是，按照图4的流程图对ECU4中的图像处理区域决定处理进行说明。图4为，表示图1的ECU中的图像处理区域决定处理流程的流程图。

毫米波传感器2每隔一定时间通过毫米波进行扫描，并将表示各检测点的相关毫米波信息的毫米波信号发送至ECU4。ECU4每当接收到该毫米波信号时，则按照时间序列对该毫米波信息进行存储。

照相机3每隔一定时间对本车辆的前方进行拍摄，并将表示该图像信息的图像信号发送至ECU4。ECU4每当接收到该图像信号时，按照时间序列对该帧图像信息进行存储。

由ECU4读取当前时刻(t)的毫米波信息，并根据该毫米波信息而检测障碍物信息(相对距离、相对速度、横向位置等)(S1)。而且，在ECU4中，根据该障碍物信息来设定图像处理区域(S2)。

由ECU4分别读取当前时刻(t)的帧图像和前一时刻(t-1)的帧图像，并根据两帧之间的图像而计算出光流，且根据该光流而对本车辆的运动量(俯仰角、侧倾角、横摆角)进行推断(S3)。

由ECU4对俯仰角是否大于俯仰角阈值进行判断，并且对侧倾角是否大于侧倾角阈值进行判断(S4)。

当在S4中判断出俯仰角在俯仰角阈值以下、并且侧倾角在侧倾角阈值以下时，则ECU4对在S2中设定的图像处理区域进行确定。

另一方面，当在S4中判断出俯仰角大于俯仰角阈值时，在ECU4中，则按照与该俯仰角对应的上下方向上的平行移动量，而对图像处理区域的位置进行补正，以确定该补正后的图像处理区域(S5)。此外，当在S4中判断出侧倾角大于侧倾角阈值时，则ECU4中，按照对应于该侧倾角的旋转移动量，而对图像处理区域的位置进行补正，以确定该补正后的图像处理区域(S5)。

而且，ECU4从当前时刻(t)的图像中的、确定的图像处理区域，对障碍物信息(大小信息、种类信息等)进行检测。

ECU4将该检测出的障碍物信息(相对距离、相对速度、横向位置、大小信息、种类信息等)输出到驾驶辅助装置处，或者通过语音或显示的方式而提供给驾驶者。

根据此周边监视装置1，通过检测本车辆的运动量，并根据该运动量对图像处理区域进行补正，从而即使在本车辆的运行情况发生了变化的情况下，也能够设定充分包含本车辆周边的障碍物的、适当的图像处理区域。其结果为，即使在本车辆的运行情况发生了变化的情况下，也能够确实地从该补正后的图像处理区域中检测出障碍物信息。而且，根据周边监视装置1，能够通过利用不同拍摄时刻的图像间的光流而推断本车辆的运动量，从而高精度地检测出本车辆的运动量。特别是，由于是以图像整体为对象而求取光流，因此，能够在不受到图像中移动物体的运动影响的条件下，检测出本车辆的运动量。

以上，对本发明所涉及的实施方式进行了说明，但是本发明并不限定于上述的实施方式，其能够以各种方式被实施。

例如，虽然本实施方式中是将本发明应用于周边监视装置上，但是也可以应用于行人检测装置等其他的物体检测装置、或者防碰撞装置、车间距控制装置、追随行驶装置等驾驶辅助装置中的物体检测功能等中。

此外，虽然在本实施方式中作为位置信息获取单元而采用了毫米波传感器，但是也可以采用：激光传感器、超音波传感器等其他雷达传感器、以及利用了照相机图像的传感器、基础结构等其他手段。

此外，虽然在本实施方式中为了检测本车辆的运行情况而利用了光流，但是也可以通过其他方法来对车辆运行情况进行检测。

产业上的可利用性

本发明能够应用于物体检测装置。

Claims

1.一种物体检测装置，对拍摄本车辆周边的图像中的特定图像处理区域进行图像处理，从而获取本车辆周边的物体的信息，其特征在于，具有：

位置信息获取单元，其获取本车辆周边的物体的位置信息；

拍摄单元，其对本车辆周边进行拍摄；

图像处理区域设定单元，其根据通过所述位置信息获取单元获取的物体的位置信息，来设定通过所述拍摄单元拍摄的图像中的图像处理区域；

车辆运行情况检测单元，其检测本车辆的运行情况的变化；

补正单元，根据通过所述车辆运行情况检测单元检测出的本车辆运行情况的变化，对通过所述图像处理区域设定单元设定的图像处理区域进行补正。

2.如权利要求1所述的物体检测装置，其特征在于，所述补正单元对图像处理区域的位置进行补正。

3.如权利要求1或者2所述的物体检测装置，其特征在于，所述车辆运行情况检测单元对通过所述拍摄单元分别拍摄的、拍摄时刻不同的多个图像间的光流进行计算，并根据该光流来检测本车辆运行情况的变化。