CN102414715A - 物体检测装置 - Google Patents

物体检测装置 Download PDF

Info

Publication number
CN102414715A
CN102414715A CN2010800179187A CN201080017918A CN102414715A CN 102414715 A CN102414715 A CN 102414715A CN 2010800179187 A CN2010800179187 A CN 2010800179187A CN 201080017918 A CN201080017918 A CN 201080017918A CN 102414715 A CN102414715 A CN 102414715A
Authority
CN
China
Prior art keywords
difference
candidate
image
detection device
theoretical value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800179187A
Other languages
English (en)
Other versions
CN102414715B (zh
Inventor
内田尚秀
白石达也
西嶋征和
名波刚
后藤宏晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN102414715A publication Critical patent/CN102414715A/zh
Application granted granted Critical
Publication of CN102414715B publication Critical patent/CN102414715B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种物体检测装置，包括：成像单元(11)，其被承载在移动体上；第一计算单元(21；22；23)，其计算在各个不同时刻由所述成像单元(11)捕获的多个图像之间的图像位移的观测值；第一物体检测单元(10，21；10，22；10，23)，其检测候选物体并且获取所述候选物体的信息；第二计算单元(21，22，23)，其基于候选物体的信息来计算图像位移的理论值；以及第二物体检测单元(21；22；23)，其将图像位移的观测值与图像位移的理论值进行比较并且基于比较结果来判定候选物体是否为物体。

Description

物体检测装置
技术领域
本发明涉及通过使用由成像单元捕获的图像来检测物体的物体检测装置，其中所述成像单元被承载在移动体上。
背景技术
使用光流的方法可用作通过使用由承载在移动体(例如，车辆)上的照相机捕获的图像来检测物体的技术。光流为来自时间连续的一系列图像的图像中每个点(像素、区域、特征点)的速率场并且通过向量表示图像中物体的运动。已经公开了利用光流向量的大小和方向来检测阻挡本车的行驶的另一车辆的运动等的技术。公开号为2005-157779的日本专利申请(JP-A-2005-157779)中描述的装置通过包括移动体在其上移动的移动平面的第一图像来计算移动体的位移，通过排除移动平面并且包括目标物体的第二图像来获得光流，并且基于移动体的位移和光流来计算距目标物体的距离。
为了利用光流来检测阻挡移动体的移动的物体的信息，如在上述装置中，移动体本身的位移也是必要的。要通过图像处理以高精度获得移动体的位移，计算处理的负荷高。
发明内容
本发明提供一种物体检测装置，所述物体检测装置能够检测待检测物体，而不使用移动体的位移。
本发明的第一方案涉及一种物体检测装置，其包括：成像单元，其被承载在移动体上；第一计算单元，其计算在各个不同时刻由所述成像单元捕获的多个图像之间的图像位移的观测值；第一物体检测单元，其检测候选物体并且获取所述候选物体的信息；第二计算单元，其基于所述候选物体的所述信息来计算所述图像位移的理论值；以及第二物体检测单元，其将所述图像位移的所述观测值与所述图像位移的所述理论值进行比较并且基于比较结果来判定所述候选物体是否为物体。
在上述物体检测装置中，第一计算单元通过在不同时刻捕获的多个图像来计算图像位移(例如，光流)。在这种情况下，例如，对于图像上的每个特征点、每个像素和每个小区域来计算图像位移的观测值。此外，在上述物体检测装置中，第一物体检测单元检测移动体周围的候选物体并且获取检测到的候选物体的信息(例如，距离和相对速率)。此外，在物体检测装置中，第二计算单元基于检测到的候选物体的信息来计算图像位移的理论值。例如，当在移动体的周围存在直立物体时，通过包括直立物体的图像计算出的直立物体的图像位移的观测值与对应于直立物体的图像上的位置处的图像位移的理论值非常一致(相同或基本相同)。因此，在物体检测装置中，第二物体检测单元将由第一计算单元计算出的图像位移的观测值与所述图像上对应位置处的图像位移的理论值进行比较，基于比较结果来判定候选物体是否为物体，并且检测待检测物体(例如，直立物体)。因此，借助于物体检测装置，通过估计图像位移的理论值并且将图像位移的理论值与图像位移的观测值进行比较，可以检测待检测物体并且获取关于所述物体的信息，而不使用移动体的位移。结果，降低了计算处理的负荷，并且提高了检测精度。
在物体检测装置中，第二计算单元可以对应于候选物体计算图像位移的理论值。
在候选物体被检测到并且通过第一物体检测单元获取物体信息的情况下，物体检测装置的第二计算单元计算相对于检测到的候选物体的图像位移的理论值。然后，在物体检测装置中，对于检测到的候选物体，第二检测单元将图像位移的观测值与图像位移的理论值进行比较，并且基于比较结果来检测待检测物体。通过估计相对于由第一检测单元检测到的候选物体的图像位移的理论值并且将图像位移的理论值和观测值进行比较，可以判定由第一物体检测单元检测到的候选物体是否为待检测物体。此外，由于仅相对于已由第一物体检测单元检测到的候选物体进行处理，进一步降低了计算处理的负荷。
在物体检测装置中，对于图像上的多个部分中的每一个，第二物体检测单元可以计算图像位移的观测值与图像位移的理论值之间的差值并且基于所述差值等于或小于第一阈值的部分来判定候选物体是否为所述物体。
在物体检测装置中，对于图像上的每个部分(例如，对于每个特征点、每个像素和每个小区域)，第二物体检测单元计算图像位移的观测值与图像位移的理论值之间的差值，判定该差值是否等于或小于第一阈值，并且基于所述差值等于或小于所述第一阈值的部分来判定所述候选物体是否为所述物体。在第一阈值设定为用于判定图像位移的观测值和在图像上的对应位置处的图像位移的理论值是否相等或基本相等的阈值的情况下，当所述差值等于或小于所述第一阈值时，具有所述部分的候选物体可被判定为待检测物体。因此，在物体检测装置中，通过对于每个部分将图像位移的理论值和图像位移的观测值之间的差值与第一阈值进行比较，可以高精度且简单的方式判定所述候选物体是否为待检测物体。
此外，在物体检测装置中，对于图像上的多个部分中的每一个，第二物体检测单元可以计算图像位移的观测值与图像位移的理论值之间的差值，计算多个部分的差值的平均值，并且基于所述差值和所述差值的所述平均值来判定候选物体是否为所述物体。
在物体检测装置中，对于图像上的每个部分，第二物体检测单元计算图像位移的观测值与在图像上的对应位置处的图像位移的理论值之间的差值。如上文所述，对于直立物体，图像位移的观测值与图像上的对应位置处的图像位移的理论值非常一致，并且其差值为零或接近零的值。然而，当相对横向速率(移动体转向，或待检测物体在移动体的前方横穿道路)或者在移动体和待检测物体之间发生相对垂直速率(例如，移动体纵摇的波动)时，这种相对速率分量被添加到图像位移的观测值。因此，图像位移的观测值与在图像上的对应位置处的图像位移的理论值之间的差值增加到与相对速率分量相当的程度。因此，在物体检测装置中，第二物体检测单元通过考虑到除了每个部分的差值之外的差值的平均值(与相对速率分量相当的值)来检测待检测物体。因此，在物体检测装置中，通过考虑到除了对于每个部分图像位移的理论值与图像位移的观测值之间的差值之外的差值的平均值，即使当在移动体和物体之间发生相对横向速率或相对垂直速率时，也可以良好的精度检测物体。
此外，在物体检测装置中，对于图像上的多个部分中的每一个，第二物体检测单元可以计算图像位移的观测值与图像位移的理论值之间的差值，并且基于对于多个部分中的每一个的差值的相对于图像上的位置变化的变化程度来判定候选物体是否为所述物体。
对于直立物体，图像位移的观测值与在图像上的对应位置处的图像位移的理论值之间的差值为零或接近于零的值。因此，对于存在直立物体的区域中的每个特征点的差值不根据图像上的位置而变化。然而，在物体不为直立物体的情况下，图像位移的观测值根据距移动体的距离而变化，并且图像位移的观测值与在图像上的对应位置处的图像位移的理论值之间的差值也变化。因此，对于每个部分的差值根据图像上的位置而变化。因此，对于图像上的多个部分中的每一个，第二物体检测单元计算图像位移的观测值与图像位移的理论值之间的差值，并且基于每个特征点的差值的相对于图像上的位置变化的变化程度来检测待检测物体。在物体检测装置中，通过基于对于每个部分图像位移的观测值与图像位移的理论值之间的差值的相对于图像上的位置变化的所述变化程度来判定候选物体是否为待检测物体，可以较高的精度来检测待检测物体。
物体检测装置可以进一步包括检测移动体的转弯状态的转弯状态检测单元，以及基于所述转弯状态来校正图像位移的理论值的校正单元，其中，对于图像上的多个部分中的每一个，第二检测单元可以将图像位移的观测值与已由校正单元校正的图像位移的校正理论值进行比较，并且第二检测单元基于比较结果来判定所述候选物体是否为所述物体。
当移动体转弯时，在移动体和待检测物体之间发生相对横向速率。结果，该相对横向速率被添加到图像位移的观测值。因此，图像位移的观测值与在图像上的对应位置处的图像位移的理论值之间的差值增大到与相对横向速率相当的程度。因此，在物体检测装置中，转弯状态检测单元检测移动体的转弯状态，并且校正单元基于移动体的转弯状态来校正图像位移的理论值。然后，在物体检测装置中，对于图像上的每个部分，第二检测单元将图像位移的观测值与已由校正单元校正的图像位移的校正理论值进行比较，并且基于比较结果来检测待检测物体。在物体检测装置中，通过基于移动体的转弯状态来校正图像位移的理论值，可以较高的精度检测待检测物体。
附图说明
参考附图，将在下面对示例实施例的详细说明中说明本发明的特征、优点以及技术和工业重要性，在附图中，相同的附图标记表示相同的元件，其中：
图1为根据第一实施例至第三实施例的周围监测装置的结构图；
图2图示了在存在直立物体(另一车辆)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例；
图3图示了在不存在直立物体的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例；
图4为图示第一实施例的电子控制单元(ECU)的处理流程的流程图；
图5图示了在车辆转向时存在直立物体(另一车辆)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例；
图6为图示第二实施例的ECU中的处理流程的流程图；
图7图示了在不存在直立物体的情况下在每个横向位置上与白线相对应的特征点的光流的横向分量的观测值和理论值的示例；
图8为图示第三实施例的ECU中的处理流程的流程图；
图9为根据第四实施例的周围监测装置的结构图；
图10图示了在存在直立物体(行人)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例；
图11图示了在车辆转向时存在直立物体(行人)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例；
图12图示了在车辆转向时存在直立物体(行人)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和校正理论值的示例；
图13为图示由车辆的左右车轮的速度计算用于校正的偏移值的方法的说明图；以及
图14为图示第四实施例的ECU中的处理流程的流程图。
具体实施方式
下面将参照附图说明根据本发明的物体检测装置的实施例。在图中，相同或相应的元件由相同的附图标记表示，并且省略了多余的说明。
在实施例中，根据本发明的物体检测装置应用于被承载在车辆上的周围监测装置。本实施例的周围监测装置检测位于车辆前方的直立物体。此外，周围监测装置将与检测到的直立物体有关的信息输出到驾驶辅助装置(防碰撞装置等)或通过声音或显示将所述信息提供给驾驶员。本文所提到的直立物体为可阻挡车辆的行驶的物体并且表示移动物体(例如，另一车辆、自行车和行人)或静止物体(例如，落下来的物体)。第一实施例为如下基本示例：基于光流的观测值和理论值之间的差值来检测直立物体。第二实施例为如下示例：通过考虑在车辆的横向方向上或车辆的垂直方向上目标相对于车辆的相对速率分量来校正所述差值。第三实施例为如下示例：基于通过用线条拟合光流的观测值和理论值之间的差值而获得的结果来检测直立物体。第四实施例为如下示例：在车辆转向期间，基于转弯状态来校正理论值。在本发明的实施例中，虽然假设要检测位于车辆前方的直立物体，但是装置也可以被配置为检测位于车辆侧面或后方的直立物体。
将参照图1至图3说明根据第一实施例的周围监测装置1。图1为根据第一实施例至第三实施例的周围监测装置的结构图。图2图示了在存在直立物体(另一车辆)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例。图3图示了在不存在直立物体的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例。
周围监测装置1基于通过时间连续的两帧图像计算出的光流来检测与直立物体有关的信息。特别地，在周围监测装置1中，基于雷达信息来检测候选物体(目标)，基于候选物体相对于车辆的相对信息来估计光流的理论值，并且基于光流的理论值和通过图像计算出的光流的观测值之间的差值来判定物体是否为直立物体。周围监测装置1设置有毫米波雷达10、照相机11和ECU 21。
在第一实施例中，毫米波雷达10和ECU 21用作第一物体检测单元，照相机11用作成像单元，而ECU 21用作第一计算单元、第二计算单元和第二物体检测单元。
毫米波雷达10为利用毫米波频段的电磁波检测物体的扫描型雷达。毫米波雷达10安装到车辆的前端的中央部分上。此外，毫米波雷达10与路面基本平行地安装在足以使能检测待检测物体的高度处的位置上。在毫米波雷达10中，在预定角度范围内沿水平方向扫描的同时，朝向车辆前方的区域按预定间隔发射毫米波，并且反射的毫米波(从目标反射的毫米波)被接收。此外，在毫米波雷达10中，由与每个反射点(检测点)相关的数据(在水平方向上的扫描方位角、发射时间、接收时间、反射强度等)组成的雷达信号按预定间隔被发送给ECU 21。
照相机11为配置为捕获车辆前方的图像的单目照相机。照相机11安装到车辆的前部的中央的预定位置上。照相机11按预定间隔捕获车辆前方的图像并且将捕获的图像信息作为图像信号发送给ECU 21。捕获图像为按预定间隔(例如，100毫秒)的帧的图像。
ECU 21为由中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)构成并且用于进行周围监测装置1的总体控制的电子控制单元。在ECU 21中，按预定间隔取得来自毫米波雷达10的雷达信号和来自照相机11的图像信号，并且按时间顺序存储雷达信息和捕获的图像信息。此外，在ECU 21中，利用这些信息来进行检测直立物体的处理，并且与检测到的直立物体有关的信息(例如，距离、相对速率、横向位置和移动方向)被输出到驾驶辅助装置或提供给驾驶员。
在ECU 21中，基于预定条件对雷达信息中所包含的大量反射点进行分组。该分组可利用常规方法进行。在ECU 21中，对于通过分组获得的每组(目标)，基于从毫米波发射到毫米波接收的时间来计算距目标的距离Z。此外，在ECU 21中，基于距离Z的时间变化来计算相对于目标的相对速率Vr。此外，在ECU 21中，基于在水平方向上毫米波的扫描方位角来计算目标相对于车辆的相对方向和横向位置，所述横向位置为在车辆的横向方向上的位置。在这种情况下，通过利用并且融合与各个组中的多个反射点有关的数据对于每个组计算一条信息(例如，一个相对方向或一个横向位置)。
在ECU 21中，依据目标的位置为每个目标设定捕获图像中的搜索窗口。搜索窗口可以具有预定尺寸或者可以为与当已经通过雷达检测到与目标的尺寸有关的信息(横向宽度等)时的雷达信息相应的尺寸。此外，在ECU 21中，从捕获图像的搜索窗口的内部提取特征点。边缘为特征点的示例，并且可利用索贝尔(sobel)过滤器等进行提取。
在ECU 21中，对于在搜索窗口中检测到的每个特征点，利用在当前时刻(t)捕获的帧的图像和在前一时刻(t-1)捕获的帧的图像来计算捕获图像上的特征点的周边上的小区域的光流。可利用常规方法来计算光流。
在ECU 21中，通过等式(1)利用目标的相对信息(距离、相对速率)来计算捕获图像上的特征点的位置处的光流的理论值F。在如下假设下进行光流的理论值的计算：假设图像中的所有点位于基于实际空间中的雷达信息而检测到的距离处(换句话说，假设直立物体存在于基于雷达信息检测到的距离处)。
F ≅ ( x - x 0 + f × tan θ ) × Z t - 1 - Z t Z t 等式(1)
在等式(1)中，x为图像上的横向方向(车辆横向方向)上的特征点的坐标(像素单位)，x0为图像上的横向方向上的中心坐标。此外，等式(1)中的f为对应于照相机11的焦距的像素的数量。在等式(1)中，θ为照相机11相对于车辆的安装角。当车辆的自车辆向前延伸的中央轴线与照相机11的光学轴线的方向一致时，安装角为零。此外，等式(1)中的Zt-1为在前一时刻(t-1)的帧的捕获时刻的目标和车辆之间的距离，并且Zt为在当前时刻(t)的帧的捕获时刻的目标和车辆之间的距离。通过将已经基于雷达信息计算出的目标和车辆的相对速率Vr乘以照相机11的捕获时间间隔Δt来获得距离之差(Zt-1-Zt)。在等式(1)中，虽然假设相对速率恒定不变，但是也可以通过考虑相对加速度来获得相对速率。当毫米波雷达10的检测时间间隔和照相机11的捕获时间间隔相同时，可以使用已基于雷达信息计算出的目标和车辆之间的距离Z，而不做改变。这里，(f×tanθ)为在照相机11的光学轴线的方向相对于车辆的自车辆向前延伸的中央轴线的方向偏移的情况下校正图像上的在横向方向上的中心坐标的校正值。因此，当照相机11被安装为使得照相机11的光学轴线的方向与车辆的自车辆向前延伸的中央轴线的方向一致时，在等式(1)中校正值是不必要的(变为零)。
如上所述，在存在直立物体的假设下计算光流的理论值。因此，当实际存在直立物体时，已通过捕获图像计算出的光流的观测值等于或基本等于光流的理论值。因此，当光流的观测值和光流的理论值之间的差值为零或基本为零时，目标可被识别为直立物体。在光流的观测值和光流的理论值之间的差值不为零的情况下，目标可被识别为非直立物体。
在ECU 21中，对于搜索窗口中的每个特征点，计算已通过捕获图像计算出的光流的观测值和光流的理论值之间的差值。此外，对于搜索窗口中的每个特征点，ECU 21判定所述差值是否等于或小于阈值。该阈值用于判定光流的观测值和光流的理论值是否为相同的值或基本相同的值(判定光流的观测值和光流的理论值之间的差值是否为零或基本为零)。通过考虑毫米波雷达10的检测误差和照相机11的性能而提前设定所述阈值。通过从光流的观测值中减去光流的理论值(或从光流的理论值中减去光流的观测值)而获得的相减值可以为正或负。因此，阈值具有正上限值和负下限值。所述差值(即，相减值的绝对值)是否等于或小于阈值是通过相减值是否落在从负下限值到正上限值的范围内来判定的。另一选择是判定相减值的绝对值是否等于或小于正上限阈值。
ECU 21判定在搜索窗口中的一组特征点中所述差值等于或小于所述阈值的特征点的比率是否大(例如，比率为80％或更大、或者90％或更大)。更具体地，ECU 21判定所述差值等于或小于阈值的特征点的比率是否等于或大于预定比率(例如，80％或90％)。在差值等于或小于阈值的特征点的比率大(等于或大于预定比率)时，ECU 21将目标判定为直立物体并且基于通过与该目标有关的雷达信息检测到的相对信息或基于每个特征点的光流来设定与直立物体有关的信息(距离、相对速率、横向位置等)。在差值等于或小于阈值的特征点的比率小(小于预定比率)的情况下，ECU 21判定出所述目标不为直立物体。通过图像检测到的直立物体的尺寸以及利用模式识别等检测到的直立物体的类型可被添加到与直立物体有关的信息中。
一旦对于所有的目标完成处理，ECU 21将与检测到的所有直立物体有关的信息输出到驾驶辅助装置或驾驶员。
图2图示了与在车辆的前方存在另一车辆V(直立物体)的情况相关的示例。从通过毫米波雷达10获得的雷达信息检测到的目标的检测位置R1显示在另一车辆V的后表面上。此外，通过捕获图像计算出的特征点的光流F11至F16也显示在另一车辆V的后表面上。在曲线图G1中，沿着横坐标绘制图像上的横向位置，并且沿着纵坐标绘制光流的横向分量。在曲线图G1中，每个特征点的光流F11至F16的横向分量的观测值由黑色圆圈表示，对照横向位置的光流的横向分量的理论值由虚直线L1表示，并且各个特征点的光流F11至F16的横向分量的观测值和与特征点相对应的横向位置上的光流的横向分量的理论值之间的差值由叉状符号表示。
图3图示了在车辆的前方不存在直立物体的示例。从通过毫米波雷达10获得的雷达信息检测到的目标的检测位置R2显示在位于道路上的钢板S上。通过捕获图像计算出的特征点的光流F21至F26显示在道路上的中心线C和图案P上。在曲线图G2中，黑色圆圈表示每个特征点的光流F21至F26的横向分量的观测值，虚直线L2表示对照横向位置的光流的横向分量的理论值，并且叉状符号表示每个特征点的光流F21至F26的横向分量的观测值和与特征点相对应的横向位置上的光流的横向分量的理论值之间的差值。
如图2中的曲线图G1所示，当存在例如车辆V的直立物体时，光流的观测值和在图像上的对应横向位置上的光流的理论值彼此相等，并且二者的差值为零。如图3中的曲线图G2所示，当在道路上不存在直立物体时，光流的观测值和在图像上的对应横向位置上的光流的理论值彼此不同，并且二者的差值不为零。因此，能够通过光流的观测值和理论值之间的差值来判定是否存在直立物体。
下面将参照图1说明周围监测装置1的操作。特别地，将通过图4中所示的流程图说明ECU 21中进行的处理。图4为图示在根据第一实施例的ECU中的处理流程的流程图。
在毫米波雷达10中，在水平方向上扫描的同时，按预定间隔发射毫米波。当反射波被接收到时，接收到的与反射点有关的信息作为雷达信号被发送给ECU 21。ECU 21接收雷达信息并且存储接收到的雷达信息。照相机11捕获车辆前方的图像并且将图像信号发送给ECU 21。ECU 21接收图像信号并且存储图像信息。
在每个特定瞬间(例如，每当从照相机11获取捕获图像时)，ECU 21基于雷达信息检测目标并且获取目标的相对信息(S10)。
对于每个检测到的目标，ECU 21对应于目标设定图像上的搜索窗口(S11)。然后，ECU 21从当前帧的捕获图像的搜索窗口中提取特征点(S12)。
ECU 21利用当前帧的捕获图像和前一帧的捕获图像对于搜索窗口中的每个特征点进一步计算光流的观测值(S13)。然后，ECU 21利用目标的相对信息(距离、相对速率)对于搜索窗口中的每个特征点计算光流的理论值(S14)。然后，ECU 21对于搜索窗口中的每个特征点计算通过捕获图像获得的光流的观测值和通过目标的相对信息估计出的光流的理论值之间的差值(S15)。
然后，ECU 21判定搜索窗口中的每个特征点的差值是否等于或小于阈值，并且判定搜索窗口中所述差值等于或小于阈值的特征点的比率是否大(S16)。当在S16中已经判定出差值等于或小于阈值的特征点的比率大时，ECU 21判定出所述目标为直立物体并且基于每个特征点的目标和光流的相对信息来设定直立物体的信息(S17)。在S16中已经判定出差值等于或小于阈值的特征点的比率小的情况下，ECU 21判定出所述目标不是直立物体(S18)。
然后，ECU 21判定对于检测到的所有目标是否已经完成处理(S19)。当在S19中判定出并未对于所有目标完成处理时，ECU 21返回到S11的处理并且进行关于下个目标的处理。当在S19中判定出对于所有目标完成了处理时，ECU 21将与检测到的所有直立物体有关的信息输出到驾驶辅助装置或将所述信息提供给驾驶员并且结束当前的处理。
借助于这种周围监测装置1，通过估计光流的理论值并且将光流的理论值与光流的观测值进行比较，可以高精度判定目标(候选物体)是否为直立物体(物体)并且以高精度检测例如车辆的障碍物。在该情况下，使用光流，不需要使用车辆的位移，并且能够降低计算处理的负荷。
此外，借助于周围监测装置1，仅对于基于毫米波雷达10的雷达信息检测到的目标来进行处理。因此，能够对于由毫米波激光器10检测到的目标进行直立物体判定，并且能够进一步降低计算处理的负荷。此外，借助于周围监测装置1，通过计算光流的理论值和光流的观测值之间的差值并且将所述差值与阈值进行比较的简单处理来进行直立物体判定。因此，能够进一步降低计算处理的负荷。
下面将参照图1和图5描述根据第二实施例的周围监测装置2。图5示出了在车辆转向时存在直立物体(另一车辆)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例。
周围监测装置2与根据第一实施例的周围监测装置1的不同之处在于，通过考虑目标相对于车辆的相对速率分量来校正差值。因此，下面将仅详细描述该差别。周围监测装置2设置有毫米波雷达10、照相机11和ECU 22。
在第二实施例中，毫米波雷达10和ECU 22用作第一物体检测单元，照相机11用作成像单元，并且ECU 22用作第一计算单元、第二计算单元和第二物体检测单元。
当在车辆和目标之间发生相对横向速率(例如，当移动体转向时或者当行人横穿车辆前方的道路时)或相对垂直速率(例如，当车辆纵摇时)时，对应于这些相对速率分量的值(在除了前后方向之外的方向上的相对速率分量)被添加到光流中。在这种情况下，这种相对速率分量不反映在光流的理论值中，并且光流的观测值和光流的理论值之间的差值增大(即使当物体为直立物体时，差值也不为零)，并且不可能精确地判定出物体是否为直立物体。
例如，由于车辆转向引起的相对横向速率或由于纵摇波动引起的相对垂直速率均匀地出现在整个图像上。因此，对于所有的特征点，待添加到光流中的值是相同的。因此，通过从差值中减去抵消添加到所有特征点中的该值的值，能够从光流的观测值中排除相对速率分量的影响。此外，由于行人横穿道路引起的横向速率仅影响图像的一部分。因此，对于存在行人的区域内的特征点，添加到光流中的值是相同的。因此，通过从差值中减去抵消添加到所有特征点中的该值的值，能够从光流的观测值中排除相对速率分量的影响。
ECU 22为由CPU、ROM、RAM等构成的电子控制单元，并且进行周围监测装置2的整体控制。ECU 22与第一实施例的ECU 21的不同之处仅在于，在计算每个特征点的差值之后获得校正差值，并且通过利用校正差值来进行与阈值的比较。因此，下面将详细说明该差别。
在对于每个搜索窗口(每个目标)计算出每个特征点的差值的情况下，ECU 22计算搜索窗口中的所有特征点的差值的平均值。当在相对速率分量的影响之下时，对应于相对速率分量的值被添加到搜索窗口中的所有特征点的光流中。因此，搜索窗口中的所有特征点的差值的平均值为已添加到光流中的对应于相对速率分量的值。
ECU 22从搜索窗口中每个特征点的差值中减去差值的平均值并且获得校正差值。然后，ECU 22判定校正差值是否等于或小于搜索窗口中的每个特征点的阈值。
ECU 22判定在搜索窗口中的一组特征点中校正差值等于或小于阈值的特征点的比率是否大(等于或等于预定比率)。当校正差值等于或小于阈值的特征点的比率大时，ECU 22判定出所述目标为直立物体并且为目标设定直立物体的信息。在校正差值等于或小于阈值的特征点的比率小的情况下，ECU22判定出所述目标不是直立物体。
图5图示了在车辆向左转向的过程中存在另一车辆V(直立物体)的示例。已经从通过毫米波雷达10获得的雷达信息检测到的目标的检测位置R3显示在另一车辆V的后表面上。通过捕获图像计算出的特征点的光流F31至F36显示在另一车辆V的后表面上，并且与由于转向引起的横向速率相对应的值被添加到光流F31至F36中。在曲线图G3中，黑色圆圈表示特征点的光流F31至F36的横向分量的观测值，虚直线L3表示对照横向位置的光流的横向分量的理论值，并且叉状符号表示特征点的光流F31至F36的横向分量的观测值和与特征点相对应的横向位置上的光流的横向分量的理论值之间的差值。
如图5中的曲线图G3所示，由黑色圆圈表示的所有特征点的光流的横向分量的观测值从由虚直线L3表示的光流的横向分量的理论值以一既定值发生移位，并且由叉状符号表示的所有特征点的差值相应地从零以给定值D发生移位。该给定值D对应于由于车辆转向引起的相对横向速率。而且，通过从特征点的差值中减去给定值D而获得的校正差值由三角形符号表示，并且这些校正差值为零。因此，即使当车辆转向时，也可以通过用差值的平均值校正每个特征点的差值来辨别目标是否为直立物体。
下面将参照图1说明周围监测装置2的操作。特别地，将通过遵照图6中所示的流程图来说明ECU 22中的处理。图6为图示第二实施例的ECU中的处理流程的流程图。在周围监测装置2中执行的处理中，ECU 22中执行的一些操作不同于第一实施例的周围监测装置1中执行的操作，将仅详细说明这些操作。
ECU 22中的步骤S20至S25的处理与第一实施例的ECU 21中的步骤S10至S15的处理相似。
在计算每个特征点的差值的情况下，在ECU 22中计算搜索窗口中的所有特征点的差值的平均值(S26)。然后，ECU 22从差值中减去平均值并且获得搜索窗口的每个特征点的校正差值(S27)。
然后，ECU 22判定搜索窗口中的每个特征点的校正差值是否等于或小于阈值，并且判定在搜索窗口中校正差值等于或小于阈值的特征点的比率是否大(S28)。当在S28中判定出在搜索窗口中校正差值等于或小于阈值的特征点的比率大时，ECU 22判定出所述目标为直立物体并且设定所述直立物体的信息(S29)。当在S28中判定出在搜索窗口中校正差值等于或小于阈值的特征点的比率小时，ECU 22判定出所述目标不是直立物体(S30)。
然后，ECU 22判定对于检测到的所有目标是否已经完成处理(S31)。当在S31中判定出并未对于所有目标完成处理时，ECU 22返回到S21的处理并且进行关于下个目标的处理。当在S31中判定出对于所有目标完成了处理时，ECU 22将与检测到的所有直立物体有关的信息输出到驾驶辅助装置或将所述信息提供给驾驶员并且结束当前的处理。
周围监测装置2验证了除了与根据第一实施例的周围监测装置1相似的效果之外的下述效果。借助于周围监测装置2，基于每个特征点的光流的理论值和光流的观测值之间的差值的平均值来校正每个特征点的差值。结果，可以精确地判定所述目标是否为直立物体，例如，即使当在本车和目标之间发生相对横向速率或相对垂直速率时也可以较高的精度检测车辆的障碍物。
下面参照图1和图7说明根据第三实施例的周围监测装置3。图7示出了在不存在直立物体的情况下在每个横向位置上与白线(车道区分线)对应的特征点的光流的横向分量的观测值和理论值的示例。
周围监测装置3与根据第一实施例的周围监测装置1的不同之处在于，基于与光流的观测值和理论值之间的差值拟合的直线来判定目标是否为直立物体。因此，下面将仅详细描述该特征。周围监测装置3设置有毫米波雷达10、照相机11和ECU 23。
在第三实施例中，毫米波雷达10和ECU 23用作第一物体检测单元，照相机11用作成像单元，并且ECU 23用作第一计算单元、第二计算单元和第二物体检测单元。
光流的距离分辨率低于使用立体图像等的物体检测的距离分辨率。因此，从白线等提取的在距离方向(图像的深度方向)上分布的特征点的差值等于或小于阈值，并且可能将特征点的目标错误地判定为直立物体。
图7图示了在车辆的前方不存在直立物体的示例。从通过毫米波雷达10获得的雷达信息检测到的目标的检测位置R4显示在位于道路上的钢板S上。通过捕获图像计算出的特征点的光流F41至F45显示在道路左边的白线W上。在曲线图G4中，黑色圆圈表示每个特征点的光流F41至F45的横向分量的观测值，虚直线L4表示对照横向位置的光流的横向分量的理论值，并且叉状符号表示每个特征点的光流F41至F45的横向分量的观测值和在与特征点相对应的横向位置上的光流的横向分量的理论值之间的差值。特征点的差值等于或小于阈值。因此，差值和阈值的比较结果可表明，白线W为直立物体。
如图7所示，当目标不是直立物体时，光流的大小随着距车辆的距离(在图像的深度方向上)减小而减小。因此，在例如非直立物体的白线这样的一组特征点的情况下，所述一组特征点的差值与图像上的横向位置对应地以同样的程度变化，并且因此与具有预定斜率的直线拟合。作为对比，在具有一组为直立物体(例如，车辆)的特征点的情况下，即使当图像上的横向位置变化时，所述一组特征点的差值也总是为零，并且与具有零斜率的直线拟合。因此，通过利用直线的斜率来确定目标是否为直立物体。
ECU 23为由CPU、ROM、RAM等构成的电子控制单元，并且进行周围监测装置3的整体控制。ECU 23与第一实施例的ECU 21的差别仅在于，在已经计算出每个特征点的差值之后，通过利用与特征点的差值拟合的直线的斜率来进行与阈值的比较。因此，下面详细说明该特征。
在对于每个搜索窗口(每个目标)计算出每个特征点的差值的情况下，ECU 23通过利用图像上的横向位置和搜索窗口中的所有特征点的差值来求得拟合直线。可通过利用常规方法来求得该拟合直线。
ECU 23判定拟合直线的斜率是否等于或小于阈值。阈值用于判定拟合直线的斜率是否为0或基本为0(进一步，为用于判定目标是否为直立物体的阈值)，并且考虑到毫米波雷达10的检测误差和照相机11的性能而提前设定该阈值。直线的斜率可以为正或负。因此，阈值具有正上限值和负下限值。直线的斜率是否等于或小于阈值是通过直线的斜率是否落在从负下限值到正上限值的范围内来判定的。另一选择是判定直线的斜率的绝对值是否等于或小于正上限阈值。当直线的斜率等于或小于阈值时，ECU 23判定出所述目标为直立物体并且设定直立物体的信息。当直线的斜率大于阈值时，ECU 23判定出所述目标不是直立物体。
在图7所示的示例中，直线L5与曲线图G4中的叉状符号所示的特征点的差值拟合。该直线L5具有一定斜率。因此，判定出白线W(目标)不是直立物体。
下面将参照图1说明周围监测装置3的操作。特别地，将通过遵照图8中所示的流程图来说明ECU 23中的处理。图8为图示第三实施例的ECU中的处理流程的流程图。在周围监测装置3中执行的处理中，ECU 23中执行的一些操作与第一实施例的周围监测装置1中执行的操作不同，将仅详细说明这些操作。
ECU 23中的步骤S40至S45的处理与第一实施例的ECU 21中的步骤S10至S15的处理相似。
在计算出每个特征点的差值的情况下，ECU 23用直线拟合搜索窗口中的所有特征点的一组差值(S46)。
然后，ECU 23判定直线的斜率是否等于或小于阈值(S47)。当在S47中判定出直线的斜率等于或小于阈值时，ECU 23判定出所述目标为直立物体并且设定直立物体的信息(S48)。当在S47中判定出直线的斜率大于阈值时，ECU 23判定出所述目标不是直立物体(S49)。
然后，ECU 23判定对于检测到的所有目标是否已经完成处理(S50)。当在S50中判定出并未对于所有目标完成处理时，ECU 23返回到S41的处理并且进行关于下个目标的处理。当在S50中判定出对于所有目标完成了处理时，ECU 23将与检测到的所有直立物体有关的信息输出到驾驶辅助装置或将所述信息提供给驾驶员并且结束当前的处理。
周围监测装置3验证了除了与根据第一实施例的周围监测装置1相似的效果之外的下述效果。借助于周围监测装置3，通过利用与所有特征点的光流的理论值和光流的观测值之间的差值拟合的直线的斜率，可以良好的精度判定目标是否为直立物体，例如，可以高精度地检测车辆的障碍物。
下面将参照图9至图13说明根据第四实施例的周围监测装置4。图9示出了第四实施例的周围监测装置的结构图。图10为在存在直立物体(行人)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例。图11为在车辆转向时存在直立物体(行人)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例。图12为在车辆转向时存在直立物体(行人)的情况下在每个横向位置上的特征点的光流的横向分量的观测值和理论值的示例。图13为图示由车辆的左右车轮的速度计算用于校正的偏移值的方法的说明图。
周围监测装置4与根据第一实施例的周围监测装置1的不同之处在于，基于车辆转向期间的转弯状态来校正理论值。因此，下面将仅详细描述该特征。周围监测装置4设置有毫米波雷达10、照相机11、车轮速度传感器12和ECU 24。
在第四实施例中，毫米波雷达10和ECU 24用作第一物体检测单元，照相机11用作成像单元，车轮速度传感器12和ECU 24用作转弯状态检测单元，并且ECU 24用作第一计算单元、第二计算单元、校正单元和第二物体检测单元。
如上所述，当车辆转向时，与每个目标相对于车辆的相对横向速率相对应的值被添加到光流的观测值中。由于在光流的理论值中不考虑该相对横向速率，光流的观测值和光流的理论值之间的差值增大，并且不可能精确地判定出目标是否为直立物体。相对横向速率的这种影响在低车速时变得尤其显著。因此，通过与由于车辆转向引起的转弯状态相对应的偏移值来校正所有特征点的光流的理论值。
在图10所示的示例中，示出了如下情况：在车辆向前直行时，在车辆前方的右侧存在行人H。在曲线图G5中，每个特征点的光流的横向分量的观测值由线M5表示，并且在每个横向位置上的光流的横向分量的理论值由线T5表示。如曲线图G5中所示，当车辆向前直行时，与行人H有关的每个特征点的光流的横向分量的观测值和在与特征点相对应的横向位置上的光流的横向分量的理论值彼此基本相等，并且可将行人H判定为直立物体。
在图11所示的示例中，示出了如下情况：当车辆在十字路口处向右转向时，在车辆前方的右侧存在行人H。在曲线图G6中，每个特征点的光流的横向分量的观测值由线M6表示，并且在每个横向位置上的光流的横向分量的理论值由线T6表示。如曲线图G6中所示，当车辆转向时，在与行人H有关的每个特征点的光流的横向分量的观测值和在与特征点相对应的横向位置上的光流的横向分量的理论值彼此不同，并且可将行人H判定为不是直立物体。此外，如第三实施例中所述，如果与和行人H有关的特征点的光流的横向分量的观测值拟合的直线的斜率和与对应光流的横向分量的理论值拟合的直线的斜率一致，则可将行人H判定为直立物体。然而，斜率还可彼此不一致。这是因为，在图像边缘的边缘附近扭曲影响增强，因此在关于背景部分的直线的斜率和关于行人H的直线的斜率之间存在很小的差别。
因此，如图12中的曲线图G7所示，在由线T6所示的横向位置上的光流的横向分量的理论值整体上减小，从而获得由线T7所示的校正理论值。如曲线图G7中所示，即使当车辆转向时，与行人H有关的特征点的光流的横向分量的观测值和在与特征点相对应的横向位置上的光流的横向分量的校正理论值也彼此基本相等，因此可将行人H判定为直立物体。
车轮速度传感器12设置在每个车轮处并且检测车轮的转速。车轮速度传感器12检测车轮的转速并且将检测到的值作为车轮速度信号发送给ECU24。
ECU 24为由CPU、ROM、RAM等构成的电子控制单元，并且进行周围监测装置4的整体控制。ECU 24与第一实施例的ECU 21的不同之处仅在于，从每个车轮的车轮速度传感器12输入车轮速度信号，并且基于左右车轮速度来获得偏移值，通过所述偏移值来校正每个特征点的光流的理论值，通过使用校正理论值来进行与阈值的比较。因此，下面将详细说明该差别。
当对于每个搜索窗口计算每个特征点的光流的理论值时，ECU 24通过由每个车轮的车轮速度传感器12检测到的车轮的转速来计算每个车轮的车轮速度。然后，ECU 24使用左右车轮速度通过等式(2)计算出车辆的转弯角α。如图13中所示，等式(2)中的Vright为右车轮速度，Vleft为左车轮速度，Wcar为车辆宽度，并且等式(2)中Tflow为用于计算光流的连续图像的帧之间的时间间隔。前车轮或后车轮的速度或前车轮的速度和后车轮的速度的平均值可用作每侧的车轮速度。
α = 180 π × arctan ( ( V left - V right ) × T flow W car ) 等式(2)
在等式(3)中，ECU 24还通过利用车辆的转弯角α来计算偏移值FOFFSET。等式(3)中的Npix/deg为图像上的每一度角度像素的数量。
FOFFSET＝Npix/deg×α                       等式(3)
然后，ECU 24从搜索窗口中的每个特征点的光流的理论值中减去偏移值FOFFSET并且求得校正理论值。然后，ECU 24计算通过捕获图像计算出的光流的观测值和搜索窗口中的每个特征点的光流的校正理论值之间的差值。该差值随后用于以与第一实施例的ECU 21相同的方式进行判定。
下面将参照图9说明周围监测装置4的操作。特别地，将通过图14中所示的流程图来说明ECU 24中进行的处理。图14为图示根据第四实施例的ECU中的处理流程的流程图。在周围监测装置4的操作中，ECU 24中仅与车轮速度传感器12相关的一些操作不同于第一实施例的周围监测装置1中进行的操作，下文中将仅详细说明这些不同的操作。
每个车轮的车轮速度传感器12在每个预定时刻检测车轮的转速并且将车轮速度信号发送给ECU 24。ECU 24接收车轮速度信号并且存储检测到的信息。
ECU 24中的步骤S60至S64的处理与根据第一实施例的ECU 21中的步骤S10至S14的处理相似。
当计算每个特征点的光流的理论值时，ECU 24基于已由每个车轮的车轮速度传感器12检测到的检测信息来计算车轮速度(S65)。然后，ECU 24通过利用左右车轮速度来计算偏移值(S66)。然后，ECU 24通过搜索窗口中的每个特征点的偏移值来校正光流的理论值(S66)。然后，ECU 24计算通过捕获图像获得的光流的观测值和搜索窗口中的每个特征点的光流的校正理论值之间的差值(S67)。
ECU 24中的步骤S68至S71的处理与根据第一实施例的ECU 21中的步骤S16至S19的处理相似。
周围监测装置4验证了除了与根据第一实施例的周围监测装置1相似的效果之外的下述效果。借助于周围监测装置4，通过基于车辆的转弯状态(转弯角)来校正光流的理论值，即使当车辆转向时，也可以良好精度判定目标是否为直立物体，并且以较高的精度判定出作为车辆障碍物的物体。当车辆以低速行驶时，该效果尤其显著。
上文描述了本发明的实施例，但是本发明不限于上述实施例，并且可以多种形式实施本发明。
例如，实施例涉及承载在车辆上的周围监测装置并且用于检测车辆周边的直立物体，但是装置可被配置为驾驶辅助装置中的一种功能或者可被承载在例如机器人的另一移动体上。
此外，在实施例中，单目照相机用作成像单元，但是还可以使用立体照相机。
在实施例中，毫米波雷达用于检测车辆周围的物体并且获取与物体相关的信息，但是也可以使用例如激光雷达的另外的雷达，或者可以使用例如立体照相机的另外的器件。
在实施例中，使用了对于每个特征点将光流的观测值和理论值进行比较的构造，但是也可以对于预定区域或每个像素进行比较。
在第四实施例中，车轮速度传感器用作检测转弯状态的器件，但是也可以使用例如横摆率传感器的另一检测器件。

Claims (14)

1.一种物体检测装置，包括：
成像单元，其被承载在移动体上；
第一计算单元，其计算在各个不同时刻由所述成像单元捕获的多个图像之间的图像位移的观测值；
第一物体检测单元，其检测候选物体并且获取所述候选物体的信息；
第二计算单元，其基于所述候选物体的所述信息来计算所述图像位移的理论值；以及
第二物体检测单元，其将所述图像位移的所述观测值与所述图像位移的所述理论值进行比较并且基于比较结果来判定所述候选物体是否为物体。
2.根据权利要求1所述的物体检测装置，其中
所述候选物体的所述信息为所述候选物体和所述移动体之间的距离以及所述候选物体相对于所述移动体的相对速率中的至少一项。
3.根据权利要求1或2所述的物体检测装置，其中
所述第二计算单元计算对应于所述候选物体的所述图像位移的所述理论值。
4.根据权利要求3所述的物体检测装置，其中
所述第二计算单元计算位于与所述候选物体和所述移动体之间的距离相等的距离处的点的所述图像位移的所述理论值。
5.根据权利要求1至4中的任一项所述的物体检测装置，其中
对于所述图像上的多个部分中的每一个，所述第二物体检测单元计算所述图像位移的所述观测值与所述图像位移的所述理论值之间的差值，并且基于所述差值等于或小于第一阈值的部分来判定所述候选物体是否为所述物体。
6.根据权利要求5所述的物体检测装置，其中
如果所述差值等于或小于所述第一阈值的所述部分的比率等于或大于预定比率，则所述第二物体检测单元判定出所述候选物体为所述物体。
7.根据权利要求1至4中的任一项所述的物体检测装置，其中
对于所述图像上的多个部分中的每一个，所述第二物体检测单元计算所述图像位移的所述观测值与所述图像位移的所述理论值之间的差值，计算所述多个部分的所述差值的平均值，并且基于所述差值和所述差值的所述平均值来判定所述候选物体是否为所述物体。
8.根据权利要求7所述的物体检测装置，其中
所述第二物体检测单元通过从所述差值中减去所述平均值来计算校正差值并且基于所述校正差值等于或小于第二阈值的部分来判定所述候选物体是否为所述物体。
9.根据权利要求1至4中的任一项所述的物体检测装置，其中
对于所述图像上的多个部分中的每一个，所述第二物体检测单元计算所述图像位移的所述观测值与所述图像位移的所述理论值之间的差值，并且基于所述多个部分中的每一个的所述差值的相对于所述图像上的位置变化的变化程度来判定所述候选物体是否为所述物体。
10.根据权利要求9所述的物体检测装置，其中
所述变化程度为与所述差值拟合的直线的斜率。
11.根据权利要求10所述的物体检测装置，其中
如果所述直线的所述斜率的绝对值等于或小于第三阈值，则所述第二物体检测单元判定出所述候选物体为所述物体。
12.根据权利要求1至4中的任一项所述的物体检测装置，进一步包括：
转弯状态检测单元，其检测所述移动体的转弯状态；以及
校正单元，其基于所述移动体的所述转弯状态来校正所述图像位移的所述理论值，其中
对于所述图像上的多个部分中的每一个，所述第二检测单元将所述图像位移的所述观测值与已由所述校正单元校正的所述图像位移的校正理论值进行比较，并且所述第二检测单元基于比较结果来判定所述候选物体是否为所述物体。
13.根据权利要求5至12中的任一项所述的物体检测装置，其中，所述部分对应于特征点。
14.根据权利要求5至13中的任一项所述的物体检测装置，其中，所述多个部分被包含在依据所述候选物体的位置而设定的处理区域中。
CN201080017918.7A 2009-04-23 2010-04-22 物体检测装置 Expired - Fee Related CN102414715B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-105468 2009-04-23
JP2009105468A JP4788798B2 (ja) 2009-04-23 2009-04-23 物体検出装置
PCT/IB2010/000900 WO2010122409A1 (en) 2009-04-23 2010-04-22 Object detection device

Publications (2)

Publication Number Publication Date
CN102414715A true CN102414715A (zh) 2012-04-11
CN102414715B CN102414715B (zh) 2014-03-12

Family

ID=42288795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080017918.7A Expired - Fee Related CN102414715B (zh) 2009-04-23 2010-04-22 物体检测装置

Country Status (5)

Country Link
US (1) US9053554B2 (zh)
EP (1) EP2422320B1 (zh)
JP (1) JP4788798B2 (zh)
CN (1) CN102414715B (zh)
WO (1) WO2010122409A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718888A (zh) * 2016-01-22 2016-06-29 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
CN106471522A (zh) * 2014-07-02 2017-03-01 株式会社电装 物体检测用方法及装置、以及计算机程序产品
CN107003399A (zh) * 2014-12-01 2017-08-01 株式会社电装 使用了物标的反射点信息的物标检测装置
CN107787496A (zh) * 2015-05-26 2018-03-09 Plk科技株式会社 消失点修正装置及方法
CN111353416A (zh) * 2020-02-26 2020-06-30 广东温氏种猪科技有限公司 基于牲畜三维测量的姿态检测方法、系统及存储介质
CN111630411A (zh) * 2018-01-18 2020-09-04 罗伯特·博世有限公司 用于对横向运动进行可信度检验的方法和设备
CN113933025A (zh) * 2021-09-09 2022-01-14 深圳市富瑞精密制品有限公司 显示基板检测设备的机差补使方法及装置、检测设备

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5012718B2 (ja) * 2008-08-01 2012-08-29 トヨタ自動車株式会社 画像処理装置
MY165851A (en) * 2011-03-29 2018-05-17 Jura Trade Ltd Method and apparatus for generating and authenticating security documents
US20130050180A1 (en) * 2011-08-30 2013-02-28 5D Robotics, Inc. Graphical Rendition of Multi-Modal Data
JP5987660B2 (ja) * 2012-11-30 2016-09-07 富士通株式会社 画像処理装置、画像処理方法及びプログラム
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse
DE102013012930A1 (de) * 2013-08-02 2015-02-05 Connaught Electronics Ltd. Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
JP6330160B2 (ja) * 2014-05-09 2018-05-30 本田技研工業株式会社 物体認識装置
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6329823B2 (ja) * 2014-06-24 2018-05-23 本田技研工業株式会社 立体物認識装置
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
JP6464706B2 (ja) * 2014-12-05 2019-02-06 富士通株式会社 物体検出方法、物体検出プログラムおよび物体検出装置
US10309797B2 (en) * 2014-12-19 2019-06-04 Here Global B.V. User interface for displaying navigation information in a small display
JP6651702B2 (ja) 2015-03-23 2020-02-19 富士通株式会社 物体検出装置、物体検出方法および情報処理プログラム
JP6596889B2 (ja) * 2015-04-03 2019-10-30 日産自動車株式会社 物体検出装置
KR101772084B1 (ko) * 2015-07-29 2017-08-28 엘지전자 주식회사 이동 로봇 및 그 제어방법
EP3207708B1 (en) * 2015-07-31 2021-10-13 SZ DJI Technology Co., Ltd. Method and system of modifying search areas
WO2017020181A1 (en) 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. Method of sensor-assisted rate control
JP6584862B2 (ja) * 2015-08-20 2019-10-02 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
US10332265B1 (en) * 2015-09-30 2019-06-25 Hrl Laboratories, Llc Robust recognition on degraded imagery by exploiting known image transformation under motion
JP6450294B2 (ja) 2015-09-30 2019-01-09 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム
CN106570439B (zh) * 2015-10-09 2020-06-19 腾讯科技（深圳）有限公司 一种车辆检测方法及装置
JP6468162B2 (ja) * 2015-10-19 2019-02-13 株式会社デンソー 障害物報知装置
CN105628951B (zh) * 2015-12-31 2019-11-19 北京迈格威科技有限公司 用于测量对象的速度的方法和装置
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
DE102016204654A1 (de) * 2016-03-21 2017-09-21 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Eigenbewegungsschätzung für ein Kraftfahrzeug
EP3252501B1 (en) * 2016-06-03 2022-06-08 Veoneer Sweden AB Enhanced object detection and motion state estimation for a vehicle environment detection system
JP2019531560A (ja) 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
US10037471B2 (en) 2016-07-05 2018-07-31 Nauto Global Limited System and method for image analysis
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
JP6940612B2 (ja) 2016-09-14 2021-09-29 ナウト, インコーポレイテッドNauto, Inc. ニアクラッシュ判定システムおよび方法
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
US20190197699A1 (en) * 2016-09-16 2019-06-27 Mitsubishi Electric Corporation Optical flow accuracy calculating device and optical flow accuracy calculating method
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
US10246014B2 (en) 2016-11-07 2019-04-02 Nauto, Inc. System and method for driver distraction determination
JP6565893B2 (ja) 2016-12-26 2019-08-28 トヨタ自動車株式会社 運転支援装置
JP6551384B2 (ja) * 2016-12-26 2019-07-31 トヨタ自動車株式会社 車両用注意喚起装置
US10444342B2 (en) * 2017-03-08 2019-10-15 Gm Global Technology Operations Llc. Control of host device using three-dimensional position and velocity
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10430695B2 (en) 2017-06-16 2019-10-01 Nauto, Inc. System and method for contextualized vehicle operation determination
JP6826010B2 (ja) * 2017-08-09 2021-02-03 株式会社東芝 カメラ運動推定装置、カメラ運動推定方法及びプログラム
US11256932B2 (en) 2018-02-02 2022-02-22 Mitsubishi Electric Corporation Falling object detection apparatus, in-vehicle system, vehicle, and computer readable medium
EP3759700B1 (en) 2018-02-27 2023-03-15 Nauto, Inc. Method for determining driving policy
CN110646792B (zh) * 2019-11-04 2022-04-12 中国人民解放军空军工程大学 一种基于观察哨数字望远镜的雷达搜索窗口设置方法
JP7216695B2 (ja) * 2020-11-04 2023-02-01 本田技研工業株式会社 周囲車両監視装置及び周囲車両監視方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
JP2005084034A (ja) * 2003-09-11 2005-03-31 Toyota Motor Corp 物体検出装置
CN1701242A (zh) * 2003-03-20 2005-11-23 松下电器产业株式会社 障碍检测设备
CN1704719A (zh) * 2004-06-02 2005-12-07 丰田自动车株式会社 障碍物识别装置以及障碍物识别方法
JP2006047033A (ja) * 2004-08-03 2006-02-16 Daihatsu Motor Co Ltd 物体認識方法及び物体認識装置
EP1909064A1 (en) * 2005-07-13 2008-04-09 Toyota Jidosha Kabushiki Kaisha Object detection device
CN101170683A (zh) * 2006-10-27 2008-04-30 松下电工株式会社 目标移动对象跟踪设备
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN101297299A (zh) * 2005-10-28 2008-10-29 通用汽车环球科技运作公司 用有外部传感器的探测车辆修正交通数据的系统和方法
CN101305295A (zh) * 2005-11-09 2008-11-12 丰田自动车株式会社 物体检测装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4028135B2 (ja) * 1999-05-27 2007-12-26 本田技研工業株式会社 物体検出装置
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
ES2158827B1 (es) * 2000-02-18 2002-03-16 Fico Mirrors Sa Dispositivo de deteccion de presencia de objetos.
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
US7035430B2 (en) * 2000-10-31 2006-04-25 Hitachi Kokusai Electric Inc. Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
US7113616B2 (en) * 2001-12-05 2006-09-26 Hitachi Kokusai Electric Inc. Object tracking method and apparatus using template matching
JP3979894B2 (ja) * 2002-07-22 2007-09-19 本田技研工業株式会社 物体検出装置及び方法
JP3882083B2 (ja) 2003-11-26 2007-02-14 国立大学法人岐阜大学 測距装置
US7248718B2 (en) * 2004-02-19 2007-07-24 Siemens Corporate Research, Inc. System and method for detecting a passing vehicle from dynamic background using robust information fusion
JP4319928B2 (ja) * 2004-03-09 2009-08-26 株式会社デンソー 車両状態検知システムおよび車両状態検知方法
US7486802B2 (en) * 2004-06-07 2009-02-03 Ford Global Technologies Llc Adaptive template object classification system with a template generator
JP3846494B2 (ja) * 2004-07-13 2006-11-15 日産自動車株式会社 移動障害物検出装置
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP4926437B2 (ja) * 2005-09-28 2012-05-09 富士重工業株式会社 車両の運転支援装置
JP4707109B2 (ja) * 2006-03-02 2011-06-22 アルパイン株式会社 複数カメラ撮影画像処理方法及び装置
JP4676373B2 (ja) * 2006-04-27 2011-04-27 株式会社デンソー 周辺認識装置、周辺認識方法、プログラム
US7853072B2 (en) * 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
US8576664B2 (en) * 2006-11-20 2013-11-05 Panasonic Corporation Moving object detection system
JP4847303B2 (ja) 2006-12-01 2011-12-28 富士通株式会社 障害物検出方法、障害物検出プログラムおよび障害物検出装置
JP4847884B2 (ja) 2007-01-31 2011-12-28 オプトレックス株式会社 障害物検出装置、車両用表示装置及び障害物検出方法
JP4434224B2 (ja) * 2007-03-27 2010-03-17 株式会社デンソー 走行支援用車載装置
JP5125214B2 (ja) 2007-05-08 2013-01-23 富士通株式会社 障害物検出方法および障害物検出装置
TWI327536B (en) * 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
US8473171B2 (en) * 2008-10-09 2013-06-25 GM Global Technology Operations LLC Apparatus and method for optimizing a vehicle collision preparation response
US8744122B2 (en) * 2008-10-22 2014-06-03 Sri International System and method for object detection from a moving platform
JP5543180B2 (ja) * 2009-01-07 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
WO2010119329A2 (en) * 2009-04-15 2010-10-21 Toyota Jidosha Kabushiki Kaisha Object detection device
US8270678B2 (en) * 2009-06-26 2012-09-18 Lockheed Martin Corporation Method, system, and computer program product to detect micron scale displacement of objects from a long range with and optical device and related computer implemented methods
US8004425B2 (en) * 2009-09-30 2011-08-23 Gentex Corporation Blind spot detection system and method using preexisting vehicular imaging devices
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
US8565482B2 (en) * 2011-02-28 2013-10-22 Seiko Epson Corporation Local difference pattern based local background modeling for object detection
JP5316572B2 (ja) * 2011-03-28 2013-10-16 トヨタ自動車株式会社 物体認識装置
US8605998B2 (en) * 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
CN1701242A (zh) * 2003-03-20 2005-11-23 松下电器产业株式会社 障碍检测设备
JP2005084034A (ja) * 2003-09-11 2005-03-31 Toyota Motor Corp 物体検出装置
CN1704719A (zh) * 2004-06-02 2005-12-07 丰田自动车株式会社 障碍物识别装置以及障碍物识别方法
JP2006047033A (ja) * 2004-08-03 2006-02-16 Daihatsu Motor Co Ltd 物体認識方法及び物体認識装置
EP1909064A1 (en) * 2005-07-13 2008-04-09 Toyota Jidosha Kabushiki Kaisha Object detection device
CN101297299A (zh) * 2005-10-28 2008-10-29 通用汽车环球科技运作公司 用有外部传感器的探测车辆修正交通数据的系统和方法
CN101305295A (zh) * 2005-11-09 2008-11-12 丰田自动车株式会社 物体检测装置
CN101170683A (zh) * 2006-10-27 2008-04-30 松下电工株式会社 目标移动对象跟踪设备
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
T.GANDHI ET AL: "Detection of obstacles on runways using ego-motion compensation and tracking of significant features", 《IMAGE AND VISION COMPUTING》, vol. 18, no. 10, 31 July 2000 (2000-07-31), pages 805 - 815, XP002507324, DOI: doi:10.1016/S0262-8856(99)00048-7 *
WILFRIED ENKELMANN: "Obstacle detection by evaluation of optical flow fields from image sequences", 《COMPUTER VISION-ECCV 90》, vol. 427, 31 December 1990 (1990-12-31), pages 134 - 138, XP019190995 *
施家栋 等: "基于光流的人体运动实时检测方法", 《北京理工大学学报》, vol. 28, no. 9, 30 September 2008 (2008-09-30), pages 794 - 797 *
王晓卫 等: "一种改进的基于光流的运动目标的检测算法", 《武汉大学学报（信息科学版）》, vol. 28, no. 3, 30 June 2003 (2003-06-30), pages 351 - 353 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
US10690770B2 (en) 2014-02-20 2020-06-23 Mobileye Vision Technologies Ltd Navigation based on radar-cued visual imaging
US10274598B2 (en) 2014-02-20 2019-04-30 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN106471522A (zh) * 2014-07-02 2017-03-01 株式会社电装 物体检测用方法及装置、以及计算机程序产品
CN107003399A (zh) * 2014-12-01 2017-08-01 株式会社电装 使用了物标的反射点信息的物标检测装置
CN107003399B (zh) * 2014-12-01 2020-01-17 株式会社电装 使用了物标的反射点信息的物标检测装置
CN107787496A (zh) * 2015-05-26 2018-03-09 Plk科技株式会社 消失点修正装置及方法
CN107787496B (zh) * 2015-05-26 2021-07-13 Plk科技株式会社 消失点修正装置及方法
CN105718888A (zh) * 2016-01-22 2016-06-29 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置
CN111630411A (zh) * 2018-01-18 2020-09-04 罗伯特·博世有限公司 用于对横向运动进行可信度检验的方法和设备
CN111630411B (zh) * 2018-01-18 2024-09-17 罗伯特·博世有限公司 用于对横向运动进行可信度检验的方法和设备
CN111353416A (zh) * 2020-02-26 2020-06-30 广东温氏种猪科技有限公司 基于牲畜三维测量的姿态检测方法、系统及存储介质
CN111353416B (zh) * 2020-02-26 2023-07-07 广东温氏种猪科技有限公司 基于牲畜三维测量的姿态检测方法、系统及存储介质
CN113933025A (zh) * 2021-09-09 2022-01-14 深圳市富瑞精密制品有限公司 显示基板检测设备的机差补使方法及装置、检测设备

Also Published As

Publication number Publication date
US9053554B2 (en) 2015-06-09
JP4788798B2 (ja) 2011-10-05
EP2422320A1 (en) 2012-02-29
EP2422320B1 (en) 2015-07-08
US20120027258A1 (en) 2012-02-02
CN102414715B (zh) 2014-03-12
WO2010122409A1 (en) 2010-10-28
JP2010257138A (ja) 2010-11-11

Similar Documents

Publication Publication Date Title
CN102414715B (zh) 物体检测装置
Kato et al. An obstacle detection method by fusion of radar and motion stereo
CN102016921B (zh) 图像处理装置
CN107241916B (zh) 车辆的行驶控制装置以及行驶控制方法
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
US6670912B2 (en) Method for detecting stationary object located above road
EP2293118A1 (en) Object detector
EP2993654B1 (en) Method and system for forward collision warning
US8854458B2 (en) Object detection device
JP4433887B2 (ja) 車両用外界認識装置
US20080309516A1 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
JPH09264954A (ja) レーダを用いた画像処理システム
JP2007024590A (ja) 物体検出装置
US20210387616A1 (en) In-vehicle sensor system
US20170227634A1 (en) Object recognition apparatus using a plurality of object detecting means
JP2003084064A (ja) 前方車両の認識装置及び認識方法
US20180149740A1 (en) Object detection apparatus and object detection method
JP7163829B2 (ja) 車両搭載用のライダ軸ずれ検出装置
JP4052291B2 (ja) 車両用画像処理装置
JP2012064026A (ja) 車両用対象物検出装置、およびその方法
JP2011039833A (ja) 車両検出装置、車両検出プログラム、および車両検出方法
JP2001296357A (ja) 物体検出装置
US20230182728A1 (en) Collision determination apparatus, collision determination method, collision avoidance system
JP2010006270A (ja) 車両挙動検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140312