CN104321665A - 基于多表面模型的跟踪 - Google Patents

基于多表面模型的跟踪 Download PDF

Info

Publication number
CN104321665A
CN104321665A CN201380017291.9A CN201380017291A CN104321665A CN 104321665 A CN104321665 A CN 104321665A CN 201380017291 A CN201380017291 A CN 201380017291A CN 104321665 A CN104321665 A CN 104321665A
Authority
CN
China
Prior art keywords
vehicle
controller
plane
dimensional model
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380017291.9A
Other languages
English (en)
Other versions
CN104321665B (zh
Inventor
Y·罗
X·朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN104321665A publication Critical patent/CN104321665A/zh
Application granted granted Critical
Publication of CN104321665B publication Critical patent/CN104321665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种用于检测车辆的系统和方法。一个系统包括控制器。控制器被配置为：从安装在第一车辆上的至少一个摄像机接收数据；基于图像来识别位于第一车辆周围的第二车辆的表面；以及产生与第二车辆相关联的三维模型。该模型包括第一平面和与第一平面近似垂直的第二平面。所述模型的第一平面与第二车辆的被识别的表面相关联。控制器还进一步被配置为在被识别的表面至少部分落在至少一个摄像机的视场的外部之后，使用三维模型来跟踪第二车辆的位置。

Description

基于多表面模型的跟踪
相关申请
本申请要求享有于2012年3月26日提出的美国临时专利申请61/615,596的优先权，并在此以引用的方式包含其全部内容。
背景技术
现有的自适应巡航控制(“ACC”)和前方碰撞预警系统(“FCW”)提供了雷达传感器解决方案，并可选地附加了前视黑白摄像机。雷达传感器对于纵向间距和速度测量工作良好，但无法检测某些依赖于精确性和鲁棒性的横向跟踪的交通情形。例如，当一辆车超过另一辆车，诸如相对较低速度的半卡车时，所出现的相邻车道干扰，现有的雷达系统经常无法检测。特别地，由于卡车一侧的巨大体积，雷达系统可能遇到相邻车道的散乱反射，并无法继续先前所视车辆的跟踪。当位于同一车道的目标车辆减速并突然转到另一街道(经常被称为“麦当劳转向”)时，现有雷达系统也无法提供合适的应对。例如，在此情形下，现有的雷达系统可能不需要对车辆进行减速或者提供警示。而且，许多现有的雷达系统无法正确地检测“新来的”车辆，例如当车辆突然切入车道时。
这些状况可通过摄像机在一定程度上减少，该摄像机能够提供关于车道位置和车辆检测信息。然而，现有的黑白摄像机为了检测车辆，需要观测到大部分或全部的车辆后面，并且只在车辆后面的大部分在摄像机的视场(“FoV”)中时才能够跟踪车辆。其结果是，摄像机无法完全消除上述错误，特别是对于切入的情况。
发明内容
因而，本发明的实施例针对摄像机提供了更通用的方法，以基于雷达、摄像机或两者相结合来增强当前的ACC或FCW系统，并提供了鲁棒的车辆跟踪和车辆识别。如下所述，本发明的实施例能够检测车辆的准确横向位置(例如，在相邻车道或同一车道中)而无需观察到整个车辆，并且能够通过检测车辆的旋转而先于现有的系统检测到车辆的转向。
特别地，本发明的实施例提供了用于扩展前视摄像机的能力的系统和方法。特别是，所提出的系统和方法使用由摄像机所捕获的二维(“2D”)数据，基于车辆的全三维(“3D”)模型来执行穿过车辆表面的特征追踪。3D模型用于跟踪车辆的一侧，即使是初始被摄像机检测到的车辆的后面移出了摄像机的FoV。因此，3D模型补救了上述讨论的情形。3D模型还能够提供附加的功能，例如作为使用多角摄像机构建360度全环绕模型的基础。
例如，本发明的一个实施例提供了用于检测车辆的系统。该系统具有控制器。该控制器被配置为接收安装在第一车辆上的摄像机的图像，基于图像来检测位于第一车辆周围的第二车辆的表面，并产生与第二车辆相关联的三维模型。模型包括第一平面和与第一平面近似垂直的第二平面。第一平面与第二车辆的被识别的表面相关联。控制器还进一步被配置为，在被识别的表面至少部分地落至少一个摄像机的视场的外部之后，使用三维模型来跟踪第二车辆的位置。
本发明的另一个实施例提供了用于检测车辆的方法，包括在至少一个控制器处从安装第一车辆上的至少一个摄像机接收图像；由至少一个控制器基于图像来检测位于第一车辆周围的第二车辆的表面；以及由至少一个控制器生成代表第二车辆的三维模型。三维模型包括第一平面和与第一平面近似垂直的第二平面，并且第一平面代表了第二车辆已识别的表面。方法还包括，在第二车辆被识别的表面至少部分地落在至少一个摄像机的视场的外部之后，由至少一个控制器使用模型和来自至少一个摄像机的更新数据来确定第二车辆的位置。
本发明的其他方面将通过参考具体实施例以及结合附图变得更加清楚。
附图说明
图1示意性地示出了车辆；
图2示意性地示出了包含在图1所示车辆中的目标检测控制器；
图3是示出了由图2中的目标检测控制器执行的目标检测方法的流程图；
图4-7示意性地出了由图2中的目标检测控制器执行的车辆检测和跟踪；
具体实施方式
在详细解释本发明的任何实施例之前，应该理解的是本发明的应用不限于下面的描述或附图中所示出的具体构造以及元件排列。本发明能够有其它的实施方式并以多种方式来实施和执行。
图1示出了车辆10。车辆10包括目标检测控制器12。目标检测控制器12连接到网络，所述网络例如是控制器局域网(“CAN”)总线16。总线16允许控制器12与连接到总线16的其他设备交换数据，例如一个或多个环境传感器22。虽然车辆10中显示为总线16连接多种组件，组件间的其他连接，不论有线还是无线、直接地还是间接地都是可能的。
环境传感器22具有安装在车辆10表面上的一个或多个雷达、声纳、超声波和/或光学传感器(例如，一个或多个黑白摄像机、立体摄像机等)，并检测车辆10周围的目标(例如，其他车辆)。如图1所示，传感器22可位于车辆10的前部和尾部以检测大致位于车辆10的前方和后方的目标。然而，应该理解的是传感器22可位于车辆10的任何位置并检测任何方向的目标。目标检测控制器12从环境传感器22获取数据，并使用该数据来检测位于车辆10的周围的目标以及它们的相对位置。例如，传感器22中的一个传感器检测车辆10与位于车辆10周围的目标之间的距离。在一个实施例中，传感器22中的一个传感器包括发射雷达波的雷达传感器。雷达波从距离车辆10最近的目标反射并返回到雷达传感器。雷达传感器(或者目标检测控制器12)计算雷达波从发射到返回所用的时间。通过此信息，雷达传感器(或者目标检测控制器12)确定车辆10与车辆10周围的目标(例如，其他车辆)之间的距离。环境传感器22还可以包括安装在车辆10前部的摄像机(例如，单筒或双筒(立体视觉)黑白摄像机系统)。摄像机捕捉车辆10的前方区域的图像(例如，静态的图像或视频)。
控制器12使用由传感器22所收集的信息来识别或检测位于车辆10周围的其他目标，例如其他车辆。在一些实施例中，控制器12使用已检测目标的相关信息(例如，位置、速度、位置的变化等等)来执行各种不同的自动车辆控制操作，例如自适应巡航控制(“ACC”)和/或前方碰撞预警系统(“FCW”)。然而，其他实施例中，控制器12被配置为检测目标，并将关于所检测的目标的信息提供给一个或多个附加的控制器24(例如，ACC控制器、FCW控制器、稳定控制系统等)，并且附加的控制器24可被配置为使用关于所检测的目标的信息来自动地修正车辆操作。因而，应该理解的是控制器12的功能可以分布于多个控制设备或系统中。
如图2所示，目标检测控制器12包括处理器30、永久的计算机可读介质32和输入/输出接口34。计算机可读介质32可包括随机存取存储器(“RAM”)和/或只读存储器(“ROM”)。输入/输出接口34通过总线16发送和接收信息，并且可选地，其他设备不与总线16连接(例如，车辆10的内部或车辆10的外部)。处理器30接收信息(例如，从介质32和/或输入/输出接口34)，且通过执行一个或多个指令或模块来处理信息。指令或模块存储在计算机可读介质32中。处理器30还存储信息(例如，从总线16接收到的信息或由处理器30所执行的指令或模块产生的信息)到介质32。应该理解的是虽然图2中只示出了单个处理器、输入/输出接口和计算机可读介质模块，目标检测控制器12可以包括多个处理单元、存储模块、和/或输入/输出接口。应该理解的是在其他实施例中，控制器12包括替代或附接到处理器30、介质32和接口34的专用集成电路(“ASIC”)。
计算机可读介质32中存储的指令由处理器30执行时，提供特定的功能。通常地，指令由处理器30执行时，使用来自环境传感器22的信息来检测目标，例如车辆10周围的其他车辆以及它们相对车辆10的位置。如上面指出的，控制器12可被配置为使用有关所检测的目标的信息来执行各种不同车辆控制操作(例如，ACC和/或FCW)或者可被配置为提供该信息给执行这些操作的其他控制器。
如在发明内容部分中所述，虽然使用带有雷达系统的摄像机可以改进周围目标和车辆的检测与跟踪，现有的用于检测周围的车辆的摄像机系统基于车辆的后面的出现来进行检测并常常要求摄像机看到几乎100％的后面(例如，用以识别具有特定的大小、形状和/或其他特征的表面，例如通常预定大小的矩形表面)。相应地，现有的摄像机无法仅通过看到车辆的侧面来识别车辆。因而，当由于角度变化(例如，当车辆10超车时)或者由于车辆转动(例如，所检测的车辆或车辆10转向或变换车道)，车辆的一部分后面移出摄像机的视场(“FoV”)时，现有的摄像机通常无法继续跟踪车辆。
为了克服这些问题，控制器12被配置为使用多表面模型(包括双表面模型)以代表所检测的车辆来检测目标(例如，其他车辆)。双表面包括目标的后表面和目标的侧表面。根据相对的目标位置，侧表面可以是左侧表面或右侧表面。然而，拓扑结构匹配了位于车辆10的前方的摄像机看到的内容(例如，由摄像机所检测到的图像包括所检测的车辆的后面的左侧表面或右侧表面的特征)。
例如，图3是说明由控制器12执行的目标检测和跟踪(例如，基于存储在介质32中并由处理器30执行的指令)的流程图。在一些实施例中，控制器12被配置为在三种不同的情形下检测车辆。特别地，控制器12可被配置为(1)检测与车辆10在同一行驶车道或廊道的车辆的后面(“情形1”)；(2)检测与车辆10在邻近行驶廊道中的车辆的后(“情形2”)；和(3)检测车辆侧面(“情形3”)。如下面所详述的，控制器12可初始地或者在初始地检测车辆的后面之后检测车辆侧面。控制器12可被配置为当所检测的车辆在三种情形之间切换时，对所检测的的车辆进行跟踪而几乎不存在跟踪的中断，如果存在任何中断的话(也称为“无缝”跟踪)。特别地，控制器12跟踪所检测的车辆从一种情形变化为另一种情况，而不失去对车辆的跟踪或者将所检测的车辆误识别为新的车辆而不是变换了位置的之前所检测的车辆。
特别地，如图3所示，在情形1中，控制器12基于环境传感器22的数据(例如摄像机的图像)(在40)，使用与现有系统相似的方式来识别车辆的后面侧。在识别了车辆后面之后，控制器12执行车辆分类(例如，“小汽车”、“卡车”、或“摩托车”)。控制器12之后创建代表已识别的车辆的后面的二维(“2D”)边界框(在42)。边界框的大小可基于车辆分类来设定。
控制器12还生成与被识别的车辆相关联的三维(“3D”)模型(在44)。模型包括被识别的车辆的多个表面。特别地，模型包括第一平面和与第一平面近似垂直的第二平面。第一平面能够与所检测的车辆的后表面相关联，第二平面能够与所检测的车辆的侧表面相关联。根据所检测的车辆相对于车辆10的位置(例如，所检测的车辆在车辆10的左侧、前方还是右侧)，侧表面是所检测的车辆的左侧表面或右侧表面。模型的每一个平面代表被识别的车辆的假定的表面。
随着传感器22持续获取新的数据(例如，新的图像)，控制器12跟踪边界框内和边界框的任一侧上的可信的预定区域内的特征。如果控制器12识别出边界框的外部而与所检测的车辆的侧面相关联(例如，在边界框的外部而在可信区域的内部和/或模型的内部)的特征，控制器12就基于车辆的所检测的侧面来更新模型(在46)。因此，产生的更新模型提供了所检测的车辆的转动和侧向位置的更精确估计。控制器12和/或其他控制设备和系统可使用该信息来执行各种自动车辆操作，例如调整车辆10的巡航控制速度以避免与相同行驶廊道中的车辆的碰撞、发出警示或降低车辆10的速度以避免与所检测的车辆的碰撞等。
所检测的车辆可能从情形1转换到情形2，例如当所检测的车辆或车辆10横向移动并进入相邻的行驶廊道时。相似地，所检测的车辆可能从情形1转换到情形3，例如当所检测的车辆或车辆10转向(例如，急转向，例如麦当劳转向)并所检测的车辆的后面不再可见时。相应地，使用该模型，控制器12能够在这些转换过程中无缝地跟踪所检测的车辆。特别地，即使所检测的车辆的后面不再可见或不在传感器的FoV中，控制器12也可以使用由所述模型表示的车辆侧面来跟踪所检测的车辆。
在情形2中，控制器12检测相邻行驶廊道中的车辆后面(在50)并同上面情形1所述的那样创建2D边界框(在52)。然后，控制器12基于2D边界框生成3D模型(在54)并也同上面情形1所述的那样基于从环境传感器22所获取的新的数据或更新数据来更新模型(在56)。
所检测的车辆可能从情形2转换到情形1，例如当所检测的车辆变换车道时。相似地，所检测的车辆可能从情形2转换到情形3，例如当车辆10超过所检测的车辆时。在这两种转换中，控制器12可继续使用模型来跟踪车辆。特别地，在切入的情形下(例如，在所检测的车辆与车辆10之间的纵向距离较小的情况下)，即使车辆的后面(部分地或整体地)不再在传感器的FoV内，所检测的车辆的侧面可能仍可见。相似地，在超过的情形中，即使所检测的车辆的后面不再可见，控制器12也使用由模型所代表的侧表面来继续跟踪车辆的位置。在这些情形中所检测的车辆的连续跟踪提供了对所检测的车辆的横向距离和速度的更优估算，这有助于车辆10的ACC和FCW系统。
如图3所示，在情形3中，控制器12并如情形1和情形2那样地检测车辆的后面。但是，在情形3中，控制器12检测车辆的侧面。例如，如果车辆的侧面首先被传感器22发现，例如当另一车辆超过车辆10或者并入与车辆10相同或邻近的廊道时，控制器12就基于环境传感器22的非背景部分的数据(例如，基于摄像机的图像)，使用光流和光体或运动分割来检测移动(在60)。检测运动之后，控制器12从与运动相关联的数据中提取特征。然后控制器12基于所提取的特征使用曲面拟合算法来产生表面(在62)。控制器12将所产生的表面与一个或多个潜在的具有预定的运动轨迹的车辆模型的估算侧表面进行比较(例如，匹配检测的运动)(在64)。如果所产生的表面与估算表面匹配(在66)，控制器12就识别作为与潜在车辆相关联的所提取的特征并产生潜在车辆的模型(在68)。因此，使用该模型，控制器12可以继续跟踪潜在车辆并可以按上述的对应的情形1和2相应地更新模型(在70)。应该理解的是控制器12可被配置为检测车辆的侧面作为初始检测车辆的一部分或者可以在初始识别车辆的后面之后执行作为跟踪车辆的一部分的检测。
所检测的车辆可能从情形3转换到情形2。该转换发生在当邻近廊道的车辆超过车辆10并且车辆的后面渐渐地移动到传感器的FoV中时。在转换过程中，控制器12跟踪车辆的侧面。当车辆的后面开始进入到传感器的FoV时，控制器12检测的特征并不落在与车辆侧面相关联的估算平面中而是落在车辆后面的估算平面中，如由模型所代表的。因此，使用3D模型，控制器12可以合适地跟踪检测车辆并估算检测车辆的横向和纵向距离。该信息可由各种自动车辆控制操作(例如ACC和FCW系统)使用。所检测的车辆从情形3转换到情形1也是可能的。例如，该情形出现在当行驶廊道较宽或传感器22具有较窄的视场时。
因此，如上所述，使用三维模型，控制器12可以准确地检测并跟踪位于车辆10的周围的车辆的位置(例如，所检测的车辆与车辆10之间的距离)。特别地，控制器12可以通过识别车辆的后面或者通过识别车辆的侧面来识别车辆。而且，在基于车辆的特定表面(例如，后面或侧面)初始地识别或认出车辆之后，控制器12使用3D模型来跟踪车辆，即使在被初始地检测到的车辆的表面落在传感器的FoV的外部之后。特别地，如图4所示和如上所述，控制器12能够基于从传感器22的数据(例如，图像)提出的特征来识别车辆102的后面100。在识别车辆102的后面100之后，控制器12定义了边界框104，边界框104构成了与所检测的车辆102相关联的三维模型106的基础。如图4所示，模型106包括至少第一平面106a和与第一平面106a近似垂直的第二平面106b。第一平面106a可以代表车辆102的后面100，且第二平面106b可以代表车辆102的侧面。
如图5-7所示，在初始地识别车辆102之后，随着车辆102移动并甚至车辆102的后面100已经(部分或全部)落在传感器的FoV108的外部之后，控制器12使用模型106来跟踪车辆102。特别地，控制器12基于从环境传感器22的数据来识别车辆102的特征。控制器12确定所检测的特征是否匹配先前为被识别的车辆102产生的模型106。如果特征匹配模型106，则控制器12继续跟踪被识别的车辆102。因而，即使在车辆102的后面100全部在传感器的FoV108的外部的情况下，这种情况可能出现在车辆102改变车道或改变速度时，控制器12也使用模型106来继续跟踪车辆102。
一旦使用可用的特征构建车辆模型之后，控制器12从传感器22获取新的数据或更新数据，跟踪适配模型的特征，并基于所更新数据来更新相应的模型。改能力使得控制器12能够检测现有的目标检测系统无法正确检测的许多特定的交通情况。例如，控制器12使用“滚动特征”来确定从传感器22的更新数据中被识别的新特征是属于相同的初始检测的表面还可以适配于所产生的3D多表面模型的新的表面。特别地，控制器12可被配置为确定新的特征是否适配于模型的平面，所述平面表示由控制器12被识别的初始表面。如果特征适配于该平面，则控制器12识别为新的特征与由控制器12识别的初始表面相关联，并且控制器12能够相应地更新模型(例如，通过调整模型的大小、位置等)。如果新的特征不适配该平面，则控制器12确定新的特征是否适配模型中的“下一个”平面。下一个平面可以与可能被传感器22观测到的下一个表面相关联。例如，如果传感器22初始地观测到车辆的后表面，则可能被传感器22观测到的下一个表面将是侧表面。类似地，如果传感器22初始地观测到车辆的侧表面，则可能被传感器22观测到的下一个表面将是后表面。因此，控制器12从模型来识别“下一个”平面，并确定新的特征是否适配该平面。如果适配，则控制器12识别为将新的特征关联于“下一个”平面并相应地更新模型(例如，通过调整模型的大小、位置、方向等)。如果新的特征不适配与先前识别的车辆的模型相关联的任何平面，则控制器12可配置为产生新的模型和/或删除现有的模型(例如，指示先前识别的车辆不再存在)。因此，控制器12从一个平面或表面“滚动”到逻辑上的下一个平面或表面，以确定从由传感器22提供的更新数据中所提取的新的特征是否继续代表先前识别的车辆。
通过将特征从后表面“滚动”到侧表面且沿着侧跟随特征，或反之亦然，控制器12能够在超车情形期间准确地跟踪车辆。类似地，对于双摄像机系统(例如，包括前视摄像机和后视摄像机)或360度FoV系统，控制器12可以将特征继续滚动到前部表面。因此，只要控制器12识别出匹配模型的特征(例如，落在模型中或落在与模型的一个或多个平面相关联的可能的区域内或模型自身使用上述滚动特征)，则控制器12仍能够继续跟踪所检测的车辆，即使当用于初始检测车辆的原始表面已经完全从传感器的FoV中消失时。
除了准确跟踪超车的情况以外，控制器12还可以在急转弯情形(诸如麦当劳转向等)中准确跟踪所检测的车辆。特别地，控制器12能够通过沿着3D多表面模型检测特征的旋转(例如，检测车辆的侧面的特征的变化)来更早地识别出所检测的车辆的旋转或转向。而且，在切入情形或并线情形期间，控制器12检测车辆的侧面，这使得相对于现有系统，切入或并线车辆将被较早地检测到。
因此，本发明的实施例提供了用于使用三维多表面模型来检测和跟踪位于车辆周围的其他车辆的系统和方法，并且使用该过程所收集的信息可用于增强自动车辆控制，例如ACC和FCW。应该理解的是这里所述的前向系统也可以是后向监视或可以用于提供近似360度的FoV覆盖。例如，对于近似360度FoV覆盖，控制器12可以基于最初观测车辆的前面和侧面的后视摄像机、以及随后观测车辆的侧面侧视摄像机来跟踪经过的车辆，并且在一些实施例中，能够预测潜在的切入情况，即使在经过的车辆被前视摄像机观测之前。
应该理解的是，虽然这里所述的系统和方法涉及检测和跟踪车辆，但是系统和方法可以用于检测和跟踪位于车辆周围的其他类型的目标。
在如下的权利要求中陈述本发明的各种不同特征和优点。

Claims (19)

1.一种用于检测车辆的系统，所述系统包括：
控制器，所述控制器被配置为：
从安装在第一车辆上的摄像机接收图像，
基于所述图像来识别位于所述第一车辆周围的第二车辆的表面，
产生与所述第二车辆相关联的三维模型，所述三维模型包括第一平面和与所述第一平面大致垂直的第二平面，其中，所述第一平面与所述第二车辆的被识别的表面相关联，并且
在所述被识别的表面至少部分地落在至少一个所述摄像机的视场的外部之后，使用所述三维模型来跟踪所述第二车辆的位置。
2.如权利要求1所述的系统，其中，所述控制器进一步被配置为从安装在所述第一车辆上的至少一个雷达传感器接收数据。
3.如权利要求1所述的系统，其中，所述第二车辆的所述表面是所述第二车辆的后表面。
4.如权利要求1所述的系统，其中，所述第二车辆的所述表面是所述第二车辆的侧表面。
5.如权利要求1所述的系统，其中，所述控制器被配置为基于从所述图像提取的特征来识别所述第二车辆的所述表面。
6.如权利要求6所述的系统，其中，所述控制器被配置为通过以下操作来跟踪所述第二车辆的位置：
从至少一个所述摄像机接收更新的图像，
从所述更新的图像提取特征，
确定所提取的特征是否匹配所述三维模型的所述第一平面，
当所提取的特征不匹配所述三维模型的所述第一平面时，确定所提取的特征是否匹配所述三维模型的所述第二平面，并且
当所提取的特征匹配所述三维模型的所述第二平面时，基于所提取的特征来更新所述三维模型。
7.如权利要求1所述的系统，其中，所述控制器被配置为通过以下操作来产生所述三维模型：
基于所述第二车辆的所述被识别的表面的特点来将所述第二车辆分类到车辆类别中，
定义代表所述第二车辆的所述被识别的表面的边界框，其中，所述边界框的大小是基于所述第二车辆的所述车辆类别的，以及
将所述边界框设定为所述三维模型的所述第一表面。
8.如权利要求1所述的系统，其中，所述控制器被配置为通过以下操作来识别所述第二车辆的所述表面：
检测所述图像中的运动，
基于所检测的运动来从所述图像提取特征，
基于所提取的特征来产生表面，以及
将所述表面与至少一个车辆模型的侧表面进行比较。
9.如权利要求1所述的系统，其中，至少一个所述摄像机被安装在所述第一车辆的前部。
10.如权利要求1所述的系统，其中，所述控制器被进一步地配置为基于所述第二车辆的被跟踪的位置来执行至少一个自动车辆控制操作。
11.如权利要求10所述的系统，其中，所述至少一个自动车辆控制操作包括自适应巡航控制和前方碰撞预警中的至少一个。
12.一种用于检测车辆的方法，所述方法包括：
在至少一个控制器处从安装在第一车辆上的至少一个摄像机接收图像；
由所述至少一个控制器基于所述图像来检测位于所述第一车辆周围的第二车辆的表面；
由所述至少一个控制器产生表示所述第二车辆的三维模型，所述三维模型包括第一平面和与所述第一平面大致垂直的第二平面，其中，所述第一平面表示所述第二车辆的被识别的表面；以及
在所述第二车辆的所述被识别的表面至少部分地落入到所述至少一个摄像机的视场的外部之后，由所述至少一个控制器使用所述模型和来自所述至少一个摄像机的更新数据来确定所述第二车辆的位置。
13.如权利要求12所述的方法，其中，检测第二车辆的表面包括检测第二车辆的后表面。
14.如权利要求12所述的方法，其中，检测所述第二车辆的表面包括检测第二车辆的侧表面。
15.如权利要求12所述的方法，其中，确定所述第二车辆的位置包括：
从所述至少一个摄像机接收更新的图像；
从所述更新的图像提取特征；
确定所提取的特征是否匹配所述三维模型的所述第一平面；
当所提取的特征不匹配所述三维模型的所述第一平面时，确定所提取的特征是否匹配所述三维模型的所述第二平面；以及
当所提取的特征匹配所述三维模型的所述第二平面时，基于所提取的特征来更新所述三维模型。
16.如权利要求12所述的方法，其中，产生三维模型包括：
基于所述第二车辆的所述被识别的表面的特点来将所述第二车辆分类到车辆类别中，
定义代表所述第二车辆的所述被识别的表面的边界框，其中，所述边界框的大小是基于所述第二车辆的所述车辆类别的，并且
将所述边界框设定为所述三维模型的所述第一平面。
17.如权利要求12所述的方法，其中，检测第二车辆的表面包括：
检测所述图像中的运动；
基于所检测的运动从所述图像提取特征；
基于所提取的特征来产生表面；并且
将所述表面与至少一个车辆模型的侧表面进行比较。
18.如权利要求12所述的方法，还包括：基于所述第二车辆的所述位置来执行至少一个自动车辆控制操作。
19.如权利要求12所述的方法，还包括：将所述第二车辆的所述位置传送给自动巡航控制系统和前方碰撞预警系统中的至少一个。
CN201380017291.9A 2012-03-26 2013-03-26 基于多表面模型的跟踪 Active CN104321665B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261615596P 2012-03-26 2012-03-26
US61/615,596 2012-03-26
PCT/US2013/033869 WO2013148675A1 (en) 2012-03-26 2013-03-26 Multi-surface model-based tracking

Publications (2)

Publication Number Publication Date
CN104321665A true CN104321665A (zh) 2015-01-28
CN104321665B CN104321665B (zh) 2017-02-22

Family

ID=48096263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380017291.9A Active CN104321665B (zh) 2012-03-26 2013-03-26 基于多表面模型的跟踪

Country Status (4)

Country Link
US (1) US9466215B2 (zh)
EP (1) EP2831621B1 (zh)
CN (1) CN104321665B (zh)
WO (1) WO2013148675A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564036A (zh) * 2017-08-01 2018-01-09 努比亚技术有限公司 一种基于结构光的目标跟踪方法及终端
CN109212531A (zh) * 2017-06-29 2019-01-15 德尔福技术有限责任公司 确定目标车辆取向的方法
CN110678872A (zh) * 2017-04-04 2020-01-10 罗伯特·博世有限公司 通过使用神经网络图像处理的、作为3d限界框的直接载具检测

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US9664789B2 (en) * 2014-02-20 2017-05-30 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
US9412277B2 (en) * 2014-10-13 2016-08-09 Ford Global Technologies, Llc Vehicle cut-in strategy
EP3217357B1 (en) 2016-03-08 2020-05-13 Veoneer Sweden AB Estimation of movement of a target object
US10353053B2 (en) * 2016-04-22 2019-07-16 Huawei Technologies Co., Ltd. Object detection using radar and machine learning
US10629079B2 (en) * 2016-12-05 2020-04-21 Ford Global Technologies, Llc Vehicle collision avoidance
CN107146247A (zh) * 2017-05-31 2017-09-08 西安科技大学 基于双目摄像头的汽车辅助驾驶系统及方法
US20210362758A1 (en) * 2017-11-14 2021-11-25 Hyperloop Technology Engineering Limited Retention and loading and unloading in high speed transportation systems
JP7133926B2 (ja) * 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置、システム、情報処理方法
CN109163707B (zh) * 2018-09-06 2019-11-26 百度在线网络技术（北京）有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
CN111811398B (zh) * 2020-06-28 2022-02-08 上海大学 一种基于相移特征多项式高精度拟合的多表面测量方法
US11430334B2 (en) * 2020-10-21 2022-08-30 Denso Corporation Systems and methods for adaptable rear-end collision alerts

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204035A1 (en) * 2004-12-03 2006-09-14 Yanlin Guo Method and apparatus for tracking a movable object
US20080273752A1 (en) * 2007-01-18 2008-11-06 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking
CN101305295A (zh) * 2005-11-09 2008-11-12 丰田自动车株式会社 物体检测装置
US20080294401A1 (en) * 2007-05-21 2008-11-27 Siemens Corporate Research, Inc. Active Shape Model for Vehicle Modeling and Re-Identification
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JP3560670B2 (ja) 1995-02-06 2004-09-02 富士通株式会社 適応的認識システム
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
US6246412B1 (en) * 1998-06-18 2001-06-12 Microsoft Corporation Interactive construction and refinement of 3D models from multiple panoramic images
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
KR20020033816A (ko) * 2000-07-19 2002-05-07 마츠시타 덴끼 산교 가부시키가이샤 감시시스템
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6873251B2 (en) * 2002-07-16 2005-03-29 Delphi Technologies, Inc. Tracking system and method employing multiple overlapping sensors
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
EP1850595B1 (en) * 2005-02-15 2016-07-13 Panasonic Intellectual Property Management Co., Ltd. Periphery supervising device, and periphery supervising method
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
JP4847051B2 (ja) 2005-06-09 2011-12-28 クラリオン株式会社 車両周囲監視方法およびシステム
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
JP4654163B2 (ja) 2006-07-14 2011-03-16 日立オートモティブシステムズ株式会社 車両の周囲環境認識装置及びシステム
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
DE102007012458A1 (de) 2007-03-15 2008-09-18 Robert Bosch Gmbh Verfahren zur Objektbildung
DE102007018470A1 (de) 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
TWI327536B (en) * 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
EP2026246A1 (en) * 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
KR101591471B1 (ko) * 2008-11-03 2016-02-04 삼성전자주식회사 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
JP5523448B2 (ja) * 2009-04-23 2014-06-18 パナソニック株式会社 運転支援システム、情報表示装置、及び情報表示プログラム
US20120069153A1 (en) * 2009-05-25 2012-03-22 Panasonic Corporation Device for monitoring area around vehicle
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
JP5152309B2 (ja) * 2010-12-01 2013-02-27 株式会社デンソー 電子ミラー
US8521418B2 (en) * 2011-09-26 2013-08-27 Honeywell International Inc. Generic surface feature extraction from a set of range data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204035A1 (en) * 2004-12-03 2006-09-14 Yanlin Guo Method and apparatus for tracking a movable object
CN101305295A (zh) * 2005-11-09 2008-11-12 丰田自动车株式会社 物体检测装置
US20080273752A1 (en) * 2007-01-18 2008-11-06 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking
US20080294401A1 (en) * 2007-05-21 2008-11-27 Siemens Corporate Research, Inc. Active Shape Model for Vehicle Modeling and Re-Identification
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110678872A (zh) * 2017-04-04 2020-01-10 罗伯特·博世有限公司 通过使用神经网络图像处理的、作为3d限界框的直接载具检测
CN109212531A (zh) * 2017-06-29 2019-01-15 德尔福技术有限责任公司 确定目标车辆取向的方法
CN109212531B (zh) * 2017-06-29 2023-05-23 德尔福技术有限责任公司 确定目标车辆取向的方法
CN107564036A (zh) * 2017-08-01 2018-01-09 努比亚技术有限公司 一种基于结构光的目标跟踪方法及终端

Also Published As

Publication number Publication date
CN104321665B (zh) 2017-02-22
EP2831621B1 (en) 2016-07-13
EP2831621A1 (en) 2015-02-04
US9466215B2 (en) 2016-10-11
US20130253796A1 (en) 2013-09-26
WO2013148675A1 (en) 2013-10-03

Similar Documents

Publication Publication Date Title
CN104321665B (zh) 基于多表面模型的跟踪
US11703876B2 (en) Autonomous driving system
CN108263279B (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
US20170297488A1 (en) Surround view camera system for object detection and tracking
JP5286214B2 (ja) 車両制御装置
EP3043202B1 (en) Moving body system
GB2541274A (en) Collision mitigation and avoidance
WO2015156818A1 (en) Autonomous vehicle control system
JP6384534B2 (ja) 車両用物標検出システム
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
JP2021510227A (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
JP2010198552A (ja) 運転状況監視装置
JP2018124768A (ja) 車両制御装置
JP2012089114A (ja) 障害物認識装置
US8160300B2 (en) Pedestrian detecting apparatus
CN111497741B (zh) 碰撞预警方法及装置
JP3562278B2 (ja) 環境認識装置
JP2008059324A (ja) 車線逸脱判定装置および車線逸脱回避システム
JP4661602B2 (ja) 後方車両解析装置及び衝突予測装置
US10857998B2 (en) Vehicle control device operating safety device based on object position
JP4703963B2 (ja) 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2023057677A (ja) 車両制御装置、車両制御方法、およびプログラム
JP6259239B2 (ja) 車両用白線認識装置
JP6082293B2 (ja) 車両用白線認識装置
JP6014534B2 (ja) 車両用白線認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant