CN103186771A - 用于检测障碍物的方法和驾驶员辅助系统 - Google Patents

用于检测障碍物的方法和驾驶员辅助系统 Download PDF

Info

Publication number
CN103186771A
CN103186771A CN2012105787160A CN201210578716A CN103186771A CN 103186771 A CN103186771 A CN 103186771A CN 2012105787160 A CN2012105787160 A CN 2012105787160A CN 201210578716 A CN201210578716 A CN 201210578716A CN 103186771 A CN103186771 A CN 103186771A
Authority
CN
China
Prior art keywords
image
pixel
line
angular
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012105787160A
Other languages
English (en)
Inventor
张燕昆
洪初阳
诺曼.韦里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haman (china) Investment Co Ltd
Harman International China Holdings Co Ltd
Original Assignee
Haman (china) Investment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haman (china) Investment Co Ltd filed Critical Haman (china) Investment Co Ltd
Publication of CN103186771A publication Critical patent/CN103186771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

为了检测出使用驾驶员辅助系统的单个图像传感器抓取的单个图像(21)中的障碍物(2)，在单个图像(21)中建立至少一个图像特征(24-26)，所述至少一个图像特征沿着穿过图像传感器的投射点(23)的线(27-29)延伸。因此，基于单个图像(21)辨别出世界坐标系中沿着垂直于道路表面的方向延伸的至少一条线，所述至少一条线用作障碍物的符号。

Description

用于检测障碍物的方法和驾驶员辅助系统
技术领域
本发明的实施方案涉及用于驾驶员辅助功能的障碍物识别。本发明的实施方案具体来说涉及一种使用光学传感器检测障碍物的方法，以及一种被配置来检测障碍物的驾驶员辅助系统。
背景技术
驾驶员辅助系统的普及性持续增加。驾驶员辅助系统可在特定任务中辅助驾驶员，从而增强舒适度和安全性。驾驶员辅助系统可操作性地向驾驶员发出警告信号，以便提醒驾驶员潜在的危险状况，或以便执行主动控制功能。碰撞预测或停车辅助系统是可由驾驶员辅助系统执行的功能的实例。驾驶员辅助系统的一些功能可使用障碍物检测，并且障碍物检测功能可集成到驾驶员辅助系统中。为了检测障碍物，系统监测道路，并可能会在车辆接近物体时向驾驶员输出警告信号。这类系统可降低碰撞的风险，从而提高道路安全性。
各种传感器可用来执行障碍物检测。雷达传感器、超音速传感器或具有一个或多个摄影机的视觉系统都可用来监测物体与汽车的接近程度。摄影机可具有光学部件(如鱼眼镜头)及光电元件(如CMOS、CCD或其它芯片)。使用摄影机的障碍物检测系统很有可能在汽车运动时在辨别靠近汽车的障碍物方面向驾驶员提供可靠辅助。
执行障碍物检测的常规方法依赖于评估至少两个图像。这两个图像可由一个图像传感器以时间顺序方式抓取，或可由立体摄影机的两个图像感测器并行抓取。Massimo Bertozzi和Alberto Broggi所著的“GOLD:A Parallel Real-Time Stereo Vision System for GenericObstacle and Lane Detection”(IEEE TRANSACTIONS ON IMAGEPROCESSING，第7卷，第1期，1998年1月，第62页到第81页)以及Massimo Bertozzi、Alberto Broggi和Alessandra Fascioli所著的“Stereo inverse perspective mapping:theory and applications”(Image andvision computing，16(1998)，第585页到第590页)都中描述了一种基于立体摄影机的方法。计算出差异图像，并且可针对差异图像判定极坐标直方图。当以顺序方式抓取图像时，必须知道车辆的运动参数。Chanhui Yang、Hitoshi Hongo、Shinichi Tanimoto所著的“A newapproach for In-Vehicle Camera Obstacle Detection By GroundMovement Compensation”(IEEE Intelligent Transportation Systems，2008，第151页到第156页)描述了一种障碍物检测方案，其通过组合以时间顺序方式抓取的若干视频帧中含有的信息来使用特征点跟踪和匹配。
用于障碍物检测的常规方法可基于辨别属于障碍物边缘的个别像素，或可通过计算极坐标直方图来丢弃二维信息。这类方法可能易于受到噪音状况的影响。引起个别像素处的高信号密度或高密度梯度的噪音可导致这类方法产生误报。
如果必须借助独立图像传感器来抓取至少两个图像，接着以计算方式组合所述至少两个图像以供障碍物检测，那么所要的其它元件部分可能会增大障碍物检测系统的总成本。不管是使用立体摄影机的两个图像传感器并行抓取，还是以时间顺序方式抓取，多个图像的组合会增大计算复杂性。如果必须在两次图像曝光之间跟踪车辆的运动，那么又会进一步增大复杂性。
发明内容
因此，需要能够以可靠、稳健的方式且在适度的计算成本下检测障碍物的方法和系统。具体来说，需要这样方法和系统，其能够检测障碍物并且检测障碍物时无需在计算上组合多个图像。
这类需要由独立权利要求中所述的方法和驾驶员辅助系统来解决。从属权利要求界定了实施方案。
根据一个实施方案，提供一种用于检测使用驾驶员辅助系统的单个图像传感器抓取的单个图像中的障碍物的方法。取得（retrieve）使用单个图像传感器抓取的单个图像。基于单个图像来辨别沿着垂直于道路表面的方向延伸的至少一条线。基于所辨别的至少一条线来检测障碍物。辨别至少一条线包括在单个图像中建立至少一个图像特征，所述至少一个图像特征沿着穿过图像传感器的投射点的线延伸。
在所述方法中，将垂直于道路表面延伸的线用作障碍物的指示符，从而实现稳健的检测。垂直于车辆所在道路的道路表面延伸的线可被检测为图像中沿着穿过图像传感器的投射点的线延伸的特征。这样一来，能够辨别单个图像中的障碍物而无需组合多个图像以检测障碍物。
图像传感器的投射点可基于单个图像传感器的参数而判定。投射点可基于图像传感器的外部参数和内部参数而判定，其中外部参数如俯仰角、偏航角和距离地面的高度。
单个图像中建立至少一个图像特征可包括基于单个图像和所判定的投射点来生成二维角度变换图像。边缘检测器可应用到角度变换图像，以便辨别正交于角度变换图像的边缘中的一个来延伸的至少一个特征。角度变换图像可被生成，这样使得所述角度变换图像具有角坐标轴，所述坐标轴表示单个图像中穿过投射点的线的角度。边缘检测器可应用到角度变换图像，以便辨别角度变换图像中沿着横向于角坐标轴的方向延伸的至少一个特征。通过执行角度变换，图像中沿着穿过投射点的线延伸的特征变换成在横向于角坐标轴的方向上延伸的特征。随后特征沿着角度变换图像的列或行延伸。这样一来，辨别这些特征时的计算复杂性得以降低。
应用边缘检测器可包括针对至少一个特征沿着垂直于角坐标轴的方向延伸的长度执行长度阈值比较。这样一来，小特征能够被丢弃，从而进一步减少误报。当长度较短的特征(如阈值比较所判定)被丢弃时，后续处理的计算成本可得以降低。
应用边缘检测器可包括判定角度变换图像中的空间分辨梯度响应（spatially resolved gradient response）。边缘检测器可检测哈尔状(Haar-like)特征。判定梯度响应可包括判定哈尔状特征的两个子矩形之间的差异。角度变换图像的每一像素可具有像素值，并且梯度响应可基于像素值而判定。可使用不同尺度和/或高宽比的哈尔状特征。将用于进一步处理的像素处的梯度响应可定义为针对各种尺度和/或高宽比获得的梯度响应的最大值。可以低计算成本判定梯度响应。为此，可计算求和面积表。梯度响应可基于求和面积表而判定。
应用边缘检测器可包括判定角度变换图像中像素处的梯度响应是否大于第一邻近像素处的梯度响应和第二邻近像素处的梯度响应，其中第一像素和第二像素沿着角坐标轴邻近像素。因此，可依据角度变换图像中的角坐标对梯度响应并不是局部最大值的像素执行局部抑制。这样一来，虚假特征可得以抑制，从而提高障碍物检测的稳健性。当辨别出梯度响应的局部最大值并且非最大梯度响应被抑制时，后续处理的计算成本可得以降低。
应用边缘检测器可包括基于角度变换图像中像素处的梯度响应是否大于第一邻近像素处的梯度响应和第二邻近像素处的梯度响应来选择性地将像素处的梯度响应设定为默认值。这样一来，虚假特征可得以抑制，从而提高障碍物检测的稳健性。
应用边缘检测器可包括追踪梯度响应，所述追踪借助方向选择性来执行。追踪可沿着角度变换图像中横向于角坐标轴的方向而执行。追踪可沿着这个方向而执行，以便辨别角度变换图像中对应于沿着角度变换图像中正交于角坐标轴的方向延伸的高梯度响应的特征。
追踪可包括将梯度响应与第一阈值进行比较，以便辨别角度变换图像中的像素，以及将邻近角度变换图像中的像素的另一像素处的梯度响应与第二阈值进行比较，第二阈值不同于第一阈值。这样一来，线性特征的起始点可基于第一阈值比较来辨别。使用第二阈值来执行邻近像素的追踪，从而甚至当梯度响应降到第一阈值以下时仍能够追踪线性特征。
将多个其它像素处的梯度响应可分别与第二阈值进行比较，多个其它像素在垂直于角坐标轴的方向上偏离所辨别像素。像素可基于像素处的梯度响应是否超出第一阈值而辨别，并且第二阈值可小于第一阈值。这样一来，追踪得以简化，并且考虑了角度变换图像中横向于角坐标轴延伸的相关特征。可检测角度变换图像中辨别出的特征的长度，并且可丢弃长度很小的特征。这样一来，稳健性可得以提高，并且计算成本可得以降低。物体识别的执行速度可得以提高。
如果图像传感器具有引起失真的光学部件，那么这些失真可在原始图像中进行校正，以便生成校正后的单个图像，所述单个图像随后经处理以辨别沿着穿过投射点的线延伸的至少一个特征。这样一来，甚至当使用如鱼眼镜头的光学部件时仍能够可靠得执行障碍物检测。
有关所辨别的至少一条线的信息可被提供给驾驶员辅助系统。驾驶员辅助系统可将所辨别的至少一条线的位置与当前车辆位置和/或行驶方向相关联，以便在车辆靠近障碍物的情况下选择性地输出信号。驾驶员辅助系统可控制光学输出接口，以便基于所辨别的至少一条线的位置而提供有关障碍物的信息。
根据另一实施方案，提供一种驾驶员辅助系统。驾驶员辅助系统包括至少一个图像传感器以及连接到至少一个图像传感器的处理装置。处理装置被配置来基于使用至少一个图像传感器中的单个图像传感器抓取的单个图像来辨别沿着垂直于道路表面的方向延伸的至少一条线。处理装置被配置来基于所辨别的至少一条线来检测障碍物。处理装置被配置来在单个图像中建立至少一个图像特征，所述至少一个图像特征沿着穿过图像传感器的投射点的线延伸，以便辨别至少一条线。
驾驶员辅助系统将垂直于道路表面延伸的线用作障碍物的识别符，从而实现稳健检测。垂直于车辆所在道路的道路表面延伸的线可被检测为图像中沿着穿过图像传感器的投射点的线延伸的特征。这样一来，单个图像中的障碍物得以辨别而无需组合多个图像以检测障碍物。
驾驶员辅助系统可包括连接到处理装置的输出接口。处理装置可被配置来控制输出接口，以便在停车过程中基于检测到的障碍物来选择性地输出警告信号。这样一来，障碍物检测能够用于停车辅助功能。
驾驶员辅助系统可被配置来执行本文所描述的任何一个方面或实施方案。驾驶员辅助系统的处理装置可执行单个图像的处理，从而辨别垂直于道路表面的线而无需以组合方式处理多个图像以供障碍物检测。
驾驶员辅助系统可具有附加功能，如导航功能。
应了解的是，上文提到的特征和下文将解释的特征不仅可用于所指出的各个组合，而且可用于其它组合或单独使用。
附图说明
在结合附图理解以下实施方案的详细描述后，实施方案的前述和其它特征将变得更显而易见。附图中的相同参考数字表示相同元件。
图1为具有根据实施方案的驾驶员辅助系统的车辆的示意性方框图。
图2展示具有非线性失真的原始图像数据、通过校正原始图像数据中的非线性失真所生成的单个图像，以及从单个图像生成的角度变换图像。
图3展示具有非线性失真的原始图像数据。
图4展示通过校正图3的原始图像数据中的非线性失真所生成的单个图像。
图5展示从图5的单个图像生成的角度变换图像。
图6为根据实施方案的方法的流程图。
图7为根据实施方案的方法的流程图。
图8为根据实施方案的方法中处理角度变换图像的程序的流程图。
图9示出根据实施方案的方法中针对哈尔状特征的检测器。
图10示出根据实施方案的方法中用于计算梯度响应的求和面积表的使用。
图11示出根据实施方案的方法中非最大梯度响应的抑制。
图12示出根据实施方案的方法中角度变换图像中的特征的追踪。
图13示出根据实施方案的方法中角度变换图像中的特征的追踪。
具体实施方式
以下描述中，相同或类似参考数字指代相同或类似部件。尽管将在指定情境下描述一些实施方案，如在响应于检测到的障碍物而输出警告信号的情境下描述一些实施方案，但实施方案并不限于这些指定情境。
图1示意性地示出配备有根据实施方案的驾驶员辅助系统9的车辆1。驾驶员辅助系统9包括处理装置10，所述处理装置用于根据(例如)存储在存储器中的控制指令来控制驾驶员辅助系统9的操作。处理装置10可包括(例如)呈一个或多个处理器、数字信号处理装置或专用集成电路形式的中央处理器。驾驶员辅助系统9进一步包括一个或多个图像传感器。可提供前部图像传感器11和后部图像传感器12。在其它实施情况下，可仅提供一个图像传感器或可提供两个以上图像传感器。前部图像传感器11和后部图像传感器12可分别为包括光电元件的摄影机，所述光电元件如CMOS传感器、CCD传感器或用于将光学图像转换为二维图像数据阵列的另一光电传感器。前部图像传感器11可具有成像光学器件14。成像光学器件14可包括生成非线性失真的镜头，例如鱼眼镜头。后部图像传感器12可具有成像光学器件15。成像光学器件15可包括生成非线性失真的镜头，例如鱼眼镜头。
驾驶员辅助系统9还包括用于向用户输出信息的输出接口13。输出接口13可包括光学输出装置、音频输出装置或其组合。处理装置10被配置来通过评估单个图像传感器来辨别障碍物。如下文将参阅图2至图13更详细描述，处理装置10使用垂直于车辆所在的道路表面定向的线作为障碍物的指示符。处理装置10通过分析单个图像来检测这类线，以便辨别图像中沿着穿过各别图像传感器的投射点的线延伸的图像特征。处理装置10可执行角度变换以生成角度变换图像，以便促进这类图像特征的识别。由处理装置10生成的角度变换图像为二维角度变换图像，其中两个正交坐标轴中的一个量化图像中穿过投射点的线的角度。因此，图像中沿着穿过投射点的线延伸的图像特征变换成角度变换图像中沿着定向成横向于角坐标轴的线延伸的特征。这类特征在角度变换图像中可得以高效地侦测。处理装置10可选择性地辨别角度变换图像中长度超出或至少等于特定长度阈值的特征。这是可行的，因为二维信息保持在角度变换图像中。这样一来，处理装置10可验证角度变换图像中的特征是否对应于世界坐标系中在沿着垂直于道路表面的方向上具有有限延伸的线。因此，误报的可能性得以降低，所述误报可能会由于引起个别独立像素处的像素值的高梯度的噪音而发生。
处理装置10可辨别单个图像中的障碍物，而无需在计算过程中组合多个图像来辨别障碍物。出于说明目的，甚至当前部图像传感器11并不是立体摄影机且仅包括一个光电芯片时，处理装置10仍可通过处理使用前部图像传感器11抓取的单个图像来辨别定位于车辆前部的障碍物。或者或以其它方式，甚至当后部图像传感器12并不是立体摄影机且仅包括一个光电芯片时，处理装置10仍可通过处理使用后部图像传感器12抓取的单个图像来辨别定位于车辆后部的障碍物。处理装置10可并行处理使用前部图像传感器11抓取的第一图像和由后部图像传感器12抓取的第二图像。处理装置10可基于第一图像且独立于第二图像而辨别定位于前部图像传感器的视野内的障碍物。处理装置10可基于第二图像且独立于第一图像而辨别定位于后部图像传感器的视野内的障碍物。
驾驶员辅助系统9可包括附加部件。出于说明目的，驾驶员辅助系统9可包括位置传感器和/或车辆接口。处理装置10可被配置来从位置传感器和/或车辆接口取得（retrieve）有关车辆运动状态的信息。有关运动状态的信息可包括有关运动方向和/或速度的信息。处理装置10可结合通过评估图像而检测到的障碍物来评估有关运动状态的信息。处理装置10可基于车辆是否正靠近检测到的障碍物而选择性地经由输出接口13提供有关障碍物的信息。位置传感器可包括GPS(全球定位系统)传感器、Galileo传感器或基于移动通信网络的位置传感器。车辆接口可使得处理装置10能够经由车辆接口获得来自其它车辆系统的信息或车辆状态信息。举例来说，车辆接口可包括CAN(控制器局域网)或MOST(媒体定向装置传输)接口。
参阅图2至图13，图2至图13将更详细地描述通过处理单个图像来检测障碍物。驾驶员辅助系统的处理装置10可自动执行参阅图2至图13描述的各个处理步骤。
图2示意性地展示由单个图像传感器抓取的原始图像数据20。原始图像数据20可由前部图像传感器11或由后部图像传感器12抓取。从道路表面垂直突起的壁型特征展示为障碍物12的实施例。原始图像数据20可具有非线性失真。这可能是单个图像传感器的光学器件引起非线性失真的状况。当使用鱼眼镜头或另一镜头来增大视野时，可能会导致原始图像数据20中的非线性失真。处理装置可校正这些失真以便生成单个图像21。校正可基于单个图像传感器的内部参数而执行。通过执行这类校正，获得单个图像21。如果图像传感器的光学器件并未引起图像失真或者失真可忽略，那么无需进行校准以校正非线性失真。
处理装置10处理单个图像21，以便辨别世界坐标系中垂直于道路表面延伸的线。这类线对应于单个图像21中沿着穿过图像参考帧中的单个图像传感器的投射点23的线27-29延伸的图像特征。出于说明目的，障碍物2具有垂直于道路表面延伸的边缘24、25和26。这些边缘24、25和26分别沿着图像21中穿过投射点23的线延伸。举例来说，边缘24沿着线27延伸。举例来说，边缘25沿着线28延伸。
处理装置10可被配置来验证图像21中检测到的图像特征具有与穿过投射点23的线相匹配的方向。处理装置10可进一步针对图像特征沿着线的长度执行阈值比较，以便验证特征具有有限延伸，这是因为(例如)延伸受限于单个像素。尽管这类处理可直接对图像21执行，处理装置10可计算角度变换图像22以便促进处理。
角度变换图像22可由处理装置10基于投射点23的坐标而自动生成。图像21中沿着穿过投射点23的线27来定位且配置为相对于图像21的一个坐标轴成一角度的像素的像素值变换成角度变换图像22中沿着正交于角坐标轴30的线37延伸的像素值。举例来说，线37可为角度变换图像的一列。角度变换图像中线37的位置(也就是输入像素值的列的位置)由图像21中线27所配置成的角度判定。类似地，图像21中沿着穿过投射点23的另一线28来定位且配置为相对于图像21的一个坐标轴成另一角度的像素值变换成角度变换图像中沿着另一线38延伸的另一列中角度变换图像22的像素值。角度变换图像中另一线38的位置(也就是输入像素值的另一列的位置)由图像21中线28所配置成的另一角度判定。
世界坐标系中沿着垂直于道路表面的方向延伸的线沿着正交于角度变换图像22中的角坐标轴30的方向31延伸。这类正交于角度变换图像的一个坐标轴30延伸的线可得以高效和可靠地检测。将参阅图8至图13更详细描述可应用到角度变换图像22的边缘检测器的实施情况。角度变换图像中横向于角坐标轴30延伸的特征可具体来说结合边缘追踪技术基于梯度响应而检测。辨别为属于正交于道路表面而突起的障碍物的线的特征正交于角坐标轴30延伸，这就实现了借助方向选择性高效地执行追踪。
有关图像21中的图像特征是否沿着穿过投射点23的线定位的判定是基于图像坐标系中投射点的坐标来执行。图像传感器的投射点的坐标可基于各别图像传感器的内部和外部参数而计算。举例来说，内部和外部参数可在校准车辆视觉系统时判定，且可进行存储以供后续使用。类似地，图像传感器的投射点可经判定和存储以便在障碍物检测时重复使用。
在已对可能由光学器件引起的非线性失真进行补偿之后，可借助线性变换来描述从世界坐标系到图像的映射。定义映射的对应矩阵可取决于摄影机的外部和内部参数。外部参数可包括摄影机的定向和距离地面的高度。广泛使用的摄影机位置为摄影机以俯仰角α及偏航角β安置的位置，但不存在横摇角。距离地面的高度可表示为h。内部参数包括焦距fu和fv，且光学中心的坐标给定为cu和cv，其中u和v表示在执行角度变换之前图像参考帧中的坐标轴。可存在附加内部参数，如定义径向失真的参数，或定义切向失真的参数。当已对失真进行校正或失真可忽略时，地面到图像的变换矩阵可表示为：
T g i = f u c 2 + c u c 1 s 2 - s 2 f u + c u c 1 c 2 - c u s 1 s 2 ( c v c 1 - f v s 1 ) c 2 ( c v c 1 - f v s 1 ) - f v c 1 - c v s 1 c 1 s 2 c 1 c 2 - s 1 - - - ( 1 )
这里，使用以下注释：
c1=cosα,                       (2a)
s1=sinα,                       (2b)
c2=cosβ,以及                   (2c)
s2=sinβ.                       (2d)
摄影机的投射点(坐标为Cu和Cv)根据下式获得：
C u ′ C v ′ C z = T g i 0 0 - h , 以及                   (3)
进行归一化之后获得：
Cu Cv = C u ′ / C z C v ′ / C z . - - - ( 3 )
可取得根据上式(1)至(4)判定的投射点的坐标Cu和Cv，且可在从图像21计算角度变换图像22时加以使用。
参阅图3至图5进一步说明由处理装置10执行的图像处理。
图3展示由图像传感器抓取的原始图像数据40。原始图像数据具有非线性失真，如鱼眼型失真。通过使用图像传感器的已知内部参数，以计算方式补偿由光学器件引起的这些失真。
图4展示通过补偿由光学器件引起的非线性失真而获得的单个图像41。单个图像41中展示了第一障碍物2和第二障碍物3。第一障碍物2和第二障碍物3的边缘垂直于世界坐标系中的道路表面延伸。在图像41中，第一障碍物2和第二障碍物3的垂直边缘为沿着穿过投射点23的线延伸的图像特征61-64。图4中展示了穿过投射点23的示例性线43-47。线43配置为相对于图像参考帧的第一坐标轴(例如，u坐标轴)成一角度48。线44配置为相对于图像参考帧的第一坐标轴成一角度49。由于图像参考帧中投射点23的坐标已知，单个图像41可转换成角度变换图像42。
图5展示通过对图像41执行角度变换所获得的角度变换图像42。角度变换图像42的一个坐标轴31对应于单个图像41中线的角度48、49。单个图像41中沿着线43定位的像素的像素值用来生成角度变换图像42的列，也就是沿着正交于角坐标轴30的线53延伸的列。沿着角坐标轴30的线53的位置由角度48判定。单个图像41中沿着线44定位的像素的像素值用来生成角度变换图像42的另一列，也就是沿着正交于角坐标轴30的线54延伸的另一列。沿着角坐标轴30的线54的位置由角度49判定。类似地，单个图像41中沿着线45定位的像素的像素值用来生成角度变换图像42的又一列，也就是沿着正交于角坐标轴30的线55延伸的又一列。类似地，单个图像41中沿着线46定位的像素的像素值用来生成角度变换图像42的又一列，也就是沿着正交于角坐标轴30的线56延伸的又一列。类似地，单个图像41中沿着线47定位的像素的像素值用来生成角度变换图像42的又一列，也就是沿着正交于角坐标轴30的线57延伸的又一列。角度变换是基于投射点23的坐标来执行，以便生成二维角度变换图像42。
角度变换引起单个图像23中沿着穿过投射点23的线延伸的图像特征变换成角度变换图像43中正交于角坐标轴30延伸的特征。这样一来，表示世界坐标系中的障碍物3的垂直边缘的图像特征61变换成角度变换图像42中正交于角坐标轴30延伸的特征65。表示世界坐标系中的障碍物3的另一垂直边缘的另一图像特征62变换成角度变换图像42中也正交于角坐标轴30延伸的特征66。表示世界坐标系中的障碍物2的垂直边缘的图像特征63变换成角度变换图像42中正交于角坐标轴30延伸的特征67。表示世界坐标系中的障碍物2的另一垂直边缘的另一图像特征64变换成角度变换图像42中也正交于角坐标轴30延伸的特征68。
可使用适当边缘检测器来检测角度变换图像42中的特征65-68。由于角度变换图像42为二维图像，可针对特征65-68的长度执行阈值比较。仅长度延伸过角度变换图像43的预定数目行的特征可辨别为在垂直于道路表面的方向上具有有限延伸的物体的表示线。图5中示意性地指出阈值69。
图6为根据实施方案的方法70的流程图。方法可由处理装置10执行。方法可经执行以实施上文参阅图2至图5描述的处理。
在71处，取得单个图像。可从驾驶员辅助系统的单个图像传感器直接取得单个图像。如果单个图像传感器的光学器件生成非线性失真(如，鱼眼失真)，那么可对这些失真进行校正以便取得单个图像。
在72处，生成二维角度变换图像。角度变换图像是基于在71处取得的单个图像和图像传感器的投射点在单个图像的参考系统中的坐标而生成。角度变换图像可被生成，这样使得对于图像中穿过投射点的多条线来说，沿着各别线定位的像素分别变换成角度变换图像中的像素列。
在73处，辨别角度变换图像中在横向于角坐标轴的方向上延伸的至少一个特征。可使用边缘检测器来辨别特征。边缘检测器可如下文参阅图8至图13所描述的内容实施。至少一个特征的辨别可包括针对至少一个特征的长度执行阈值比较，以便确保特征具有对应于角度变换图像的多个像素的特定长度。
角度变换图像中正交于角坐标轴延伸的特征对应于图像中沿着穿过投射点的线定位的图像特征。根据逆向透视映射理论，这类图像特征对应于世界坐标系中的垂直线。
处理装置可根据角度变换图中辨别到的特征的坐标而判定障碍物相对于汽车的位置。为此，角度变换可逆向。可利用摄影机的外部和内部参数来计算障碍物相对于车辆的位置。障碍物的位置可用于驾驶员辅助功能，如停车辅助功能。
实施方案的方法可包括附加步骤，如校正非线性失真或类似步骤。这将参阅图7进行说明。
图7为根据实施方案的方法80的流程图。方法可由处理装置10执行。方法可经执行以实施上文参阅图2至图5描述的处理。
在81处，单个图像传感器抓取原始图像数据。原始图像数据可具有由单个图像传感器的光学器件引起的非线性失真。单个图像传感器可包括一个CMOS、CCD或其它光电芯片以便抓取原始图像数据。单个图像传感器未被配置来并行抓取多个图像，具体来说，单个图像传感器并不是立体摄影机。
在82处，校正由图像传感器的光学器件引起的失真。非线性失真可基于摄影机的内部参数(如，径向和/或切向失真参数)来校正。通过校正由光学器件引起的失真，获得单个图像。
在83处，辨别图像中图像传感器的投射点。投射点可如上文参阅式(1)至(4)解释的内容判定。各别单个图像传感器的投射点的坐标可存储在驾驶员辅助系统的存储器中。可取得投射点的坐标以用于辨别图像中沿着穿过投射点的线延伸的图像特征。
在84处，生成二维角度变换图像。生成角度变换图像可包括生成角度变换图像的多个像素列。多个像素列中的每一列可基于图像中沿着穿过投射点的线定位的像素的像素值而生成。角度变换图像可如上文参阅图2至图5所解释来生成。
在85处，将边缘检测器应用到角度变换图像。边缘检测器可被配置来检测角度变换图像中沿着列方向延伸的特征。可使用各种边缘检测器。具体来说，边缘检测器可如下文参阅图8至图13描述的内容实施。
在86处，验证是否已检测到垂直于角坐标轴的长度超出或至少等于阈值的特征。阈值可具有对应于至少两个像素的预定值。可使用较大阈值。如果并未在角度变换图像中检测到这类特征，那么方法可返回81。
如果在角度变换图像中辨别到沿着垂直于角坐标轴的方向延伸出特定长度的特征，那么在87处，驾驶员辅助功能可使用这个信息。驾驶员辅助功能可执行各种功能中的任何一种或任何组合，如，当车辆靠近障碍物时警告驾驶员，控制图形用户接口以提供有关障碍物的信息，传输控制命令以控制车辆部件的操作或类似功能。随后方法可再次返回81。
可针对由单个图像传感器抓取的另一图像帧重复上述处理。甚至当重复处理时，无需组合来自一个以上图像的信息来辨别在世界坐标系中垂直于道路表面延伸的线。由于辨别障碍物仅需要评估单个图像，处理可得以快速执行。可针对视频序列的每一图像帧重复上述处理。
可使用各种边缘检测器来执行角度变换图像中的特征辨别。借以将图像映射到二维角度变换图像的处理促进了上述处理，因为可能感兴趣的特征的方向已提前知道。允许垂直于角坐标轴的特征得以高效检测的边缘检测器的实施情况将参阅图8至图13解释。
一般来说，边缘检测器可经操作以检测哈尔状特征。可借助方向选择性来执行哈尔状特征的检测，因为待辨别的是在角度变换图像中垂直于角坐标轴延伸的特征。可使用附加处理步骤，如梯度响应并不是局部最大值的像素的抑制和/或在横向于角坐标轴的方向上执行的追踪。
图8是程序90的流程图。可使用程序90来实施角度变换图像中的角度检测。程序90可由处理装置10执行。可在方法70的步骤73中或在方法80的步骤85中执行程序90。将附加参阅图9至图13，以便进一步说明程序90。
一般来说，程序90可包括在91和92处判定梯度响应，在93处抑制梯度响应并不对应于局部最大值的像素，以及在94处追踪边缘。
在91和92处，判定角度变换图像的多个像素处的梯度响应。可使用针对哈尔状特征的检测器来分别判定梯度响应。可使用响应于角度变换图像中沿着垂直于角坐标轴的方向延伸的特征的检测器。因此，检测器可检测到像素值沿着角坐标轴的变化或梯度。
图9示出基于梯度响应而检测哈尔状特征。为了判定像素103处的梯度响应，可对第一子矩形101中的所有像素的像素值进行求和。角度变换图像的每一像素的像素值可包括在(例如)0至255的范围内。第一子矩形101具有105处指示的宽度w和104处指示的高度h。第一子矩形101中的所有像素的像素值的总和可表示为SABCD。可对第二子矩形102中的所有像素的像素值进行求和。第二子矩形102也具有宽度w和高度h。第二子矩形102中的所有像素的像素值的总和可表示为SCDEF。由第一子矩形101和第二子矩形102的合并所定义的矩形可如下定位：像素103位于相对于矩形的预定义位置，例如，靠近矩形的中心。第二子矩形102在沿着角坐标轴的方向上邻近第一子矩形101。
针对哈尔状特征(也就是针对具有给定宽度w和高度h的子矩形)的给定检测器的梯度响应rg可如下定义：
rg = | S ABCD - S CDEF | A , - - - ( 5 )
其中A=w·h表示子矩形的面积。子矩形的宽度和高度可依据角度变换图像的像素进行测量。对于w=1和h=1来说，梯度响应对应于罗伯斯(Roberts)算子。在进行如式(5)中所定义的归一化之后，梯度响应可包括在与像素值一样的范围内，例如，介于0至255的范围内。
为了实现高效地计算梯度响应，可使用求和面积表。出于说明目的，在程序90中，可在91处计算求和面积表。在92处，使用求和面积(are)表来计算梯度响应。求和面积表可为二维阵列。对于角度变换图像的每一像素(在角度变换图像中具有像素坐标x和y)来说，求和面积表中的对应值可如下给定：
sum ( x , y ) = Σ x ′ ≤ x y ′ ≤ y i ( x ′ , y ′ ) , - - - ( 6 )
其中i(x’,y’)表示角度变换图像中像素坐标x’,y’处的像素值。求和面积表中像素坐标(x,y)的值可理解为从角度变换图像的左上角(用图5中左上和右上处展示的区域中的零像素值进行补充)到各别像素的矩形中的像素值的总和。可以从x和y的较小值到x和y的较大值的方式递归地计算求和面积表，从而实现高效地计算求和面积表。通过使用求和面积表，任意矩形的像素值的总和可得以高效地计算，从而仅执行三次加法或减法运算。通过保持适度的计算成本，物体识别可得以快速执行，从而实现实时或近似实时地识别物体。
图10示出使用求和面积表来计算矩形110的像素值的总和。矩形110具有在111处展示的坐标为xK和yK的转角K，在112处展示的坐标为xL和yL的转角L，在113处展示的坐标为xM和yM的转角M，以及在114处展示的坐标为xN和yN的转角N。矩形110中的像素值的总和Srect可根据下式判定
Srect=sum(xK,yK)+sum(xN,yN)-sum(xL,yL)-sum(xM,yM).    (7)
可针对图9中所展示的子矩形执行两次这种计算，以便根据式(5)判定梯度响应。
为了进一步提高稳健性，对于多个像素中的每一个来说，可判定多个不同梯度响应而并非仅判定一个梯度响应。出于说明目的，对于多个像素中的每一个来说，可使用如图9中所展示的具有不同尺寸(例如，具有不同高度和宽度)和不同尺度的子矩形来评估式(5)。后续处理中将使用的有效梯度响应Rg可定义为
Rg＝maxi(rgi),              (8)
其中i是所使用的针对哈尔状特征的不同检测器的标记。出于说明目的，可使用n个不同的形状和/或s个不同尺度因子，且指数i从i=1变化到i=n·s。
可使用用以判定梯度响应的其它技术。出于说明目的，无需使用针对哈尔状特征的多个不同检测器。
返回图9的程序90，在以空间分辨方式判定出梯度响应之后，在93处，可执行抑制以减弱梯度响应并不是沿着角坐标轴的局部最大值的像素产生的影响。这样一来，可考虑如下事实：参阅上文式(5)至式(8)所解释的内容判定的梯度响应可能会沿着角坐标轴逐渐变化。可实施抑制以使得，对于多个像素来说，各别像素处的梯度响应分别与沿着角坐标轴邻近上述各别像素的第一邻近像素和第二邻近像素的梯度响应进行比较。像素处的梯度响应可设定为默认值，如零，但像素处的梯度响应大于第一邻近像素和第二邻近像素处的梯度响应的情况除外。
图11以灰度示出角度变换图像的部分120中的梯度响应。对于沿着列方向延伸的特征来说，梯度响应的局部最大值在列122中。邻近列121和123中的梯度响应可仍为有限的。在抑制非最大梯度响应的过程中，将像素125处的梯度响应与第一邻近像素126和第二邻近像素127处的梯度响应进行比较。由于像素125处的梯度响应大于第一邻近像素126处的梯度响应和第二邻近像素127处的梯度响应，像素125处的梯度响应并不设定为默认值。当将像素126处的梯度响应与沿着角坐标轴邻近像素126的两个像素处的梯度响应进行比较时，发现像素126处的梯度响应小于像素125处的梯度响应。因此，像素126处的梯度响应设定为默认值，例如，设定为零。
通过执行这类抑制，梯度响应并不对应于局部最大值的像素处的梯度响应得以抑制。129处示出在抑制之后获得的空间上变化的梯度响应。抑制的效果在于，将列121和123中像素的梯度响应设定为默认值，例如零，因为根据角坐标，这些列中的梯度响应并不是局部最大值。
可使用其它技术来抑制梯度响应的假象。出于说明目的，非线性功能可应用到程序90的步骤91和92中所判定的梯度响应，以便放大具有大梯度响应的像素的信号，并以其它方式抑制梯度响应。在其它实施情况下，可省略93处的抑制。
在程序90中，可在94处执行追踪，以便检测横向于角坐标轴延伸的线性特征。追踪可实施为坎尼(Canny)追踪法。在其它实施情况下，可能会利用如下事实：可能感兴趣的特征一般横向于角坐标轴30延伸。可借助方向选择性来执行追踪。
在94处的追踪可包括执行阈值比较，其中将非最大梯度响应可能已得以抑制之后的梯度响应与第一阈值进行比较。将基于与第一阈值的这个比较而辨别的每一像素辨别为沿着列延伸的特征的可能点。随后将在垂直于角坐标轴的方向上偏离所辨别像素的邻近像素处的梯度响应与第二阈值进行比较。第二阈值小于第一阈值。如果邻近像素中的一个或若干个处的梯度响应大于第二阈值，那么将这个邻近像素辨别为属于角度变换图像中垂直于角坐标轴延伸的边缘，其对应于世界坐标空间中正交于道路表面定位的线。针对已辨别为属于角度变换图像中垂直于角坐标轴延伸的特征的像素的邻近像素重复与第二阈值的阈值比较。如果邻近先前已辨别为属于垂直于角坐标轴延伸的特征的像素的像素处的梯度响应小于或最多等于第二阈值，那么将这个像素辨别为并不属于角度变换图像中垂直于角坐标轴延伸的特征。
可借助方向选择性来执行追踪。出于说明目的，可能无需在追踪时执行邻近沿着角坐标轴的像素的像素处的梯度响应的阈值比较。可能感兴趣的特征是在角度变换图像中横向于角坐标轴延伸的特征，其对应于在世界坐标系中垂直于道路表面延伸的线。
图12示出追踪。图12以灰度展示角度变换图像的部分120中的梯度响应。在像素131处，梯度响应大于第一阈值。通过将邻近于像素131的邻近像素132处的梯度响应与小于第一阈值的第二阈值进行比较，将邻近像素132辨别为属于同一垂直边缘，甚至当邻近像素132处的梯度响应小于第一阈值时也如此。借助方向选择性的追踪继续进行，直到发现像素133的梯度响应小于第二阈值为止。因此，将像素133辨别为属于垂直边缘。可在从像素131起的任一方向上执行追踪。也就是说，针对在任一方向上偏离像素132的行中的像素执行与第二阈值的阈值比较。出于说明目的，将像素133与像素134之间的像素辨别为具有大于第二阈值的梯度响应。将这些像素辨别为属于垂直边缘。
图13进一步示出追踪的一种实施情况。如果角度变换图像中坐标为(x,y)的像素141辨别为属于垂直边缘，那么可将在垂直于角坐标轴的方向上偏离像素141的六个邻近像素142-147处的梯度响应与第二阈值进行比较。这六个像素的坐标为(x-1,y-1)、(x,y-1)、(x+1,y-1)、(x-1,y+1)、(x,y+1)以及(x+1,y+1)。可将梯度响应大于第二阈值的所有邻近像素142-147辨别为属于垂直边缘。
在追踪期间，可判定特征对应于垂直边缘的长度。出于说明目的，在图12中，所辨别特征具有长度135。可执行阈值比较以便丢弃长度小于或最多等于长度阈值的所有所辨别特征。这样一来，虚假噪音得以丢弃。
也可以其它方式实施追踪。出于说明目的，可使用常规的坎尼追踪法。
如参阅图8至图13描述的边缘检测器的实施情况允许垂直边缘得以高效地检测。求和面积表允许借助极低的计算复杂性来判定梯度响应。边缘检测器还在用于检测哈尔状特征的子矩形的尺寸有所变化时提供针对噪音的多尺度特性和稳健性。可借助抑制梯度响应并不具有沿角坐标方向的局部最大值的像素处的梯度响应并通过使用借助方向选择性的追踪来得到显著的边缘特性。
根据实施方案执行的图像处理允许以适度的计算成本识别障碍物。这样一来，物体识别得以在等于或小于抓取图像帧的逆速率的时间尺度内执行。物体识别可得以实时或近似实时地执行。通过保持适度的物体识别计算成本，障碍物识别可易于与附加处理步骤相组合。出于说明目的，障碍物识别可与追踪集成。这样一来，性能得以进一步提升。实施方案中障碍物的高效检测实现了在低级或中级硬件平台上实施障碍物检测。
通过使用边缘检测器，角度变换图像中横向于角坐标轴延伸的特征可得以辨别。处理装置可分配世界坐标系中的对应线作为障碍物的边缘。图像处理的结果可供驾驶员辅助系统使用。出于说明目的，停车辅助功能可基于障碍物检测而执行。角度变换图像中辨别到的特征的坐标可由处理装置转换回世界坐标，以用于警告或控制操作。警告操作可包括生成音频和/或视频输出信号。出于说明目的，可使用色码制来警告驾驶员有关垂直于道路表面延伸的障碍物。
尽管已详细描述根据实施方案的方法和系统，可在其它实施方案中实施修改。出于说明目的，尽管已描述边缘检测器的实施方案，可在其它实施方案中将边缘检测器的其它实施情况应用到角度变换图像。
出于进一步说明的目的，尽管已描述示例性应用领域，如停车辅助功能，实施方案的方法和系统也可用于碰撞警告、碰撞预测、预测到发生碰撞时安全气囊或其它安全装置的启用、距离监测或类似功能。

Claims (15)

1.一种用于检测使用驾驶员辅助系统(9)的单个图像传感器(11,12)抓取的单个图像(21;41)中的障碍物(2,3)的方法，所述方法包括：
取得使用所述单个图像传感器(11,12)抓取的所述单个图像(21;41)；
辨别出沿着垂直于道路表面的方向延伸的至少一条线，所述至少一条线是基于所述单个图像(21;41)来辨别；以及
基于所辨别的至少一条线来检测所述障碍物(2,3)；
其中辨别所述至少一条线包括：
在所述单个图像(21;41)中建立至少一个图像特征(24-26;61-64)，所述至少一个图像特征沿着穿过所述图像传感器(11,12)的投射点(23)的线(27-29;43-47)延伸。
2.如权利要求1所述的方法，
其中建立所述至少一个图像特征(24-26;61-64)包括：
-基于所述单个图像传感器(11,12)的参数来判定所述投射点(23)；
-基于所述单个图像(21;41)和所判定的投射点(23)来生成二维角度变换图像(22;42)，其中所述角度变换图像(22;42)的角坐标轴(30)表示所述单个图像(21;41)中穿过所述投射点(23)的线的角度(48,49)；以及
-将边缘检测器应用到所述角度变换图像(22;42)以辨别至少一个特征(34-36;65-68)，所述至少一个特征在所述角度变换图像(22;42)中沿着横向于所述角坐标轴(30)的方向(31)延伸。
3.如权利要求2所述的方法，
其中应用所述边缘检测器包括针对所述至少一个特征(34-36;65-68)沿着所述方向(31)延伸的长度(135)执行长度阈值比较。
4.如权利要求2所述的方法，
其中应用所述边缘检测器包括判定所述角度变换图像(22;42)中的空间分辨梯度响应。
5.如权利要求4所述的方法，
其中应用所述边缘检测器包括判定所述角度变换图像(22;42)中像素(125)处的梯度响应是否大于第一邻近像素(126)处的梯度响应和第二邻近像素(127)处的梯度响应，其中所述第一和第二像素(126,127)沿着所述角坐标轴(30)邻近所述像素(125)。
6.如权利要求5所述的方法，
其中应用所述边缘检测器包括基于所述角度变换图像(22;42)中所述像素(125)处的梯度响应是否大于所述第一邻近像素(126)处的所述梯度响应和所述第二邻近像素(127)处的所述梯度响应来选择性地将所述像素(125)处的所述梯度响应设定为默认值。
7.如权利要求4所述的方法，
其中应用所述边缘检测器包括追踪所述梯度响应，所述追踪是借助方向选择性来执行。
8.如权利要求7所述的方法，
其中所述追踪包括：
-将所述梯度响应与第一阈值进行比较以辨别所述角度变换图像(22;42)中的像素(131;141)；
-将邻近所述角度变换图像(22;42)中的所述像素(131;141)的另一像素(132;142-147)处的所述梯度响应与第二阈值进行比较，所述第二阈值不同于所述第一阈值。
9.如权利要求8所述的方法，
其中将多个其它像素(142-147)处的所述梯度响应分别与所述第二阈值进行比较，所述多个其它像素(142-147)在垂直于所述角坐标轴(30)的方向(31)上偏离所辨别的像素。
10.如权利要求8所述的方法，
其中所述像素(131)是基于所述像素(131)处的所述梯度响应是否超出所述第一阈值来辨别，并且其中所述第二阈值小于所述第一阈值。
11.如权利要求2至10中任一项所述的方法，
其中在生成所述角度变换图像(22;42)之前，原始图像数据(20;40)的非线性失真被校正来生成所述单个图像(21;41)。
12.如权利要求1至10中任一项所述的方法，进一步包括：
通过所述驾驶员辅助系统(9)处理所辨别的至少一条线以生成控制信号。
13.一种驾驶员辅助系统，其包括：
至少一个图像传感器(11,12)；以及
处理装置(10)，其连接到所述至少一个图像传感器，所述处理装置(10)被配置成：
基于通过所述至少一个图像传感器(11,12)的单个图像传感器(11,12)抓取的单个图像(21;41)来辨别沿着垂直于道路表面的方向延伸的至少一条线，以及
基于所辨别的至少一条线来检测障碍物(2,3)；
其中所述处理装置(10)被配置成：
在所述单个图像(21;41)中建立至少一个图像特征(24-26;61-64)以辨别沿着垂直于所述道路表面的所述方向延伸的所述至少一条线，所述至少一个图像特征沿着穿过所述图像传感器的投射点(23)的线(27-29;43-47)延伸。
14.如权利要求13所述的驾驶员辅助系统，其进一步包括：
连接到所述处理装置(10)的输出接口(13)，
所述处理装置(10)被配置来控制所述输出接口(13)，以在停车过程中基于所检测的障碍物(2,3)来选择性地输出警告信号。
15.如权利要求13所述的驾驶员辅助系统，
其被配置来执行如权利要求1至10中任一项所述的方法。
CN2012105787160A 2011-12-27 2012-12-27 用于检测障碍物的方法和驾驶员辅助系统 Pending CN103186771A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11195832.8 2011-12-27
EP11195832.8A EP2610778A1 (en) 2011-12-27 2011-12-27 Method of detecting an obstacle and driver assist system

Publications (1)

Publication Number Publication Date
CN103186771A true CN103186771A (zh) 2013-07-03

Family

ID=45440324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012105787160A Pending CN103186771A (zh) 2011-12-27 2012-12-27 用于检测障碍物的方法和驾驶员辅助系统

Country Status (4)

Country Link
US (1) US20130162826A1 (zh)
EP (1) EP2610778A1 (zh)
JP (1) JP2013137767A (zh)
CN (1) CN103186771A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103386975A (zh) * 2013-08-02 2013-11-13 重庆市科学技术研究院 一种基于机器视觉的车辆避障方法及系统
CN103679691A (zh) * 2012-09-24 2014-03-26 株式会社理光 连续型道路分割物检测方法和装置
CN107980138A (zh) * 2016-12-28 2018-05-01 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
CN108617167A (zh) * 2016-02-01 2018-10-02 三菱重工业株式会社 自动驾驶控制装置、车辆及自动驾驶控制方法
CN108701405A (zh) * 2016-02-25 2018-10-23 住友电气工业株式会社 车载装置和道路异常警示系统
CN109074744A (zh) * 2016-09-23 2018-12-21 日立建机株式会社 矿山用工程机械以及障碍物判别装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014204002A1 (de) * 2014-03-05 2015-09-10 Conti Temic Microelectronic Gmbh Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug
US11188768B2 (en) 2017-06-23 2021-11-30 Nec Corporation Object detection apparatus, object detection method, and computer readable recording medium
CN108805105B (zh) * 2018-06-29 2022-04-01 大连民族大学 构建俯视二维世界坐标系车前风险矩阵的方法
US11328154B2 (en) 2019-08-06 2022-05-10 Marcelo Alonso MEJIA COBO Systems and methods of increasing pedestrian awareness during mobile device usage

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030044085A1 (en) * 2001-05-01 2003-03-06 Dial Oliver Eugene Apparatuses and methods for mapping image coordinates to ground coordinates
CN1862620A (zh) * 2006-06-12 2006-11-15 黄席樾 高速公路汽车行驶智能检测预警方法及其预警系统
US20080042812A1 (en) * 2006-08-16 2008-02-21 Dunsmoir John W Systems And Arrangements For Providing Situational Awareness To An Operator Of A Vehicle
US20100061601A1 (en) * 2008-04-25 2010-03-11 Michael Abramoff Optimal registration of multiple deformed images using a physical model of the imaging distortion
CN101804813A (zh) * 2010-02-04 2010-08-18 南京航空航天大学 一种基于图像传感器的辅助驾驶装置及其工作方法
US20100245578A1 (en) * 2009-03-24 2010-09-30 Aisin Seiki Kabushiki Kaisha Obstruction detecting apparatus
WO2011085489A1 (en) * 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4872769B2 (ja) * 2007-04-11 2012-02-08 日産自動車株式会社 路面判別装置および路面判別方法
JP4876118B2 (ja) * 2008-12-08 2012-02-15 日立オートモティブシステムズ株式会社 立体物出現検知装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030044085A1 (en) * 2001-05-01 2003-03-06 Dial Oliver Eugene Apparatuses and methods for mapping image coordinates to ground coordinates
CN1862620A (zh) * 2006-06-12 2006-11-15 黄席樾 高速公路汽车行驶智能检测预警方法及其预警系统
US20080042812A1 (en) * 2006-08-16 2008-02-21 Dunsmoir John W Systems And Arrangements For Providing Situational Awareness To An Operator Of A Vehicle
US20100061601A1 (en) * 2008-04-25 2010-03-11 Michael Abramoff Optimal registration of multiple deformed images using a physical model of the imaging distortion
US20100245578A1 (en) * 2009-03-24 2010-09-30 Aisin Seiki Kabushiki Kaisha Obstruction detecting apparatus
WO2011085489A1 (en) * 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
CN101804813A (zh) * 2010-02-04 2010-08-18 南京航空航天大学 一种基于图像传感器的辅助驾驶装置及其工作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C SOLOMON ET AL.: "Fundamentals of Digital Image Processing: A Practical Approach with Examples in Matlab", 《WILEY-BLACKWELL》 *
T YATA ET AL.: "Static Environment Recognition Using Omni-camera from a Moving Vehicle", 《TECHNICAL INFORMATION ON TRANSIT IVI PROJECTS》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679691A (zh) * 2012-09-24 2014-03-26 株式会社理光 连续型道路分割物检测方法和装置
CN103386975A (zh) * 2013-08-02 2013-11-13 重庆市科学技术研究院 一种基于机器视觉的车辆避障方法及系统
CN103386975B (zh) * 2013-08-02 2015-11-25 重庆市科学技术研究院 一种基于机器视觉的车辆避障方法及系统
CN108617167A (zh) * 2016-02-01 2018-10-02 三菱重工业株式会社 自动驾驶控制装置、车辆及自动驾驶控制方法
CN108617167B (zh) * 2016-02-01 2021-12-07 三菱重工业株式会社 自动驾驶控制装置、车辆及自动驾驶控制方法
CN108701405A (zh) * 2016-02-25 2018-10-23 住友电气工业株式会社 车载装置和道路异常警示系统
CN109074744A (zh) * 2016-09-23 2018-12-21 日立建机株式会社 矿山用工程机械以及障碍物判别装置
CN109074744B (zh) * 2016-09-23 2021-04-13 日立建机株式会社 矿山用工程机械以及障碍物判别装置
CN107980138A (zh) * 2016-12-28 2018-05-01 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
CN107980138B (zh) * 2016-12-28 2021-08-17 达闼机器人有限公司 一种虚警障碍物检测方法及装置

Also Published As

Publication number Publication date
JP2013137767A (ja) 2013-07-11
EP2610778A1 (en) 2013-07-03
US20130162826A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN103186771A (zh) 用于检测障碍物的方法和驾驶员辅助系统
US11756230B2 (en) Vehicular trailer hitching assist system with determination of location of hitch
Gandhi et al. Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
US11679635B2 (en) Vehicular trailer hitching assist system with coupler height and location estimation
US20180239970A1 (en) Adaptive lane marker detection for a vehicular vision system
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
CN110636263B (zh) 全景环视图生成方法、车载设备及车载系统
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
US11912199B2 (en) Trailer hitching assist system with trailer coupler detection
US10268904B2 (en) Vehicle vision system with object and lane fusion
US11295145B2 (en) Object detection using vehicular vision system
KR101439052B1 (ko) 장애물 검출 장치 및 방법
EP2833096B1 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
JP2007087203A (ja) 衝突判定システム、衝突判定方法及びコンピュータプログラム
JP2006072757A (ja) 物体検出装置
KR101912085B1 (ko) 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치
Ling et al. Motorcycle detection and counting using stereo camera, IR camera, and microphone array
CN116958195A (zh) 物件追踪整合方法及整合装置
US11893799B2 (en) Computer vision system for object tracking and time-to-collision
US20230154013A1 (en) Computer vision system for object tracking and time-to-collision
EP4195151A2 (en) Computer vision system for object tracking and time-to-collision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130703