CN107272021B - 使用雷达和视觉定义的图像检测区域的对象检测 - Google Patents

使用雷达和视觉定义的图像检测区域的对象检测 Download PDF

Info

Publication number
CN107272021B
CN107272021B CN201710197217.XA CN201710197217A CN107272021B CN 107272021 B CN107272021 B CN 107272021B CN 201710197217 A CN201710197217 A CN 201710197217A CN 107272021 B CN107272021 B CN 107272021B
Authority
CN
China
Prior art keywords
rdu
distance
radar
image
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710197217.XA
Other languages
English (en)
Other versions
CN107272021A (zh
Inventor
I·H·伊扎特
R·穆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN107272021A publication Critical patent/CN107272021A/zh
Application granted granted Critical
Publication of CN107272021B publication Critical patent/CN107272021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明涉及使用雷达和视觉定义的图像检测区域的对象检测。一种对象检测系统包括雷达传感器、相机以及控制器。雷达传感器适合于安装在车辆上并且用于检测由雷达视场中的对象所反射的雷达信号。雷达信号指示对象相对于车辆的距离、距离变化率和方向。相机用于捕获与雷达视场重叠的相机视场的图像。控制器与雷达传感器和相机通信。控制器配置为基于雷达检测的距离和方向确定用于图像的距离图，基于距离图在图像中界定检测区域，并且仅处理图像中的检测区域来确定对象的身份。

Description

使用雷达和视觉定义的图像检测区域的对象检测
技术领域
本公开一般涉及对象检测系统，更具体地涉及使用来自雷达传感器 的信息来在来自相机的图像内定义检测区域，该检测区域被处理以确定对象的 身份。
背景技术
当前的高级驾驶员辅助系统(ADAS)和自动驾驶系统使用多个诸如 相机、雷达和激光雷达(LiDAR)的传感器来检测车辆附近的对象。传感器使 用诸如强度、距离、颜色等特征来检测对象。描述到场景中的点的距离的距离值对于对象检测的成功和可靠性是至关重要的。可以将距离值组合来生成2-D 距离图(range-map)，所述距离图示出从特定点到场景中的点的距离。距离图 通常与诸如相机或激光雷达的传感器装置相关联。如果传感器被可能地校准， 则可以直接以英尺或米给出距离值。
单个相机可以用于使用来自运动的结构来创建生成距离信息。这通 常导致稀疏距离估计，其可能不准确，特别是对于动态对象。还可以使用立体 相机或多相机设置系统，但是由于在硬件方面因其使用多个相机并且需要可能 的校准，并且在软件方面由于立体声距离估计是昂贵且容易出错的过程，所以 在硬件和软件两方面中都增加了系统的成本。激光雷达是用于距离估计的最广泛使用的传感器，但是目前对于大多数应用来说是昂贵的，并且其可以测量的 距离有限。
发明内容
本文描述的各种实施例包括使用雷达或激光雷达信息来改善视觉算 法的方法和系统，其中检测、距离信息、以及距离变化率被用于视觉算法的输 入。
根据一个实施例，提供了一种对象检测系统，其配置为检测接近车 辆的对象。该系统包括雷达传感器、相机以及控制器。雷达传感器适合安装在 车辆上并且用于检测由雷达视场中的对象所反射的雷达信号。所述雷达信号指 示所述对象相对于所述车辆的距离、距离变化率和方向。相机用于捕获与雷达 视场重叠的相机视场的图像。控制器与雷达传感器和相机通信。所述控制器配 置为基于所述RDU距离和方向确定用于所述图像的距离图，基于所述距离图 在所述图像中界定检测区域，并且仅处理所述图像中的所述检测区域来确定所述对象的身份。
在本发明的一个示例性实施例中，从RDU距离信息确定距离图。该 距离图可以被视觉算法使用来决定使用的搜索尺度、确定接触时间(TTC)、 用于将视觉检测区域适当地放置于地面等。
在本发明的替代实施例中，图像中对象的速度从RDU距离变化率信 息来确定。这通过限制下一帧中的搜索空间来帮助视觉跟踪。其也可以用于改 善视觉算法的分类结果。例如，高速对象不会被归类为行人。
在本发明的又一实施例中，从所述距离图生成占用网格和间隔图。 视觉系统一般不能提供良好的距离图的估计，因此使用RDU距离可以帮助生 成准确的占用网格或间隔图。除了生成静态占用和间隔图之外，RDU距离变化 率可用于提供动态信息。
在阅读优选实施例的下列详细描述后，进一步的特征和优势将更清 楚地呈现，该优选实施例仅作为非限制性的示例且参照附图而给出。
附图说明
现在将参考附图借助示例来描述本发明，在附图中：
图1描绘了用于将雷达和视觉传感器组合的系统的框图；
图2描绘了图1的系统的对象检测流程图；
图3描绘了由图1的系统基于雷达检测来构建感兴趣区域的示例；
图4A和4B描绘了由图1的系统进行的多尺度对象检测的两个示例；
图5A和5B描绘了由图1的系统进行的从RDU距离信息建立距离 图的两个示例；
图6描绘了由图1的系统使用RDU距离信息来构建距离图的示例；
图7A和7B描绘由图1的系统使用RDU距离变化率来跟踪的说明； 以及
图8A和8B描绘了由图1的系统进行的占用网格和间隔图的示例。
应该理解附图仅是为了说明本发明的概念的目的，并且不是为了说 明本发明的唯一可能的配置。
具体实施方式
本原理有利地提供了一种用于基于距离检测单元(RDU)来改善视 觉检测、分类和跟踪的方法和系统。虽然本原理将主要在使用雷达的上下文中 描述，但是本发明的具体实施例不应被视为限制本发明的距离。例如，在本发 明的可替代实施例中，可以使用激光雷达单元来代替雷达单元，或者可以使用 基于发光二极管(LED)的传感器。
在ADAS和自动驾驶系统中，传感器用于检测、分类和跟踪主车辆 周围的障碍物。对象可以是车辆、行人或称为一般对象的未知类。通常，使用 两个或更多个传感器来克服单个传感器的缺点并且增加物体检测、分类和跟踪 的可靠性。然后将传感器的输出组合以确定场景中的对象的列表。将传感器信息组合可以在高层或低层完成：在高层中，独立地处理每个传感器，在最后组 合结果；在低层中，一个传感器在处理的早期阶段被另一个传感器使用。这些 方法的组合也是可能的。不失一般性，本文提出的系统和方法聚焦于ADAS和雷达。通常地，激光雷达提供更准确和更致密的数据，因此可以产生比雷达更 好的性能。
图1示出了被配置为检测邻近车辆924的对象902的对象检测系统 900的非限制性示例。对象检测系统900包括雷达传感器904，其用于检测由 雷达视场906中的对象所反射的雷达信号926。对象检测系统900也可以包括 相机908，其用于捕获与雷达视场906重叠的相机视场910中的对象902的图 像306(图3)。对象检测系统900通常配置为将来自雷达传感器904和相机 908的信息以利用这两个设备的优势的方式组合，并由此补偿雷达传感器904和相机908的劣势。基于相机的系统的一个优点是对象的精确检测和分类。然 而，仅基于相机的系统难以精确地估计对象的距离和速度。雷达或激光雷达可以提供准确的距离和距离变化率，从而可以将对象检测系统增强。
控制器912进一步被配置为使用RDU距离928(距离928)、RDU 方向(方向930)和RDU距离变化率932(距离变化率932)来建立距离图600， 并使用距离图来调整检测区域602的尺寸和位置606、调整用于对象搜索的缩 放因子400、计算到检测区域602的TTC 608、计算占用网格800的静态或动 态实例、以及计算间隔图802的静态或动态实例。为了减少在对象跟踪期间的 搜索空间的目的，控制器912还被配置为使用RDU距离变化率932来估计对 象的随时间移动路径。
图2示出用于将雷达和视觉组合的信号流程图的非限制示例。在附 图中，雷达在算法处理的早期向视觉系统204提供信息202，以允许其有效地 检测、分类和跟踪对象。除RDU之外，雷达可以提供的最有用的信息是RDU 距离和RDU距离变化率。该信息可以以下面将描述的多种方式对视觉算法有 益。
单目视觉系统由于其在确定对象类别方面的低成本和有效性而已经 广泛用于ADAS应用。为了检测对象，建立固定尺寸(例如，-n×m)的标记 图像窗口的数据集。数据库包括要检测的对象(例如车辆)的正例和负例。然 后训练分类器以将这些窗口分开。然后将每n×m的窗口传递到分类器进行处 理。分类器标记为正的窗口包含对象，标记为负的那些不包含。对象检测和分 类可以单独完成，即首先检测然后分类，或同时检测/分类。然后使用例如对象 窗口的质心在时域中跟踪检测到的对象。
在视觉系统中的对象的搜索通常以滑动窗口方式进行[Forsyth和 Ponce的“Computer vision a Modern approach(计算机视觉现代方法)”，出版商： Pearson，2011年第2版]，从图像的左上角开始到右下角。由于并非对象的所 有实例在图像中都具有相同的尺寸，因此必须在多个尺度上进行搜索。通常根据可用的处理能力使用三个或更多个尺度。我们将使用缩放因子400来表示在 搜索中使用的尺度的数量。该滑动窗口检测在实践中伴随需要不同特征选择的 不同应用表现良好。然而，该处理要求非常高，这限制了可以搜索的对象的类 型和数量。
为了加快对对象的搜索，在一个实施例中，使用RDU来构建边界曲 线，该边界曲线将图像划分为自由空间和占用空间。所产生的占用空间是需要 由视觉算法搜索的唯一区域，并且由于其通常小于完整图像，显著地节省了滑 动窗口算法的处理时间。图3呈现了来自RDU 300的自由空间创建的示例，其中，叠加在图像306上的RDU被表示为白色方块。所得到的自由空间边界曲 线在图3(304)中示出，其覆盖在图像306上。
距离图(或深度图)对于许多ADAS和自动车辆应用是重要的。在 计算机视觉中，来自运动或立体相机的结构可以用于估计距离图。这通常在来 自运动相机的结构的情况下无法提供足够的密度，或者使用立体相机在硬件 (两个摄像头)或软件(视差算法)方面中的任一方面是昂贵的。在本公开中， RDU距离用于构建近似的距离图。距离图可以用于减小滑动窗口算法中的搜索 空间、用于估计接触时间(TTC)、用于可能放置视觉检测框或调整视觉检测 框的尺寸、或者用于建立占用网格(occupancy-grid)等。
在一个实施例中，如图5A所示，距离图被构建。在图中，RDU检 测被示为黑色方格，并且灰度值表示距离图像底部的距离。距离图按照如下所 构建。让我们使用图像的最低框500处的距离值为零。考虑图像的左下框中的 RDU 502，RDU的距离值被用作从图像的最低框500起的距离值的上限，并且 距离从零逐渐增加到最低框500中的上限。现在，图像中最低框500的顶部位 置被用作距离下限。第二方格504定义为从最低框500的上限到图像的中间右 边的RDU检测的RDU距离值。重复该过程，直到到达最后一个RDU。如果 诸如顶部框508没有RDU可用，则不分配距离值。
在另一个实施例中，距离图被如图5B所示地构建。在附图中，从 RDU距离值512定义距离值，并将其分配给诸如像素514的检测的邻域中的所 有像素。邻域的尺寸取决于在RDU检测的邻域是否存在检测到的视觉对象、 雷达的类型、到相机的距离等。在附图中，可以略微地旋转检测以匹配雷达轮 廓走向。这两种方法可以如图6中所示地组合，其中图5A中的方法用于短距 离，而图5B中的方法用于远距离。
距离图在视觉算法中具有多种用途。在一个实施例中，距离图用于 决定在视觉处理算法中使用的缩放因子400。作为示例，在滑动窗算法中仅使 用一个或两个尺度。在另一示例中，如下面将描述的，使用距离图来计算检测 区域尺寸。这可以显著节省处理时间。在图4中，示出了多尺度处理的两个示 例。如图4A所示，检测区域固定，同时图像尺寸减小。在图中示出了三个图 像(尺度)在图4B中，示出了具有在图像尺寸固定的同时检测区域被缩放的替代实施方式。
在另一实施例中，距离图和距离变化率用于TTC计算。TTC使用车 辆前方的自由空间来估计到达车辆前方的对象的时间。TTC可以被定义为TTC ＝距离/速度，其中“距离”是从距离图估计出的，而“速度”被定义为主车辆速 度减去目标对象速度的相对的速度。目标对象速度可以从RDU距离变化率来 计算。
在一个实施例中，可以基于距离图来调整检测区域的位置和尺寸。 例如，在文献[“Robust range estimation with a monocular camera for vision based forwardcollision warning system(基于利用用于视觉的单目相机的稳健的距离 估计的正向碰撞报警系统)”，K.Park和S.Hwang，Scientific World Journal(科 学世界期刊)，2014年1月]中公知，如果车辆的实际宽度已知，可以使用以 下公式来定义图像中的车辆宽度：图像中的车辆宽度＝相机焦距*(实际车辆 宽度/Z)，其中Z是相机前面的距离。使用诸如1.4m—2m的真实车辆宽度的特定值，可以估计图像的宽度。可以如下估计对象到图像中的投影。在Z处的 道路中的点将以高度y投影到图像，其中y由y＝焦距*(相机高度/Z)给出。 由于Z从距离图中已知，因此可以估计对象y的高度。该分析假定相机被安装 成使得光轴平行于路面。如果相机下俯，可以进行类似的分析。
在一个实施例中，使用RDU距离变化率来提高跟踪速度和精度。通 过在时间“t+1”搜索图像来在时间“t+1”跟踪在时间“t”检测到的对象以找到与 在时间“t”的图像窗口的最佳匹配。如果没有关于对象速度的信息可用，则搜索区域将较大且因此是耗时的。如果搜索空间较大，也可能最终在第二帧中匹配 错误的图像窗口。使用来自RDU的RDU距离变化率和可能的方向将帮助我们 更好地估计对象移动了多少，并且因此将帮助我们将搜索集中在图像的较小区 域中。
图7示出了上述实施例中提出的概念。在图中，被示为黑框的在时 间“t”处的检测到的对象700在时间“t+1”处被跟踪704。图中所示的方向702可以从RDU距离变化率和方向计算，并且让我们在时间“t+1”的图像中界定后 续区域706。搜索空间或后续区域706边界在图中用黑色标记。
在又一个实施例中，RDU距离变化率也可以用于影响分类结果。作 为示例，如果对象窗口拥有具有较大RDU距离变化率(快速对象)的RDU， 则其可以用于增加车辆类对卡车、或摩托车对自行车的置信度。
如前所述，激光雷达可以以类似的方式用于计算自由空间和距离图。 由于激光雷达提供更准确和更致密的数据，可以用更高的精度估计自由空间和 距离图。该方法对于稀疏激光雷达非常有用，其中在该激光雷达扫描期间仅有 有限的测量可用。
对于许多ADAS和自动驾驶应用，占用网格已经是流行的环境表示。 激光雷达已经是用于建立占用网格的最广泛使用的传感器，因为它提供更准确 和更密集的占用的测量。在此表示中，传感器视场被镶嵌到特定尺寸(例如， 20cm×20cm)的单元中。然后将每个单元划分为占用、自由或未知。分类通常 使用具有与分类相关联的概率测量的传感器测量来完成。概率从0-1变化，具 有与低分类置信度相关联的低概率和与高置信度相关联的高概率。在一个实施例中，RDU用于通过使用上述自由空间估计来界定网格的占用。然而，由于雷达检测的稀疏性，可能不能正确地界定许多单元。视觉算法可以根据颜色、纹 理、梯度或其他视觉测量来产生占用的估计。然而，视觉不能提供距离的精确 测量。因此，在一个优选实施例中，通过将雷达和视觉自由空间估计组合来计 算占用网格状态(占用、自由或未知)。占用网格所需的距离信息从距离图计 算。
如上所述的占用网格提供了环境的静态表示。在一个实施例中，动 态信息从RDU距离变化率被添加到占用网格。速度信息对于许多应用是非常 重要的。与从视觉直接地估计运动相比，使用RDU距离变化率提供了更精确 的动态信息。然而，雷达不提供密集估计，因此占用网格中的许多单元将具有 未界定的动态状态信息。图8A示出了占用网格800的动态实例的示例。
间隔图802是另一个整体环境表示。在该表示中，车辆周围的空间 在纵向方向上离散化。在另一个实施例中，间隔图类似于占据网格而被构造。 在图8B中，示出了间隔图802的动态实例的示例。
尽管已根据本发明的优选实施例对本发明进行了描述，然而本发明 不旨在受如此限制，而是仅受所附权利要求中给出的范围限制。

Claims (9)

1.一种对象检测系统(900)，配置为检测邻近车辆的对象，所述系统包括：
雷达传感器(904)，其适合于安装在车辆(924)上并且用于检测由雷达视场(906)中的对象(902)所反射的雷达信号(926)，所述雷达信号指示所述对象相对于所述车辆的距离检测单元RDU距离(928)和方向(930)；
相机(908)，用于捕获与所述雷达视场重叠的相机视场(910)的图像(306)；以及
控制器(912)，其与所述雷达传感器和所述相机通信，所述控制器配置为基于所述RDU距离(928)和所述方向(930)来确定用于所述图像的距离图(600)，基于所述距离图来在所述图像中界定检测区域(602)，并且仅处理所述图像中的所述检测区域来确定所述对象的身份(914)，
其中，所述雷达信号进一步指示所述对象的RDU距离变化率(932)，并且
其中所述控制器被进一步配置成用于基于所述RDU距离和所述RDU距离变化率来确定接触时间TTC(608)，以从所述RDU距离变化率确定所述图像(302)中所述对象的速度，以通过限制后续图像(708)中的搜索空间来帮助视觉跟踪。
2.如权利要求1所述的系统，其特征在于，所述控制器进一步配置为基于所述距离图调整所述检测区域的尺寸(604)和位置(606)。
3.如权利要求1所述的系统，其特征在于，所述控制器进一步配置为基于所述距离图确定缩放因子(400)，所述缩放因子用于确定所述对象的身份。
4.如权利要求1所述的系统，其特征在于，所述雷达信号还指示所述对象的RDU距离变化率，并且所述控制器进一步配置为基于所述RDU距离和所述RDU距离变化率来将所述对象的身份确定为附近对象(936)和被遮挡对象(934)中的一个。
5.如权利要求1所述的系统，其特征在于，所述雷达信号还指示所述对象的RDU距离变化率和方向(702)，并且所述控制器进一步配置为基于所述检测区域、所述RDU距离变化率和所述方向来确定后续图像(708)中的后续区域(706)。
6.如权利要求1所述的系统，其特征在于，所述控制器进一步配置为基于所述距离图来确定所述图像的占用网格(800)。
7.如权利要求1所述的系统，其特征在于，所述雷达信号还指示所述对象的RDU距离变化率，并且所述控制器进一步配置为基于所述RDU距离图和所述RDU距离变化率来确定所述图像的占用网格(800)。
8.如权利要求1所述的系统，其特征在于，所述控制器进一步配置为基于所述距离图来确定所述图像的间隔图(802)。
9.如权利要求1所述的系统，其特征在于，所述雷达信号还指示所述对象的距离变化率，并且所述控制器进一步配置为基于所述距离图和所述RDU距离变化率来确定所述图像的间隔图(802)。
CN201710197217.XA 2016-03-30 2017-03-29 使用雷达和视觉定义的图像检测区域的对象检测 Active CN107272021B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/084,914 US10145951B2 (en) 2016-03-30 2016-03-30 Object detection using radar and vision defined image detection zone
US15/084,914 2016-03-30

Publications (2)

Publication Number Publication Date
CN107272021A CN107272021A (zh) 2017-10-20
CN107272021B true CN107272021B (zh) 2023-07-25

Family

ID=58265860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710197217.XA Active CN107272021B (zh) 2016-03-30 2017-03-29 使用雷达和视觉定义的图像检测区域的对象检测

Country Status (3)

Country Link
US (1) US10145951B2 (zh)
EP (1) EP3229041B1 (zh)
CN (1) CN107272021B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10768298B2 (en) * 2016-06-14 2020-09-08 Magna Electronics Inc. Vehicle sensing system with 360 degree near range sensing
US10241614B2 (en) * 2017-04-10 2019-03-26 Synaptics Incorporated Object classification under low-power scan
US20190065878A1 (en) * 2017-08-22 2019-02-28 GM Global Technology Operations LLC Fusion of radar and vision sensor systems
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene
US11041941B2 (en) * 2018-02-26 2021-06-22 Steradian Semiconductors Private Limited Method and device for calibrating a radar object detection system
US11169251B2 (en) * 2018-03-28 2021-11-09 Qualcomm Incorporated Proximity detection using multiple power levels
US10928507B2 (en) * 2018-06-13 2021-02-23 GM Global Technology Operations LLC Apparatus and method for improved radar beamforming
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
WO2019245982A1 (en) * 2018-06-18 2019-12-26 Zoox, Inc. Occlusion aware planning
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US10754025B2 (en) * 2018-06-20 2020-08-25 Rapsodo Pte. Ltd. Radar and camera-based data fusion
CN110660186B (zh) * 2018-06-29 2022-03-01 杭州海康威视数字技术股份有限公司 基于雷达信号在视频图像中识别目标对象的方法及装置
EP3594719A1 (en) 2018-07-13 2020-01-15 Commissariat à l'Energie Atomique et aux Energies Alternatives Environment sensing method and apparatus using a wide-angle distance sensor
US10824156B1 (en) 2018-07-30 2020-11-03 GM Global Technology Operations LLC Occupancy grid movie system
US10678246B1 (en) 2018-07-30 2020-06-09 GM Global Technology Operations LLC Occupancy grid movie system
US11127144B2 (en) * 2018-08-24 2021-09-21 Lutron Technology Company Llc Occupant counting device
DE102018122092A1 (de) 2018-09-11 2020-03-12 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen zumindest eines Positionsparameters eines Objekts in einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, Fahrerassistenzsystem und Kraftfahrzeug
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation
DE102018127990A1 (de) * 2018-11-08 2020-05-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
CN109541583B (zh) * 2018-11-15 2020-05-01 众安信息技术服务有限公司 一种前车距离检测方法及系统
US11030764B2 (en) 2018-11-29 2021-06-08 Denso International America, Inc. Method and system for trailer size estimating and monitoring
EP3938806A4 (en) * 2019-03-11 2022-10-26 Plato Systems, Inc. RADAR DATA COLLECTION AND LABELING FOR MACHINE LEARNING
CN110082739B (zh) * 2019-03-20 2022-04-12 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110008891B (zh) * 2019-03-29 2022-07-08 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
US11168985B2 (en) * 2019-04-01 2021-11-09 GM Global Technology Operations LLC Vehicle pose determining system and method
US11035945B2 (en) * 2019-04-18 2021-06-15 GM Global Technology Operations LLC System and method of controlling operation of a device with a steerable optical sensor and a steerable radar unit
CN112101069A (zh) 2019-06-18 2020-12-18 华为技术有限公司 确定行驶区域信息的方法及装置
CN110361741B (zh) * 2019-07-16 2022-08-09 扬州瑞控汽车电子有限公司 一种基于视觉和雷达融合的前方碰撞预警方法及其系统
CN110455274B (zh) * 2019-08-02 2021-07-06 中科新松有限公司 基于倒角距离形状匹配的agv初始定位方法及定位系统
CN110632617B (zh) * 2019-09-29 2021-11-02 北京邮电大学 一种激光雷达点云数据处理的方法及装置
CN111337898B (zh) * 2020-02-19 2022-10-14 北京百度网讯科技有限公司 激光点云的处理方法、装置、设备及存储介质
DE102020105192B4 (de) 2020-02-27 2022-03-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
DE102020116225B3 (de) 2020-06-19 2021-08-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum radarbasierten Nachverfolgen von fahrzeugexternen Objekten, Objektnachverfolgungseinrichtung und Kraftfahrzeug
US11852723B2 (en) * 2020-12-16 2023-12-26 Hyundai Mobis Co., Ltd. System and method for controlling detecting distance of ultrasonic sensor based on ground recognition
US20230194692A1 (en) * 2021-12-17 2023-06-22 Gm Cruise Holdings Llc Radar tracking association with velocity matching by leveraging kinematics priors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN104134354A (zh) * 2013-04-30 2014-11-05 业纳遥控设备有限公司 用于在多目标记录模块中对移动车辆进行速度测量和指认的交通监测系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP2001134772A (ja) 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
US6862537B2 (en) * 2002-03-21 2005-03-01 Ford Global Technologies Llc Sensor fusion system architecture
US6873251B2 (en) * 2002-07-16 2005-03-29 Delphi Technologies, Inc. Tracking system and method employing multiple overlapping sensors
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP4608631B2 (ja) 2005-06-08 2011-01-12 国立大学法人名古屋大学 車両用画像処理装置、運転支援装置
ES2371758T3 (es) * 2005-11-09 2012-01-09 Saab Ab Sistema de sensores múltiples.
JP4595833B2 (ja) 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8369572B2 (en) * 2009-06-09 2013-02-05 Lockheed Martin Corporation System and method for passive automatic target recognition (ATR)
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
US8718334B2 (en) * 2011-05-05 2014-05-06 Honeywell International Inc. System for biometric hand analysis
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
US9429650B2 (en) 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
CN104603855B (zh) * 2012-09-03 2016-06-22 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
JP5812064B2 (ja) * 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
US9239950B2 (en) * 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
CN109884618B (zh) * 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN104134354A (zh) * 2013-04-30 2014-11-05 业纳遥控设备有限公司 用于在多目标记录模块中对移动车辆进行速度测量和指认的交通监测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李飞 ; 曹峰 ; 高一栋 ; 王伟 ; 杜自成 ; .汽车防撞雷达报警算法.现代雷达.2013,(第12期),全文. *

Also Published As

Publication number Publication date
EP3229041A1 (en) 2017-10-11
US10145951B2 (en) 2018-12-04
CN107272021A (zh) 2017-10-20
US20170285161A1 (en) 2017-10-05
EP3229041B1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
EP3208635B1 (en) Vision algorithm performance using low level sensor fusion
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US8548229B2 (en) Method for detecting objects
EP3057063B1 (en) Object detection device and vehicle using same
US7103213B2 (en) Method and apparatus for classifying an object
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
EP2549457A1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
CN109410264B (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
WO2003001473A1 (en) Vision-based collision threat detection system_
JPH07129898A (ja) 障害物検出装置
EP3324359B1 (en) Image processing device and image processing method
US20190180121A1 (en) Detection of Objects from Images of a Camera
CN113658241A (zh) 单目结构光的深度恢复方法、电子设备及存储介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP5073700B2 (ja) 物体検出装置
JP2005156199A (ja) 車両検知方法及び車両検知装置
Leu et al. High speed stereo vision based automotive collision warning system
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
WO2023009180A1 (en) Lidar-based object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181203

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: michigan

Applicant before: DELPHI TECHNOLOGIES, Inc.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant