CN107103276A - 使用低层传感器融合的视觉算法执行 - Google Patents

使用低层传感器融合的视觉算法执行 Download PDF

Info

Publication number
CN107103276A
CN107103276A CN201710089396.5A CN201710089396A CN107103276A CN 107103276 A CN107103276 A CN 107103276A CN 201710089396 A CN201710089396 A CN 201710089396A CN 107103276 A CN107103276 A CN 107103276A
Authority
CN
China
Prior art keywords
radar
image
camera
controller
rdu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710089396.5A
Other languages
English (en)
Inventor
I·H·伊扎特
R·穆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Delphi Automotive Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Automotive Systems LLC filed Critical Delphi Automotive Systems LLC
Publication of CN107103276A publication Critical patent/CN107103276A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及使用低层传感器融合的视觉算法执行。一种方法和系统(10)，执行雷达(200)或激光雷达数据与来自摄像头(908)的图像(402)的低层融合。系统(10)包括雷达传感器(904)、摄像头(908)以及控制器(912)。雷达传感器(904)用于检测由雷达视场(906)中的对象(902)所反射的雷达信号(926)。摄像头(908)用于捕获与雷达(200)视场重叠的摄像头视场(910)中的对象(902)的图像(402)。控制器(912)与所述雷达传感器(904)和所述摄像头(908)通信。控制器(912)配置为确定由雷达信号(926)所指示的图像(402)中雷达监测(400)的位置，基于雷达(200)检测确定图像(402)的参数曲线(404)，基于从雷达检测(400)导出的参数曲线(404)定义图像(402)的感兴趣区域(406)，并且处理图像(402)的感兴趣区域(406)以确定对象(902)的身份(914)。感兴趣区域(406)可是摄像头视场(910)的子集。

Description

使用低层传感器融合的视觉算法执行
发明技术领域
本文描述的是用于将雷达(Radar)/激光雷达(LiDAR)信息与摄像头信息融合以改善视觉算法执行。该方法使用低层融合，其中原始有源传感器信息(检测、距离、距离变化率和角度)被发送到视觉处理级。该方法在视觉处理中早期利用有源传感器信息。本公开涉及高级驾驶辅助系统(ADAS)和自主车辆。在这些系统中，使用多个传感器来检测车辆周围的障碍物。
背景技术
当前ADAS和自主车辆系统使用多个传感器来检测车辆周围的障碍物。如图1所示，大多数融合系统使用高层融合。在图中，雷达100生成雷达检测单元(RDU)，并且摄像头102生成图像。然后，每个传感器独立地处理信息104、106。来自每个传感器的信息然后被合并108以确认对象检测。使用诸如“与”/“或”等简单的融合策略。例如使用“与”策略，意味着在宣布检测有效之前全部两个传感器必须一致。
本文所描述的是用于将雷达(激光雷达)和视觉信息融合以便利用每个传感器在低层的优势的技术。本提出方案的好处是在极早期阶段利用有源传感器的优势。该技术通过提供不容易从视觉传感器计算的诸如距离(range)或距离变化率(range-rate)的有用的信息，提高视觉算法的执行。
在低层传感器融合的领域中存在有限的工作。之前工作的一个示例是由Tons等人在Research Gate(研究之门)，出版号4092473上发表的题目为“RADAR SENSORS ANDSENSOR PLATFORM USED FOR PEDESTRIAN PROTECTION(用于行人保护的雷达传感器和传感器平台)”的欧洲项目“SAVE-U”。在该项目中，雷达和视觉信息在全部低层和高层上结合。在低层中，使用雷达信息来定义可以由其他传感器进一步处理的感兴趣的区域(region ofinterest)。该方法的目的是行人和自行车的检测。然而，也可以检测其他类型的对象。
发明内容
本文描述的各种实施例包括使用雷达(激光雷达)信息来改善视觉算法的方法和系统，其中雷达(激光雷达)检测、雷达(激光雷达)距离信息、以及雷达距离变化率被用于视觉算法的输入。
在本发明的一个示例性实施例中，提出了一种用于从雷达(激光雷达)检测单元(RDU)构建感兴趣区域的方法，其中使用RDU作为图像域中的点来将图像划分为自由空间和占用空间。视觉算法仅搜索占用空间，这显著地节省了处理时间。可以以更低的频率搜索自由空间以防止有源传感器遗漏检测。
另外，在本发明的一个实施例中，RDU用来增加视觉检测的置信度，因为检测的存在增加了对象存在的可能性。
在RDU周围的遗漏视觉检测可以是用来检测对象的视觉算法的失效的指示。在本发明的一个示例性实施例中，RDU周围的图像区域可以用不同参数或不同算法来处理。
此外，在本发明的一个实施例中，为了对象分类(例如，卡车对车辆)的目的，图像区域中RDU的数目作为对象尺寸的指示。同样，从RDU距离变化率确定的对象的速度可以被分类器使用来区分自行车和摩托车。
在本发明的一个示例性实施例中，从雷达(激光雷达)检测距离信息确定距离图。该距离图可以被视觉算法使用来决定使用的搜索标度、确定接触时间(TTC)、以及用于将视觉检测框适当地放置于地面。
在本发明的替代实施例中，图像中对象的速度从RDU距离变化率信息来确定。这通过限制下一帧中的搜索空间来帮助视觉跟踪。其也可以用于改善视觉算法的分类结果。例如，高速对象不会被归类为行人。
在本发明的另一实施例中，来自激光雷达传感器的高度信息可以用作用于对象分类的特征。这可以帮助改善分类结果并且减少错误检测。长于例如8米的对象更可能是水池而不是行人。
根据一个实施例，提供了一种对象检测系统，其配置为检测接近车辆的对象。该系统包括雷达传感器、摄像头以及控制器。雷达传感器用于检测由雷达视场中的对象所反射的雷达信号。摄像头用于捕获与雷达视场重叠的摄像头视场中的对象的图像。控制器与雷达传感器和摄像头通信。控制器配置为确定由雷达信号所指示的图像中雷达监测的位置，基于雷达检测确定图像的参数曲线，基于从雷达检测导出的参数曲线定义图像的感兴趣区域，其中，感兴趣区域是摄像头视场的子集，并且处理图像的感兴趣区域以确定对象的身份。
附图说明
现在将参考附图借助示例来描述本发明，在附图中：
图1描绘了典型的高层融合流程图；
图2描绘了本文所提出的利用雷达(激光雷达)处理的低层融合流程图；
图3描绘了本文所提出的不利用雷达(激光雷达)处理的低层融合流程图；
组合的图4A和4B描绘了基于雷达(激光雷达)检测来构建感兴趣的区域的示例；
图5描绘了所本文所提出的使用RDU来调节视觉对象的置信度(confidence)和类型的方法；
图6A和6B描绘了从RDU距离信息建立距离图(range map)的两个示例；
图7描绘了使用雷达(激光雷达)距离信息构建距离图的示例；
图8A和8B描绘使用RDU距离变化率跟踪的说明；以及
图9描绘了系统的框图。
应该理解附图仅是为了说明本发明的概念的目的，并且不是为了说明本发明的唯一可能的配置。
具体实施方式
本原理有利地提供了一种用于基于RDU改善视觉检测、分类和跟踪的方法和系统。虽然本原理将主要在使用雷达(激光雷达)的上下文中描述，但是本发明的具体实施例不应被视为限制本发明的范围。例如，在本发明的替代实施例中，可以使用发光二极管(LED)传感器。
在ADAS和自动驾驶系统中，传感器用于检测、分类和跟踪本车辆周围的障碍物。对象可以是车辆、行人或称为一般对象的未知类。通常，使用两个或更多个传感器来克服单个传感器的缺点并且增加物体检测、分类和跟踪的可靠性。然后将传感器的输出融合以确定场景中的对象的列表。融合可以在高层或低层完成：在高层中，独立地处理每个传感器，融合在最后完成；在低层中，一个传感器在处理的早期阶段被另一个传感器使用。这些融合方法的组合也是可能的。不失一般性，本文提出的系统和方法聚焦于ADAS和雷达。通常地，激光雷达提供更准确和更致密的数据，因此可以产生比雷达更好的性能。
图2和图3示出了所提出的方法的两种可能的实现。在图中，雷达200、300在算法处理的早期向视觉系统204、304提供信息202、302，以允许其更有效地检测、分类和跟踪对象206、306。除RDU之外，雷达可以提供的最有用的信息是距离和距离变化率。该信息可以以下面将描述的多种方式对视觉算法有益。
图2示出了系统10的非限制性示例，该示例是对图1所示的现有系统12的改进，其中雷达200处理可以类似于当前在高层融合208中所做的来进行处理。雷达检测用于建立轨迹并对对象进行分类。然后可以将这些轨迹与视觉轨迹210融合。图3示出了没有执行雷达处理的系统14的不同的非限制性实现。在该实现中，视觉被用作用于检测、分类和跟踪的主要传感器。这利用了每个传感器的优势(雷达–距离和距离变化率，视觉–分类/跟踪)，并减少处理雷达检测所需的时间。
单目视觉系统由于其在确定对象类别方面的低成本和有效性而已经广泛用于ADAS应用。为了检测对象，建立固定尺寸(例如，-n×m)的标记图像窗口的数据集。数据库包括要检测的对象(例如车辆)的正例和负例。然后训练分类器以将这些窗口分开。然后将每n×m的窗口传递到分类器进行处理。分类器标记为正的窗口包含对象，标记为负的那些不包含。对象检测和分类可以单独进行，即首先检测然后分类，或同时检测/分类。然后使用例如对象窗口的质心在时域中跟踪检测到的对象。
这种在视觉系统中的对象的搜索通常以滑动窗口方式进行[Forsyth和Ponce的“Computer vision a Modern approach(计算机视觉现代方法)”，出版商：Pearson，2011年第2版]，从图像的左上角开始到右下角。由于并非对象的所有实例在图像中都具有相同的尺寸，因此必须在多个尺度上进行搜索。通常根据可用的处理能力使用三个或更多个尺度。该滑动窗口检测在实践中伴随需要不同特征选择的不同应用表现良好。然而，该处理要求非常高，这限制了可以搜索的对象的类型和数量。
为了加快对对象的搜索，在一个实施例中，使用RDU来构建边界曲线，该边界曲线将图像划分为自由空间和占用空间。所产生的占用空间是需要由视觉算法搜索的唯一区域，并且由于其通常小于完整图像，显著地节省了滑动窗口算法的处理时间。
为了构建自由空间边界，首先将RDU映射到图像域。从一个传感器到另一个的映射是本领域公知的。其涉及知晓摄像头和雷达的位置，并且定义旋转和平移参数以将每个RDU与图像空间中(x,y)位置相关联。一旦RDU被映射到图像中，它们被视为图像点，并通过在水平方向上延伸穿过图像的曲线拟合。曲线拟合是构建最适合一系列数据点的曲线的过程。
在一个实施例中，从连接两个RDU的线段构建边界曲线。从最左边的RDU开始，在两个连续的RDU位置之间建立一条线。该过程继续，直到到达最右边的RDU。可以使用多种线拟合技术。在一个实施例中，使用公知的线DDA(数字微分算法)，其在端点之间以规则的间隔对线进行采样。优点在于其简单性和速度。随后可以是图像扩张和侵蚀，以产生更平滑的曲线。图4呈现了来自雷达检测单元(RDU 400)的自由空间创建的示例，其中，叠加在图像402上的RDU被表示为白色方块。所得到的自由空间边界曲线(参数曲线404)如图4B所示，其叠加在摄像头图像406上。
在另一实施例中，参数曲线可以拟合到RDU。在曲线拟合的文献中有大量的工作。例如，样条(spline)已作为表达曲线的数学方法被广泛使用。样条被定义为分段多项式函数，其导数满足某些连续性约束。应当注意，样条是曲线的一个示例，并且许多其他曲线可以用于从RDU构建边界曲线的目的。
在视觉算法中，置信度值通常与视觉检测和分类相关联。置信度值表示当前窗口中的对象与训练数据库中的图像的接近程度。如果使用单一层分类器，则置信度值可以是单一值，或者在级联(cascade)分类中的多个值，其中每个值与一个分类器层相关联。置信度值通常被缩放到0—1之间的值。许多算法依赖于置信度值以进行高层处理。在一个实施例中，RDU用于增加或减少检测中的置信度水平。可以使用简单的加法或减法的策略，诸如：
如果在视觉检测框内存在RDU，则置信度＝置信度+α*x，其中x是在视觉检测窗口内的RDU的数目，且α用于控制RDU对视觉置信度的影响。在大多数情况下，RDU不应完全控制视觉检测的置信度值。最大值0.1可以用作α*x项的上限。
类似地，如果在视觉检测窗口内部不存在RDU，则从置信度中扣除惩罚值-0.1。由于雷达的方位角较差，为了计算置信度的目的，可以略微扩大视觉窗口。图5示出了使用车辆检测的置信度调整原理。在该图中，示出了视觉检测框500和叠加的RDU 502的示例。
在另一个实施例中，RDU的数目可以用于影响分类结果。例如，在视觉窗口中的大数目的检测是诸如卡车的较大物体的存在的指示。此概念也在图5中利用叠加在图像上的视觉检测框500来示出。在该图中，与车辆相比，大数目的RDU 502存在于更靠近卡车处。
在其他实施例中，RDU用作次级对象检测指示器。例如，如果视觉没有检测到接近RDU的对象，则这可以是由于例如窗口中的对象与视觉算法被训练来检测的东西之间的较大的变化而造成的视觉算法遗漏对象的指示。视觉算法然后可以调整靠近RDU的某些参数，以允许检测被遗漏的对象。一个典型的示例是调整用于检测和/或分类的阈值。阈值测量在窗口中检测到的特征与此对象期望的特征有多接近(例如80％)。在RDU附近，阈值可以减小到例如70％。这可以允许对象被视觉算法检测到，并且避免完全依赖于RDU来决定对象检测。在又一个实施例中，如果处理资源和时间可用，则可以计算不同的特征或可以围绕RDU使用不同的算法。
距离(或深度图)对于许多ADAS应用是重要的。在计算机视觉中，来自运动或立体摄像头的结构可以用于估计深度图。在来自使用运动或昂贵立体摄像头(硬件(两个摄像头)或软件(视差算法))的结构情况下，这通常无法提供足够的密度。RDU距离用于构建近似的距离图。距离图可以用于减小滑动窗口算法中的搜索空间、估计接触时间(TTC)、以及可能放置视觉检测框或调整视觉检测框的大小。
在一个实施例中，如图6A所示，距离图被构建。在图中，RDU检测被示为黑色方格，并且灰度值表示距离图像底部的距离。距离图按照如下所构建。让我们使用图像的最低部分600处的距离值为零。考虑图像的左下部分中的RDU 602，RDU的距离值被用作从图像的最低部分起的距离的上限，并且距离从零逐渐增加到最低框600中的上限。现在，图像中最低框600的顶部位置被用作距离下限。第二方格604定义为从最低框的上限到图像的中间右边的RDU检测的RDU距离值。重复该过程，直到到达最后一个RDU。如果诸如顶部框608没有RDU可用，则不分配距离值。
在另一个实施例中，距离图像610被定义为如图6B所示。在该图中，从RDU 612距离值定义距离值，并将其分配给检测614、616的邻域中的所有像素。邻域的大小取决于到摄像头的距离、RDU的数目和所使用的雷达类型。这两种方法可以组合，如图7中所示，其中图6A的方法用于短距离，而图6B的方法用于远距离700。
距离图在视觉算法中具有多种用途。在一个实施例中，距离图用于决定在视觉处理算法中使用的标度的数目。作为示例，如果对象距离较远(大距离值)，则在滑动窗口算法中仅使用一个标度或两个标度。这可以显著节省处理时间。
在另一实施例中，距离图用于TTC计算。TTC使用车辆前方的自由空间来估计到达图像前面的对象的时间。TTC可以被定义为TTC＝距离/速度，其中“距离”是从距离图估计的，而“速度”被定义为本车辆速度减去目标对象速度的相对的速度。目标对象速度可以从RDU距离变化率来计算。
在一个实施例中，可以基于距离图来调整检测框的位置和尺寸。例如，在文献[“Robust range estimation with a monocular camera for vision based forwardcollision warning system(基于利用用于视觉的单目摄像头的稳健的距离估计的正向碰撞报警系统)”，K.Park和S.Hwang，Scientific World Journal(科学世界期刊)，2014年1月]中公知，如果车辆的实际宽度已知，可以使用以下公式来定义图像中的车辆宽度：图像中的车辆宽度＝摄像头焦距*(实际车辆宽度/Z)，其中Z是摄像头前面的距离。使用诸如1.4m—2m的真实车辆宽度的特定值，可以估计图像的宽度。可以如下估计对象到图像中的投影。在Z处的道路中的点将以高度y投影到图像，其中y由y＝焦距*(摄像头高度/Z)给出。
由于Z从距离图中已知，因此可以估计对象y的高度。该分析假定摄像头被安装成使得光轴平行于路面。如果摄像头下俯，可以进行类似的分析。
在一个实施例中，使用RDU距离变化率来提高跟踪速度和精度。在视觉跟踪中，通过搜索图像以在“t+1”的图像中找到与时间“t”的图像窗口的最佳匹配，在时间“t”检测到的对象可以在时间“t+1”被跟踪。如果没有关于对象速度的信息可用，则搜索区域将较大且因此是耗时的。如果搜索空间较大，也可能最终在第二帧中匹配错误的图像窗口。使用来自RDU的距离变化率和可能的方位角将帮助我们更好地估计对象移动了多少，并且因此将帮助我们将搜索集中在图像的较小区域中。
图8示出了上述实施例中提出的概念。在图中，被示为黑框的在时间“t”处的检测到的对象800在时间“t+1”处被跟踪804。图802中所示的箭头可以从RDU距离变化率和方位角计算，并且让我们在时间“t+1”处定义图像中的搜索空间806。搜索空间在图中用白色标记。虽然雷达不能提供到目标的良好的方位角，但它仍然可以用于如图所示的限制搜索空间。
在又一个实施例中，RDU距离变化率也可以用于影响分类结果。作为示例，如果对象窗口拥有具有较大距离变化率(快速对象)的RDU，则其可以用于增加车辆类对卡车、或摩托车对自行车的置信度。
如前所述，激光雷达可以以类似的方式用于计算自由空间和距离图。由于激光雷达提供更准确和更致密的数据，可以用更高的精度估计自由空间和距离图。该方法对于稀疏激光雷达非常有用，其中在该激光雷达扫描期间仅有有限的测量可用。然而，激光雷达通常不能提供距离变化率，并且因此不能用于例如改善跟踪。
在一个实施例中，激光雷达高度值可以用于以多种方式改善视觉检测。作为示例，如果视觉检测到的对象具有来自激光雷达的非常大的高度值，则可以将其用于视觉检测不正确的指示，并且因此被丢弃。在另一示例中，如果检测到的对象的激光雷达高度值小，则可以丢弃视觉检测。
图9示出了被配置为检测邻近车辆924的对象902的对象检测系统900的非限制性示例。系统900包括雷达传感器904，其用于检测由雷达视场906中的对象所反射的雷达信号926。系统900也可以包括摄像头908，其用于捕获与雷达视场906重叠的摄像头视场910中的对象902的图像402(图4)。系统900通常配置为将来自雷达传感器904和摄像头908的信息以利用这两个设备的优势的方式组合，并从而补偿雷达传感器904和摄像头908的劣势。
为此，系统900也包括控制器912，其与雷达传感器904和摄像头908通信。控制器912配置为确定由雷达信号926所指示的图像中雷达监测400的位置，基于雷达检测确定图像402的参数曲线404，基于从雷达检测导出的参数曲线404定义图像402的感兴趣区域406。优选地，感兴趣区域406是摄像头视场910的子集。参数曲线404通过限制被处理的图像402的面积来帮助减少图像处理的量，因为感兴趣的对象不期望在感兴趣区域406之外。因此，控制器912配置为处理图像的感兴趣区域406以确定对象的身份914。
由于期望感兴趣对象比由参数曲线404定义的边界更远离车辆924，所以控制器912配置为将感兴趣区域406定义为在参数曲线上方404。
为了确定何时在图像402中检测到的某物已经被充分分析，控制器912可以配置为基于图像确定对象902的身份914的置信度值916，并且基于雷达检测改变置信度值916。
当控制器基于雷达信号检测对象且没有在图像中检测到该对象时，控制器912可以减小控制器用来处理图像的阈值918。
控制器912可以配置为基于与对象相关联的雷达检测计数922来确定对象的尺寸920。
尽管已针对其优选实施例对本发明进行了描述，然而本发明不旨在受如此限制，而是仅受所附权利要求书中给出的范围限制。

Claims (5)

1.一种对象检测系统(900)，配置为检测邻近车辆(924)的对象(902)，所述系统(10)包括：
雷达传感器(904)，用于检测由雷达视场(906)中的对象(902)所反射的雷达信号(926)；
摄像头(908)，用于捕获与雷达(200)视场重叠的摄像头视场(910)中的所述对象(902)的图像(402)；以及
控制器(912)，所述控制器与所述雷达传感器(904)和所述摄像头(908)通信，所述控制器(912)配置为确定由所述雷达信号(926)所指示的所述图像(402)中雷达监测(400)的位置，基于所述雷达(200)检测确定所述图像(402)的参数曲线(404)，基于从所述雷达检测(400)导出的所述参数曲线(404)定义所述图像(402)的感兴趣区域(406)，其中，所述感兴趣区域(406)是所述摄像头视场(910)的子集，并且处理所述图像(402)的所述感兴趣区域(406)以确定所述对象(902)的身份(914)。
2.如权利要求1所述的系统(10)，其特征在于，所述控制器(912)配置为将所述感兴趣区域(406)定义为在所述参数曲线上方(404)。
3.如权利要求1所述的系统(10)，其特征在于，所述控制器(912)配置为基于所述图像(402)确定所述对象(902)的所述身份(914)的置信度值(916)，并且基于所述雷达检测(400)改变所述置信度值(916)。
4.如权利要求1所述的系统(10)，其特征在于，当所述控制器(912)基于所述雷达信号(926)检测所述对象(902)且没有在所述图像(402)中检测到所述对象(902)时，所述控制器(912)减小所述控制器(912)用来处理所述图像(402)的阈值(918)。
5.如权利要求1所述的系统(10)，其特征在于，所述控制器(912)配置为基于与所述对象(902)相关联的雷达检测计数(922)来确定所述对象(902)的尺寸(920)。
CN201710089396.5A 2016-02-19 2017-02-20 使用低层传感器融合的视觉算法执行 Pending CN107103276A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/047,863 2016-02-19
US15/047,863 US20170242117A1 (en) 2016-02-19 2016-02-19 Vision algorithm performance using low level sensor fusion

Publications (1)

Publication Number Publication Date
CN107103276A true CN107103276A (zh) 2017-08-29

Family

ID=57984853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710089396.5A Pending CN107103276A (zh) 2016-02-19 2017-02-20 使用低层传感器融合的视觉算法执行

Country Status (3)

Country Link
US (1) US20170242117A1 (zh)
EP (1) EP3208635B1 (zh)
CN (1) CN107103276A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110488295A (zh) * 2018-05-14 2019-11-22 通用汽车环球科技运作有限责任公司 根据传感器套件配置的dbscan参数
CN111201451A (zh) * 2018-02-09 2020-05-26 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN111213073A (zh) * 2017-10-17 2020-05-29 昕诺飞控股有限公司 占用传感器校准和占用估计
CN111753626A (zh) * 2019-03-28 2020-10-09 通用汽车环球科技运作有限责任公司 用于增强车辆中基于传感器的检测的注意区域识别
US10852420B2 (en) 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
US11424620B2 (en) 2019-10-29 2022-08-23 Industrial Technology Research Institute Three-phase expandable AC system based on battery reconfiguration and control method thereof

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762440B1 (en) * 2015-09-24 2020-09-01 Apple Inc. Sensor fusion and deep learning
JP6600271B2 (ja) * 2016-03-31 2019-10-30 株式会社デンソー 物体認識装置及び物体認識方法
US10545229B2 (en) * 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
JP6787157B2 (ja) * 2017-01-31 2020-11-18 株式会社デンソー 車両制御装置
US10241614B2 (en) * 2017-04-10 2019-03-26 Synaptics Incorporated Object classification under low-power scan
US10641888B2 (en) * 2017-11-06 2020-05-05 Veoneer Us Inc. Cued automobile sensor fusion
US10999539B2 (en) * 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view
KR102090487B1 (ko) * 2018-03-13 2020-03-18 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
EP3579013A1 (en) * 2018-06-08 2019-12-11 KPIT Technologies Ltd. System and method for detecting a vehicle in night time
US11959999B2 (en) * 2018-07-02 2024-04-16 Sony Semiconductor Solutions Corporation Information processing device, information processing method, computer program, and mobile device
US10591601B2 (en) * 2018-07-10 2020-03-17 Luminar Technologies, Inc. Camera-gated lidar system
US10884131B1 (en) * 2018-08-03 2021-01-05 GM Global Technology Operations LLC Conflict resolver for a lidar data segmentation system of an autonomous vehicle
US20200049511A1 (en) * 2018-08-07 2020-02-13 Ford Global Technologies, Llc Sensor fusion
KR102569904B1 (ko) * 2018-12-18 2023-08-24 현대자동차주식회사 표적 차량 추적 장치 및 그의 표적 차량 추적 방법과 그를 포함하는 차량
CN109683155B (zh) * 2018-12-19 2021-04-20 深圳市易成自动驾驶技术有限公司 传感器融合系统、方法、终端及存储介质
US11280897B2 (en) * 2019-03-31 2022-03-22 Waymo Llc Radar field of view extensions
DE102019120778A1 (de) * 2019-08-01 2021-02-04 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in einer Umgebung
US11592575B2 (en) 2019-12-20 2023-02-28 Waymo Llc Sensor steering for multi-directional long-range perception
US11270170B2 (en) * 2020-03-18 2022-03-08 GM Global Technology Operations LLC Object detection using low level camera radar fusion
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能系统股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
US20220026557A1 (en) * 2020-07-22 2022-01-27 Plato Systems, Inc. Spatial sensor system with background scene subtraction
EP3975105A1 (en) 2020-09-25 2022-03-30 Aptiv Technologies Limited Method and system for interpolation and method and system for determining a map of a surrounding of a vehicle
CN113807471B (zh) * 2021-11-18 2022-03-15 浙江宇视科技有限公司 雷达与视觉融合的车辆识别方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134772A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP4608631B2 (ja) * 2005-06-08 2011-01-12 国立大学法人名古屋大学 車両用画像処理装置、運転支援装置
JP5083841B2 (ja) * 2007-04-27 2012-11-28 本田技研工業株式会社 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111213073A (zh) * 2017-10-17 2020-05-29 昕诺飞控股有限公司 占用传感器校准和占用估计
CN111213073B (zh) * 2017-10-17 2024-03-12 昕诺飞控股有限公司 占用传感器校准和占用估计
CN111201451A (zh) * 2018-02-09 2020-05-26 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN111201451B (zh) * 2018-02-09 2023-09-12 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN110488295A (zh) * 2018-05-14 2019-11-22 通用汽车环球科技运作有限责任公司 根据传感器套件配置的dbscan参数
US10852420B2 (en) 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111753626A (zh) * 2019-03-28 2020-10-09 通用汽车环球科技运作有限责任公司 用于增强车辆中基于传感器的检测的注意区域识别
CN111753626B (zh) * 2019-03-28 2023-09-19 通用汽车环球科技运作有限责任公司 用于增强车辆中基于传感器的检测的注意区域识别
US11424620B2 (en) 2019-10-29 2022-08-23 Industrial Technology Research Institute Three-phase expandable AC system based on battery reconfiguration and control method thereof

Also Published As

Publication number Publication date
EP3208635B1 (en) 2019-01-23
EP3208635A1 (en) 2017-08-23
US20170242117A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
CN107103276A (zh) 使用低层传感器融合的视觉算法执行
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
Cho et al. A multi-sensor fusion system for moving object detection and tracking in urban driving environments
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
Perrollaz et al. Long range obstacle detection using laser scanner and stereovision
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
Llorca et al. Stereo regions-of-interest selection for pedestrian protection: A survey
Pantilie et al. Real-time obstacle detection in complex scenarios using dense stereo vision and optical flow
Guo et al. A multimodal ADAS system for unmarked urban scenarios based on road context understanding
Wedel et al. Realtime depth estimation and obstacle detection from monocular video
CN110794406B (zh) 多源传感器数据融合系统和方法
Wang et al. Multiple obstacle detection and tracking using stereo vision: Application and analysis
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
Satzoda et al. On enhancing lane estimation using contextual cues
KR20190059894A (ko) 카메라 영상에서 대상의 감지
Lee et al. Moving objects tracking based on geometric model-free approach with particle filter using automotive LiDAR
Hussain et al. Multiple objects tracking using radar for autonomous driving
Manghat et al. Forward collision prediction with online visual tracking
Aijazi et al. Multi sensorial data fusion for efficient detection and tracking of road obstacles for inter-distance and anti-colision safety management
Kotur et al. Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system
Lin et al. Road obstacle detection in stereo vision based on UV-disparity
WO2022157157A1 (en) Radar perception
CN115144849A (zh) 用于对象避开检测的传感器融合
Kaida et al. Behavior prediction using 3d box estimation in road environment
Neto et al. Real-time collision risk estimation based on Pearson's correlation coefficient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181205

Address after: Babado J San Michaele

Applicant after: Amberford Technology Co., Ltd.

Address before: michigan

Applicant before: Delphi Automotive Systems LLC (US)

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829