CN107818557A - 用于自动车辆的增强型相机对象检测 - Google Patents

用于自动车辆的增强型相机对象检测 Download PDF

Info

Publication number
CN107818557A
CN107818557A CN201710817563.3A CN201710817563A CN107818557A CN 107818557 A CN107818557 A CN 107818557A CN 201710817563 A CN201710817563 A CN 201710817563A CN 107818557 A CN107818557 A CN 107818557A
Authority
CN
China
Prior art keywords
segmentation
camera
objectivity
processor
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710817563.3A
Other languages
English (en)
Other versions
CN107818557B (zh
Inventor
D·泽马斯
I·H·伊扎特
A·曼高尔吉利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Delphi Automotive Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Automotive Systems LLC filed Critical Delphi Automotive Systems LLC
Publication of CN107818557A publication Critical patent/CN107818557A/zh
Application granted granted Critical
Publication of CN107818557B publication Critical patent/CN107818557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

一种说明性示例对象检测系统包括具有视场的相机(104)。所述相机(104)提供包括关于所述视场内的潜在对象的信息的输出。处理器(106)被配置用于基于来自至少一种其他类型的检测器(110)的信息来选择所述相机输出的一部分(134)，所述信息指示所述所选择部分(134)中的潜在对象。所述处理器基于所述相机输出中关于所述所选择部分(134)的信息来确定所述所选择部分(134)的对象性。

Description

用于自动车辆的增强型相机对象检测
相关申请的交叉引用
本申请要求于2016年9月12日提交的美国临时申请号62/393,311 的优先权，所述美国临时申请的公开内容通过引用以其全部内容结合在此。
技术领域
本公开总体上涉及处理可从相机处获得的信息以便通过使用来自 至少一种其他类型的检测器的信息来定位、标识或跟踪对象从而提高相机信息 分析的各方面。
背景技术
电子设备和技术上的创新已使得将各种高级特征结合到机动车辆 上成为可能。已研发了各种感测技术以用于检测对象或监测在车辆附近或路径 上的周围环境。这种系统用于例如泊车辅助、车道偏离检测和巡航控制调整特 征。
最近，自动车辆特征已可以允许自主或半自主车辆控制。这种系统 的传感器可以结合相机、超声传感器、激光雷达(光检测和测距)检测器或雷 达检测器以用于判定对象或另一台车辆何时处于所述车辆的路径上或以其他 方式在所述车辆附近。根据特定实现方式，来自这种传感器的信息可以用于使 车辆控制的至少一部分自动化或者为驾驶员提供关于车辆周围状况的指示。
尽管这种信息是有用的，但是其并非是在没有挑战的情况下获得 的。例如，来自相机检测器的信息可能需要相对大量的处理能力和时间来做出 有用判定。其他类型的传感器或检测器同样如此。本领域技术人员正尝试克服 的一个挑战是如何在经济地包括在车辆上的各种类型的处理器的能力内以高 效的方式处理来自这种传感器或检测器的信息。
发明内容
一种说明性示例对象检测系统包括具有视场的相机。所述相机提供 包括关于所述视场内的潜在对象的信息的输出。处理器被配置用于基于来自至 少一种其他类型的检测器的信息来选择所述相机输出的一部分，所述信息指示 所述所选择部分中的潜在对象。所述处理器基于所述相机输出中关于所述所选 择部分的信息来确定所述所选择部分的对象性(Objectness)。
一种检测至少一个潜在对象的说明性示例方法包括：基于来自至少 一个其他类型的检测器的信息选择相机输出的一部分，所述信息指示所述所选 择部分中的潜在对象；以及基于所述相机输出中关于所述所选择部分的信息来 确定所述所选择部分的对象性。
在阅读了以下仅通过非限制性示例的方式并参照附图给出的至少 一个公开的实施例的详细描述之后，另外的特征和优点将更加清楚地显现。
附图说明
图1示意性地展示了包括根据本发明的实施例设计的基于相机的 检测器设备的车辆。
图2是流程图，概述了根据本发明的实施例设计的示例技术。
图3示意性地展示了处理相机视场内的信息的特征。
图4示意性地展示了处理来自相机视场的选择的部分的信息的特 征。
图5A、图5B、图5C和图5D示意性地展示了根据一个实施例的 例证示例扫描行程线(SLR)聚类算法(clustering algorithm)的过程的四个 阶段，其中，圆圈表示点并且三角上报集群标签。
图6A、图6B和图6C合作地示意性地展示了根据一个实施例的基 于图5A至图5D的示例标签冲突解决技术。
图7A和图7B是根据一个实施例的桥接圆形扫描线两端的示例。
图8A示意性地展示了当两条扫描线在点数上具有显著差异的示例 智能索引，并且图8B示意性地展示了根据一个实施例的当两条线中的点由于 传感器的噪声和物理限制而丢失的情况；并且
图9是根据一个实施例的对象检测系统的简图。
具体实施方式
本发明的实施例提供了以高效的方式对来自基于相机的检测器的 信息进行处理的能力。来自至少一种其他类型的检测器的信息用于选择相机输 出的一部分并且对象检测是基于确定那个所选择部分的对象性。
图1示意性地展示了包括基于相机的检测器设备102的车辆100。 此示例包括相机104和处理器106。相机104具有视场108，在所述视场内， 相机104能够提供关于车辆100附近或其路径内的环境的信息。处理器106被 配置用于使用从相机104输出的信息来判定一个或多个对象是否在与视场108 相对应的环境中。换句话说，处理器106被配置用于判定对象是否在相机视场 108内。
在示例实施例中，处理器106包括至少一个计算设备，比如微处理 器。所述计算设备被配置或以其他方式被编程用于做出与下文中所描述的那些 判定一致的对象检测判定。在一些示例中，处理器106包括车载存储器，并且 在其他示例中，处理器106被配置用于使用已知的无线通信技术与远程定位的 存储器进行通信。处理器106可以是属于基于相机的检测器设备102的一部分 的专用设备或者可以是定位在车辆100上的另一个处理器或控制器的一部分。
至少一种其他类型的检测器110设置在车辆100上。在一些实施例 中，检测器110包括激光雷达检测器。在其他实施例中，检测器110包括雷达 检测器。检测器110所提供的信息或数据类型不同于相机104所提供的信息或 数据类型。检测器110具有至少部分地与相机104的视场108重叠的视场(未 展示)。
对本说明书内的相机视场和相机输出的引用应当被认为是同义的 或可互换的，除非上下文要求进行不同的解释。例如，当处理器106被描述成 选择相机输出的一部分或选择相机视场的一部分时，这应当被理解为指的是处 理器106利用与来自相机104的指示相机视场108内的环境内容的图像或其他 输出相对应的来自相机104的信息。
图2是流程图120，概述了可以包括标识对象的存在、类型、位置、 移动或这些项的组合的检测对象的示例方法。图2中所概述的技术在122处开 始，其中，处理器106从所述至少一种其他类型的检测器110获得关于相机视 场108中的潜在对象的信息。在124处，处理器106基于从另一种类型的传感 器110获得的信息选择相机视场内包含可能对象的至少一个区域。在示例实施 例中，处理器106被配置用于识别来自检测器110的与相机视场108内的潜在 对象位置相对应的聚类数据。在126处，处理器106使用来自相机104的输出 的信息来确定所选择区域的对象性。在一些示例实施例中，使用已知的对象性 确定技术。
在大多数情况下，相机信息用于计算对象性。在另一个实施例中， 可以使用激光雷达或雷达信息。例如，激光雷达提供除点云之外的强度检测。 可以根据激光雷达强度(比如对分片(patch)中的激光雷达强度求平均)计算 对象性。在另一个示例中，雷达多普勒信息可以用于定义运动对象性。
存在可以用于确定所选择部分的对象性的各种已知的对象性确定 技术。受益于本说明书的本领域技术人员将能够选择合适的对象性确定技术来 满足其特定需求。例如，可以使用已知的快速傅里叶变换技术、Walsh Hadamard (沃尔什-哈达玛)变换技术、标准偏差滤波技术、局部共生矩阵技术或者全 局颜色空间分布技术。进一步地，处理器106所做出的物理性判定可以基于已 知对象性测量技术的组合。
图3示意性地展示了由处理器106从相机104获得的关于输出(比 如图像)130的信息。多个数据132(比如检测点)基于来自检测器110的输 出。数据132与检测器110所进行的检测相对应，所述检测可以指示检测器110 的视场内的对象以及相机视场的对应部分。
如根据图示可理解的，整个相机输出或图像130并不包含与来自检 测器110的输出相对应的数据。此示例实施例的一个特征是处理器106不需要 考虑整个相机输出130。相反，当确定相机输出的对象性时，相机输出130的 不包含与来自检测器110的输出相对应的信息的部分或区域可以被处理器106 忽略。
相反，处理器106被配置用于选择相机输出130的一个或多个部分， 所述一个或多个部分包括来自检测器110的关于相机输出的这种部分中的潜在 对象的信息。处理器106具有将来自检测器110的输出的位置与相机输出130 内的位置或区域进行相关的信息或编程。在图3中，部分134各自包括与来自 检测器110的可以指示对象存在的信息相对应的足够数量的数据点或指示。在 此示例中，部分134被认为是来自检测器110的这种信息或数据点的集群。处 理器106或与检测器110相关联的另一个处理器确定集群134的方式可以根据特定实施例而发生变化。下文中描述了尤其与基于激光雷达的检测器一起使用 的示例集群确定技术。另一方面，对于使用雷达的实施例，可以根据选择雷达 检测周围的区来创建检测区域，因为其与激光雷达相比较稀疏。所述区域的大 小可以基于检测范围来设定。
图示4意性地展示了处理器106选择相机输出130的一部分134 并且确定那个部分134的对象性的示例技术。处理器106将部分134划分成多 个窗口或分段(segment)并且确定那些分段中的每个分段的对象性。在此示 例中，处理器106还确定整个部分134的总体对象性。在一些示例中，来自处 理器106的对象性确定或对象检测输出是基于部分134的单独分段的相应对象 性与关于整个部分134的总体对象性确定的组合。
在此示例中，处理器106将不同分段布置在部分134内，从而使得 不同的分段具有不同的几何结构。例如，第一分段140具有在图示中看似相对 较高且较窄的矩形几何结构。那个分段140内的数据点或信息132具有空间分 布，从而使得相对较长且较窄的矩形分段几何结构很好地适合来自检测器110 的那个数据或信息的布置或空间取向或与其相对应。其他分段142、144和146 也是矩形的但更接近正方形形状，因为那些窗口或分段中的每一者内的数据点 或信息132更好地适合正方形形状的分段。
在一些示例中，出于确定那些分段中的每个分段的对象性的目的， 处理器106将部分134化分成大小相等且配置类似的分段。
在一些实施例中，通过将分段140-146中的每个分段分成多个小窗 口或分片来确定每个窗口或分段的对象性。在一些实施例中，所述分片包括超 像素。图4中示意性地示出了示例分段146的分片150的示例配置。尽管矩形 分片150被展示成4×4矩阵布置，但是那种配置是出于讨论的目的的示例并 且可以使用其他镶嵌。
当所述分段中的至少一个分段被划分成分片150时，处理器106 基于相应分片150相对于周围分片的独特性来确定每个分片150的对象性分 值。在此实施例中，用于计算所述分值的参数基于一种或多种已知技术，比如 显著性、多尺度PCA(主分量分析)、快速傅里叶变换、Walsh Hadamard变 换、局部共生矩阵、HOG、边缘密度等。对象性可以根据分片和全分段或窗口 层面两者处的分值的组合而被定义。例如，每个分片150的对象性提供了一个测量值或确定值，而整个分段146的总体对象性提供了另一个测量值。在一些 实施例中，处理器106基于所述分段的总体对象性以及那个分段内的分片中的 每个分片的对象性来确定每个分段的对象性。可以按照需要对分片和分段或层 面处的多个对象性确定值进行组合。针对对象性的大多数先前的工作都只关注 单张图像的总体对象性。
对象性确定基于来自相机104的输出的信息。在此示例中，处理器 106使用已知的图像处理技术和对象性确定技术。对象性确定并不是基于来自 检测器110的数据或信息。相反，来自检测器110的信息用于定位相机输出的 部分，所述部分与相机输出的其他部分相比更有可能包含对象。一旦已经标识 了那些部分，则处理器106就能够关注相机输出的所选择部分以用于做出对象 性判定。利用来自至少一种其他类型的检测器的信息来定向或关注处理器106 进行的对象性确定减小了处理器106上的计算负荷。处理器106不需要处理或 分析整个图像或相机输出130。公开的示例技术在不牺牲对象检测、定位、标 识或跟踪的准确度的情况下增大了处理速度并且降低了处理复杂度。
来自检测器110的输出无需是基于相机输出进行的对象性确定的 一部分，但是其可以与对象性确定结合使用以便提供关于被检测对象的附加信 息。例如，检测器输出可以提供关于被检测对象的更详细的位置或三维信息。
在一些示例中，处理器106被配置用于对所选择部分134内的各个 分段140-146的对象性进行排序。具有更高排名的分段或多个分段被处理器106 选择用于标识或定位相机104的输出或视场内的对象。
在一些示例中，处理器106利用成时间序列被相关的一系列相机输 出。例如，相机104提供随时间推移的图像序列。处理器106利用用于基于来 自检测器110的信息选择那些图像中的每张图像的多个部分的所公开的示例技 术并且做出关于那些部分的对象性判定。随时间推移，处理器106能够跟踪在 相机104的输出内检测到的对象的位置或移动。
在一些实施例中，处理器106被配置用于考虑多个帧对象性并且将 运动线索添加到对象性测量中。针对这种情况，根据图像序列来计算运动线索 并且将对象性测量定义为：对象性＝运动对象性+分段对象性+分片对象 性。尽管在此示例中使用了求和，但是其他分组可以用于对不同的测量值进行 组合。
如上所提及的，不同的技术可以用在不同的实施例中以用于处理来 自检测器110的信息从而允许处理器106选择相机输出的合适部分，进而在所 述合适部分内执行对象性判定来检测对象。对于包括作为检测器110的激光雷 达检测器的实施例，聚类技术是有用的。一种示例聚类技术包括分割来自激光 雷达检测器的点云。
以下段落描述了用于分割360°覆盖激光雷达传感器接收到的点云 的示例方法。首先呈现了被命名为接地平面拟合(GPF)的确定性迭代多平面 拟合技术以用于快速提取接地点。接下来是被命名为扫描线行程(SLR)的点 云聚类方法，所述点云聚类方法涉及用于在来自激光雷达的二进制图像中进行 标记的连接分量的算法。每个段落在概念上被分为三个部分，包括：简要推理 算法连同定义新术语、根据伪代码简图综述算法、以及讨论算法实施方式的细 节。
接地平面拟合
属于接地表面的云点构成了来自激光雷达的典型点云的大部分，并 且其移除大大地减少了继续进行的计算所涉及的点数。对接地点的标识和提取 因以下两个主要原因而适用于此应用：(i)接地点因为与平面相关联因此可容 易地标识，它们是具有简单数学模型的原始几何对象；以及(ii)可接受的是， 假设具有最低高度值的点云的点最有可能属于接地表面。这一之前的知识用于 指定点集合来启动算法并且消除典型的平面拟合技术(比如随机样本一致性 (RANSAC))中见到的随机选择，导致了更快的会聚。
通常，单个平面模型不足以表示真实的接地表面，因为接地点并未 形成完美的平面并且激光雷达测量引入了针对长距离测量的显著噪声。已观察 到的是，在大多数实例中，接地表面展现了需要检测的斜率变化。所提出的接 地平面拟合技术通过沿x轴(车辆的行驶方向)将点云分成多个分段并且在那 些分段中的每个分段中应用接地平面拟合算法来将其适用性延伸至接地表面 的这种实例。
如算法1的主循环中所描绘的，对于点云分段中的每个分段，接地 平面拟合通过确定性地提取具有低高度值的种子点集合开始，然后，所述种子 点用于估算接地表面的初始平面模型。针对估算出的平面模型对点云分段P中 的每个点进行评估并且产生从所述点到其在候选平面上的正交投射的距离。将 此距离与用户限定的阈值Th距离进行比较，从而决定所述点是否属于接地表面。 属于接地表面的点被用作种子以便对新的平面模型进行改进的估算并且重复 所述过程N迭代次。最后，针对点云分段中的每个分段的由此算法产生的接地点 可以串联起来并且提供整个接地平面。
算法1：用于点云的一个分段的接地平面拟合方法的伪代码。结果： Pg是属于接地表面的点；Png是不属于接地表面的点。
用于选择初始种子点的方法引入了最低点代表(LPR)，点被定义 为点云的N最低点代表最低高度值点的平均值。LPR保证噪声测量将不会影响平面 估算步骤。一旦已经计算出LPR，则将其视为点云P的最低高度值点并且将高 度阈值Th种子内的点用作初始种子以进行平面模型估算。
关于平面的估算，使用了简单的线性模型：
a*x+b*y+c*z+d＝0 等式1A，
其可以被改写为
Trans[N]*X＝-d； 等式1B，
其中，N＝Trans[a b c]并且X＝Trans[x y z]，并且通过如通过种子点集S∈ R(3)计算出的协方差矩阵C∈R(3×3)来求解法线N，
C＝Σ{i＝1:|S|}Trans[(si-sm)*(si-sm)] 等式2，
其中，sm∈R(3)是所有si∈S的均值。
协方差矩阵C捕获了种子点及其三个奇异向量的分散，所述三个 奇异向量可通过其奇异值分解(SVD)算出、描述此分散的三个主要方向。由 于所述平面是平坦表面，因此垂直于所述平面的法线N用最小方差来指示方向 并且由与最小奇异值相对应的奇异向量捕获。在得到N之后，通过用S代替X 来直接从等式1计算出d，S很好地表示了属于平面的点。
扫描线行程
不属于接地表面的剩余点Png需要形成或者被组织成集群以用于 更高水平的后处理方案。属于Png的元素的每个点(pk∈Png)的目标为在使 用将确保过程的快速运行时间和低复杂度的简单机制的同时获取指示集群标 识的标签‘1’。
在360°激光雷达传感器数据的情况下，3D点云的多层结构与2D 图像的行式结构非常类似，其主要差异是每层中的非均匀元素数以及每层的圆 形结构。所述方法将3D点视为图像的像素并且采用了[L.He、Y.Chao和K. Suzuki的“A run-based two-scan labelingalgorithm(基于行程的二次扫描标记 算法)”，IEEE图像处理汇刊，第17卷，第5期，第749页至756页，2008 年]中的根据二进制图像的两个行程连接的分量标记技术以便产生实时3D聚 类算法。
从同一激光雷达圈产生的点层被命名为扫描线。在每条扫描线内， 扫描线的元素被组织成具有连续点行程的向量。如在此使用的，行程被定义为 具有同一标签的扫描线中的连续非接地点数。也就是说，行程内的元素共享同 一标签并且是集群的主要构建块。
根据算法2并且在不失一般性的情况下，假设从顶扫描线开始以栅 格逆时针的方式遍历点云Png。形成第一扫描线的行程并且每个行程接收被继 承或用于扫描线中的所有点元素的其自身的newLable。然后，第一扫描线的行 程变为runsAbove并且用于将其标签传播至随后的扫描线中的行程。当新行程 的点与其在上文中之前的扫描线中的最近邻点之间的距离小于Th合并时，将标 签传播至所述新行程。当同一行程中的多个点具有带有不同可继承(inheritable) 标签的最近邻点时，所选择的或获胜的标签为最小标签。另一方面，当行程中 的任何点都不可能找到合适的最近邻点时，其接收newLabel。借助于点云在单次通过中执行上文并且当这样做时，执行二次通过以便最终更新点的标签并提 取集群。
算法2：扫描线行程聚类的伪代码。结果：标签是非接地点的标签。
参照附图5A和图5B的以下示例覆盖了所述方法的主要实例，其 中，接地点由白点来指示(编号为1、4、7、9、11、14、15、16、20、21)并 且非接地点由灰点来指示(编号为2、3、5、6、8、10、12、13、17、18、19)。 灰点(编号为8、10、12、13、17、18、19)是还未被访问的非接地点。在图 5A中，利用两个行程来初始化第一扫描线，所以将编号为2、3的非接地点指 定为行程#1(三角中的1)并且将编号为5、6的非接地点指定为行程#2，其中， 对行程的指定由newLabel来指示。图5B演示了newLabel的指定以及两个标 签的传播。具体地，8的最近非接地邻点是2并且它们的距离大于Th合并。在 此情况下，labelsToMerge为空并且点8表示新的集群。另一方面，10的最近 非接地邻点是3，它们的距离小于Th合并，这使得标签1传播至点10。类似地， 点12和13均靠近其相应邻点5和6，并且基于非空labelsToMerge，向其指配 标签2。接下来，在存在一个行程的图5C中考虑最终的扫描线。点17和19 具有属于不同集群并且均适合于传播其标签的邻点10和12。根据算法逻辑， 两个标签中的最小标签(即，标签1)被继承。然而，如在图5D中所指示的， 指出并且相应地通过下文中所讨论的标签等值求解技术来处理两个标签1和2 的合并。
实施方式细节：
所述算法的要点直截了当，但是是用于高效实现关于以下各项的所 提出的解决方案：(i)如何创建行程；(ii)如何寻找最近邻点；以及(iii)当合 并两个或更多个相连分量时如何解决标签冲突。
i)行程在首次访问作为索引的向量的扫描线时被创建并且保 留了关于哪些连续点足够接近被认为是扫描线内的单个块的信息。考虑到扫描 线的圆形形式，行程可以通过第一索引和最后索引进行桥接。当被检测到时， 此情况通过在第一行程的索引开始时附接结束扫描线的索引(如在图7A和图 7B的示例中见到的)来解决。
ii)当输入点云用具有点x＝[rθz]的极坐标或柱面坐标来表达 时，则对以上扫描线中的最近邻点进行索引可以被视为仅比较θ值。但是在自 主车辆应用中，聚类是更大的传感器和算法系统的一个小分量，并且出于兼容 性原因优选笛卡尔坐标系。在实施方式方面，朴素的解决方案为利用以上扫描 线中的所有非接地点来构建kd树结构并且使用此结构来找到每个最近邻点， 产生了可以进一步改进的次优但可行的解决方案。
在假设扫描线中的点均匀地沿整条扫描线分布的情况下，利用克服 了不同扫描线中不均匀元素数的问题并且大大地减少了对最近邻点的查询数 的智能索引方法。假设每条扫描线具有Ni个点数并且每个点拥有两个索引： 表示其在整个点云中的位置的一个全局INDg、以及对扫描线内的点进行标识 的一个局部INDl。可通过以下等式很容易地在扫描线K的索引之间交替：
INDlk＝INDg–∑{i＝0，K-1}Ni，其中，N0＝0 等式3。
给定扫描线i中的具有局部索引INDli的点索引，可能的是，通过 以下等式直接在以上扫描线j中找到接近实际最近邻点的邻点INDlj的局部索 引：
INDlj＝floor[(Nj/Ni)*INDli] 等式4，
以及根据等式3计算其全局索引。
根据扫描线内的点的分布，所述索引可能不指示最近邻点而指示足 够接近的点。在此情况下，可能有必要搜遍最近邻点的多个周围点，但是此数 量远远小于与整个扫描线有关的点。
在行程中，标识潜在的邻点并且搜遍所述邻点的周围以进行最佳匹 配导致了破坏算法性能的较大开销。记住这一点，所提出的解决方案是为了经 由智能索引来找到行程的第一点和最后点的最近邻点，形成所有非接地点在那 个范围内的kd树结构，并且用此结构来搜索最近邻点。
智能索引的两个可视示例在图8A和图8B中可见。在图8A中， 尽管两条扫描线中的点数很不相同，但是在外部扫描线中具有局部索引8、16、 26和32的随机选择点被指示为在内部扫描线中分别具有局部索引5、9、15 和18的点的最近邻点。另外，在图8B中，点的分布非常不均匀，但是智能索 引仍成功地指示了合适的邻点。由于吸收或者非常高的距离，这些情况对第一 多条扫描线(当其激光束中的一些激光束不再返回时)而言是常见的。在连续 扫描线之间的点数极大地不同或者扫描线的显著部分丢失的罕见情况下，智能 索引将最有可能失败。在这些情况下，整条扫描线被认为是潜在的最近邻点的 朴素解决方案仍产生了好的结果。
iii)在[L.He、Y.Chao和K.Suzuki的“A run-based two-scan labelingalgorithm”(基于行程的二次扫描标记算法)，IEEE图像处理汇刊， 第17卷，第5期，第749页至756页，2008年]中引入了用于解决标签合并冲 突的方法，其中，提供了用于实现和深度理解的所有细节。接下来，给出了要 点的简要呈现连同简单示例。
冲突在两个或更多个不同的已标记分量需要合并时出现，并且通过 将其标签1添加到同一集合S中给出了解决方案。以此方式，一个连接的分量 在其相应的S中用最小的1来表示，并且三个向量的复杂集合用于捕获它们的 层次和连接。全部三个向量的大小为通过点云在第一遍期间已经创建的总标签 数。第一向量“next(接下来)”的每个条目将下一个1存储在其S中，并且 最后的1在S中的条目为-1。接下来，向量“tail(尾)”将索引存储到S的最 后的1。最后的向量“rtable”具有上报在任何给定时刻各个1的最终标签将是 什么的辅助作用。在第一遍结束时，rtable被用作用于进行最终标记的查找表。
现在参照由根据三个向量的点视角的图6A、图6B和图6C形成的 示例。在图6A中，创建了两个标签(1和2)并且填写了标签l1、l2的条目。 两个集合中的每个集合均只有一个元素，因此next条目均为-1，tail条目示出 了S中的最后元素的索引，针对所述两个S所述索引分别为1和2，并且rtable 示出了最终的代表标签。接下来，在图6B中，创建了l3并且与之前相同地填 写了向量。最后，在图6C中，S1和S2合并了，这意味着next的第一条目将指 向S1中的下一个元素的索引，S1中的两个元素的tail是相同的并且指向所述集 合的最后元素的索引，并且rtable被更新以便恰当地描绘最终标签。
图9展示了适合用在自动车辆(例如，宿主车辆12)上的对象检 测系统10(下文中被称为系统10)的非限制性示例。如在此使用的，术语‘自 动车辆(automated vehicle)’并不意味着表明要求宿主车辆12的完全自动或 自主操作。设想在此呈现的教导适用于以下实例：其中，宿主车辆12完全由 人类操作员(未示出)手动操作，除了一定低水平的自动化(比如仅向操作员 提供存在对象14的警告和/或自动地操作宿主车辆12的刹车以防止与对象14 碰撞)。也就是说，宿主车辆12可以在自动模式16下可操作，所述自动模式 可以是完全自主型操作，其中，人类操作员做得很少(超出指定目的)，和/ 或宿主车辆12可以在手动模式18下可操作，其中，人类操作员通常控制宿主 车辆12的转向、油门和刹车。
系统10包括用于检测点云22的激光雷达20，同样参见图5A至图 5D。点云22可以指示对象14接近宿主车辆12。如在图5A至图5D以及多个 附图中所示出的，点云22被组织成多条扫描线24。尽管图5A至图5D仅示出 了扫描线24的三个实例，但是这仅仅是为了简化附图。也就是说，应当认识 到，来自激光雷达20的通常可商购示例的点云22将提供具有更多条扫描线(例 如，六十四条扫描线)的点云。
系统10包括与激光雷达20通信的控制器26。控制器26可以包括 处理器(未具体示出)(比如微处理器)或其他控制电路系统(比如包括用于 处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路系统)，如对本 领域技术人员而言应当明显的。控制器26可以包括存储器(未具体示出)， 所述存储器包括非易失性存储器，比如用于存储一个或多个例程、阈值以及所 捕获的数据的电可擦除可编程只读存储器(EEPROM)。所述一个或多个例程可以被处理器执行以执行用于基于控制器26从激光雷达20接收到的信号(如 在此描述的)来确定对象14的存在和位置的步骤。
控制器26被配置用于将点云中的每个所检测到的点分类为接地点 28或非接地点30。已经提出了若干种方法以便将接地点28与非接地点30进 行区分，如本领域技术人员将认识到的。
控制器26进一步被配置用于限定非接地点30的行程32。每个行 程32被表征为与一个或多个非接地点30的后续行程32分离开接地点28的至 少一个实例的扫描线24的实例中的相邻非接地点的一个或多个实例的集合。 也就是说，在没有接地点28的介入实例的情况下，行程32的每个实例由彼此 接近(即，彼此相邻)的非接地点30的一个或多个实例来定义。
控制器26进一步被配置用于限定与对象14相关联的非接地点的集 群34。如果激光雷达20的视场中存在多个对象，则点云22中可能存在点云 34的多个实例。集群34的特征可以在于或者包括：当距第一行程32A的第一 点22A被移位小于距与第二行程32B的第二点22B的距离阈值36(参见上文 中的‘Th合并’)时，距第一扫描线24A的所述第一行程32A(图5B)与距第 二扫描线24B的所述第二行程32B相关联。
从而，提供了一种对象检测系统(系统10)、用于系统10的控制 器26以及操作所述系统10的方法。将非接地点30组织成行程32并且然后将 附近的行程32关联成集群34的过程成为处理来自激光雷达20的点云数据的 高效方式。
虽然是根据本发明的优选实施例描述了本发明，但是本发明并不局 限于此，而是仅在以下权利要求书所阐述的范围内。

Claims (23)

1.一种对象检测系统，包括：
相机(104)，所述相机(104)具有视场(108)，所述相机(104)提供包括关于所述视场内的潜在对象的信息的输出；以及
处理器(106)，所述处理器(106)被配置用于基于来自至少一种其他类型的检测器(110)的信息来选择所述相机(104)输出的一部分(134)，所述信息指示所选择部分(134)中的潜在对象，所述处理器(106)基于所述相机(104)输出中关于所述所选择部分(134)的信息来确定所述所选择部分(134)的对象性。
2.如权利要求1所述的对象检测系统，其中，所述处理器(106)被配置用于：
在所述所选择部分(134)中定位多个分段(140-146)；
将所述分段(140-146)中的至少一个分段划分成多个分片(150)；以及
分别确定所述分片(150)中的每个分片的所述对象性。
3.如权利要求2所述的对象检测系统，其中，
所述处理器(106)被配置用于确定所述分段(140-146)中的整个至少一个分段的总体对象性；并且
所述处理器(106)被配置用于基于所述分片(150)中的每个分片的所述对象性和所述总体对象性来确定所述分段(140-146)中的所述至少一个分段的所述对象性。
4.如权利要求1所述的对象检测系统，其中，
所述处理器(106)被配置用于将所述所选择部分(134)划分成多个分段(140-146)；并且
所述处理器(106)被配置用于基于所述相应分段(140-146)的对象性来布置所述分段(140-146)。
5.如权利要求4所述的对象检测系统，其中，所述分段(140-146)包括具有第一几何结构的至少一个分段以及具有第二、不同几何结构的至少一个其他分段。
6.如权利要求5所述的对象检测系统，其中，至少所述第一几何结构与来自所述至少一种其他类型的检测器(110)的数据点在所述至少一个分段内的分布相对应。
7.如权利要求1所述的对象检测系统，其中，所述处理器(106)被配置用于忽略所述相机(104)输出的不包括来自所述至少一种其他类型的检测器(110)的信息的其他部分，所述信息指示所述相机(104)输出的所述其他部分中的潜在对象。
8.如权利要求1所述的对象检测系统，包括所述至少一种其他类型的检测器(110)，并且其中，所述至少一种其他类型的检测器(110)包括雷达检测器或激光雷达检测器之一。
9.如权利要求1所述的对象检测系统，其中，
所述处理器(106)被配置用于识别来自所述至少一种其他类型的检测器(110)的聚类数据点集合；并且
所述处理器(106)被配置用于选择至少一个聚类数据点集合作为所述所选择部分(134)。
10.如权利要求1所述的对象检测系统，其中，
所述至少一种其他类型的检测器(110)提供具有强度的激光雷达输出；并且
所述处理器(106)根据所述相机(104)输出和所述激光雷达输出的所述强度中的至少一项来确定所述对象性。
11.如权利要求1所述的对象检测系统，其中，
所述相机(104)输出包括多张图像；
所述多张图像成基于时间的序列；
所述处理器(106)被配置用于使用所述多张图像来确定与所述所选择部分(134)中的潜在对象的移动相对应的运动线索；并且
所述处理器(106)被配置用于在确定所述所选择部分(134)的所述对象性时使用所述运动线索。
12.如权利要求1所述的对象检测系统，其中，
所述处理器(106)被配置用于确定所述所选择部分(134)的多个分段(140-146)的相应对象性；
所述处理器(106)被配置用于对所述分段(140-146)中的每个分段的所述对象性进行排序；并且
所述处理器(106)被配置用于选择排名最高的对象性来标识潜在对象的位置。
13.如权利要求1所述的对象检测系统，其中，所述处理器(106)被配置用于提供在所述相机(104)输出的所述所选择部分(134)的标识区域内的对象位置估计。
14.一种检测至少一个潜在对象的方法，所述方法包括：
基于来自至少一种其他类型的检测器(110)的信息来选择相机(104)输出的一部分(134)，所述信息指示所选择部分(134)中的潜在对象；以及
基于所述相机(104)输出中关于所述所选择部分(134)的信息来确定所述所选择部分(134)的对象性。
15.如权利要求14所述的方法，包括：
将所述所选择部分(134)划分成多个分段(140-146)；以及
分别确定所述分段(140-146)中的每个分段的所述对象性。
16.如权利要求15所述的方法，包括：
将所述分段(140-146)中的至少一个分段划分成多个分片(150)；
确定所述分段(140-146)中的整个至少一个分段的总体对象性；
确定所述分片(150)中的每个分片的对象性；以及
基于所述分片(150)中的每个分片的所述对象性和所述总体对象性来确定所述分段(140-146)中的所述至少一个分段的所述对象性。
17.如权利要求14所述的方法，其中
将所述所选择部分(134)划分成多个分段(140-146)包括基于来自所述至少一种其他类型的检测器(110)的信息对所述分段(140-146)的相应几何结构进行配置；
所述分段(140-146)包括具有第一几何结构的至少一个分段以及具有第二、不同几何结构的至少一个其他分段。并且
至少所述第一几何结构与来自所述至少一种其他类型的检测器(110)的数据点在所述至少一个分段内的分布相对应。
18.如权利要求14所述的方法，包括：忽略所述相机(104)输出的不包括来自所述至少一种其他类型的检测器(110)的信息的其他部分，所述信息指示所述相机(104)输出的所述其他部分中的潜在对象。
19.如权利要求14所述的方法，其中，选择所述相机(104)输出的所述部分(134)包括识别来自所述至少一种其他类型的检测器(110)的聚类数据点集合。
20.如权利要求14所述的方法，其中，所述相机(104)输出包括成基于时间的序列的多张图像，并且所述方法包括：
使用所述多张图像来确定所述所选择部分(134)中的潜在对象的移动线索；以及
使用所述移动线索来确定所述所选择部分(134)的所述对象性。
21.如权利要求14所述的方法，包括：
确定所述所选择部分(134)的多个分段(140-146)的相应对象性；
对所述分段(140-146)中的每个分段的所述对象性进行排序；以及
选择排名最高的对象性来标识潜在对象的位置。
22.如权利要求14所述的方法，包括提供在所述相机(104)输出的所述所选择部分(134)的标识区域内的对象位置估计。
23.如权利要求14所述的方法，其中
所述至少一种其他类型的检测器(110)提供具有强度的激光雷达输出；并且
确定所述对象性包括使用所述相机(104)输出和所述激光雷达输出的所述强度中的至少一项。
CN201710817563.3A 2016-09-12 2017-09-12 用于自动车辆的增强型相机对象检测 Active CN107818557B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662393311P 2016-09-12 2016-09-12
US62/393,311 2016-09-12
US15/680,854 2017-08-18
US15/680,854 US10366310B2 (en) 2016-09-12 2017-08-18 Enhanced camera object detection for automated vehicles

Publications (2)

Publication Number Publication Date
CN107818557A true CN107818557A (zh) 2018-03-20
CN107818557B CN107818557B (zh) 2022-02-22

Family

ID=59686803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710817563.3A Active CN107818557B (zh) 2016-09-12 2017-09-12 用于自动车辆的增强型相机对象检测

Country Status (3)

Country Link
US (1) US10366310B2 (zh)
EP (1) EP3293669A1 (zh)
CN (1) CN107818557B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639822A (zh) * 2020-03-27 2021-04-09 华为技术有限公司 一种数据处理方法及装置
CN113189583A (zh) * 2021-04-26 2021-07-30 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005667A1 (en) * 2017-07-24 2019-01-03 Muhammad Zain Khawaja Ground Surface Estimation
EP3483629B1 (en) * 2017-11-09 2021-12-29 Veoneer Sweden AB Detecting a parking row with a vehicle radar system
US10685476B2 (en) * 2018-07-31 2020-06-16 Intel Corporation Voxels sparse representation
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10884131B1 (en) 2018-08-03 2021-01-05 GM Global Technology Operations LLC Conflict resolver for a lidar data segmentation system of an autonomous vehicle
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
DE102018131495B4 (de) 2018-12-10 2023-08-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens
CN111352128B (zh) * 2018-12-21 2023-03-24 上海微功智能科技有限公司 一种基于融合点云的多传感器融合感知方法与系统
JP7312608B2 (ja) * 2019-05-23 2023-07-21 豊田合成株式会社 車両用装飾部品
US11460581B2 (en) * 2019-06-10 2022-10-04 Toyota Research Institute, Inc. Systems and methods for reducing LiDAR points
GB2591332B (en) * 2019-12-19 2024-02-14 Motional Ad Llc Foreground extraction using surface fitting
US11957974B2 (en) 2020-02-10 2024-04-16 Intel Corporation System architecture for cloud gaming
DE102020123920B3 (de) 2020-09-15 2021-08-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum automatischen Labeling von Radardaten
JP7420086B2 (ja) * 2021-01-13 2024-01-23 豊田合成株式会社 車両用外装品
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101966846A (zh) * 2009-05-08 2011-02-09 通用汽车环球科技运作公司 通过物体检测优化的检测车辆行驶的畅通路径的方法
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
CN104769644A (zh) * 2012-11-08 2015-07-08 厉动公司 利用可变场照明设备的对象检测和跟踪

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
JP2006264416A (ja) * 2005-03-22 2006-10-05 Takata Corp 対象物検知システム、保護システム、車両
US7676087B2 (en) * 2006-09-20 2010-03-09 Delphi Technologies, Inc. Method for identifying vehicles in electronic images
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
JP4377439B1 (ja) * 2008-06-12 2009-12-02 本田技研工業株式会社 車両周辺監視装置
US20120288140A1 (en) * 2011-05-13 2012-11-15 Carnegie Mellon University Method and system for selecting a video analysis method based on available video representation features
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US9627330B2 (en) * 2015-07-13 2017-04-18 International Business Machines Corporation Support for long channel length nanowire transistors
US9915951B2 (en) * 2015-12-27 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Detection of overhanging objects
US20170307743A1 (en) * 2016-04-22 2017-10-26 Delphi Technologies, Inc. Prioritized Sensor Data Processing Using Map Information For Automated Vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101966846A (zh) * 2009-05-08 2011-02-09 通用汽车环球科技运作公司 通过物体检测优化的检测车辆行驶的畅通路径的方法
CN104769644A (zh) * 2012-11-08 2015-07-08 厉动公司 利用可变场照明设备的对象检测和跟踪
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639822A (zh) * 2020-03-27 2021-04-09 华为技术有限公司 一种数据处理方法及装置
CN112639822B (zh) * 2020-03-27 2021-11-30 华为技术有限公司 一种数据处理方法及装置
CN113189583A (zh) * 2021-04-26 2021-07-30 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法
CN113189583B (zh) * 2021-04-26 2022-07-01 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法

Also Published As

Publication number Publication date
CN107818557B (zh) 2022-02-22
US20180075320A1 (en) 2018-03-15
EP3293669A1 (en) 2018-03-14
US10366310B2 (en) 2019-07-30

Similar Documents

Publication Publication Date Title
CN107818557A (zh) 用于自动车辆的增强型相机对象检测
CN107817496A (zh) 用于自动车辆的激光雷达对象检测系统
US20230054914A1 (en) Vehicle localization
JP6565967B2 (ja) 路上障害物検出装置，方法，およびプログラム
CN104035439B (zh) 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络
CN104035071B (zh) 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
Yao et al. Estimating drivable collision-free space from monocular video
Yao et al. Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
Dreher et al. Radar-based 2D car detection using deep neural networks
CN106503653A (zh) 区域标注方法、装置和电子设备
Vaquero et al. Deconvolutional networks for point-cloud vehicle detection and tracking in driving scenarios
CN113008296B (zh) 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
CN115063781A (zh) 车位检测方法、装置、设备和存储介质
Dey et al. Robust perception architecture design for automotive cyber-physical systems
Fleischmann et al. An adaptive detection approach for autonomous forest path following using stereo vision
Guo et al. Robust road boundary estimation for intelligent vehicles in challenging scenarios based on a semantic graph
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备
Guo et al. Semantic-based road environment recognition in mixed traffic for intelligent vehicles and advanced driver assistance systems
Bota et al. A framework for object detection, tracking and classification in urban traffic scenarios using stereovision
Meger et al. Mobile 3D object detection in clutter
Guo et al. Hierarchical road understanding for intelligent vehicles based on sensor fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181207

Address after: Babado J San Michaele

Applicant after: Amberford Technology Co., Ltd.

Address before: michigan

Applicant before: Delphi Automotive Systems LLC (US)

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant