CN107817496A - 用于自动车辆的激光雷达对象检测系统 - Google Patents

用于自动车辆的激光雷达对象检测系统 Download PDF

Info

Publication number
CN107817496A
CN107817496A CN201710817870.1A CN201710817870A CN107817496A CN 107817496 A CN107817496 A CN 107817496A CN 201710817870 A CN201710817870 A CN 201710817870A CN 107817496 A CN107817496 A CN 107817496A
Authority
CN
China
Prior art keywords
point
stroke
ungrounded
laser radar
scan line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710817870.1A
Other languages
English (en)
Other versions
CN107817496B (zh
Inventor
D·泽马斯
I·H·伊扎特
A·曼高尔吉利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology 2 Co ltd
Original Assignee
Delphi Automotive Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Automotive Systems LLC filed Critical Delphi Automotive Systems LLC
Publication of CN107817496A publication Critical patent/CN107817496A/zh
Application granted granted Critical
Publication of CN107817496B publication Critical patent/CN107817496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

一种适用于自动车辆的对象检测系统(10)包括激光雷达(20)和控制器(26)。所述激光雷达(20)用于检测被组织成多条扫描线(24)的点云(22)。所述控制器(26)与所述激光雷达(20)通信。所述控制器(26)被配置用于：将所述点云(22)中的每个所检测到的点(10)分类为接地点(28)或非接地点(30)；限定非接地点(30)的行程(32)，其中，每个行程(32)的特征在于与一个或多个非接地点(30)的后续行程(32)分离开接地点(28)的至少一个实例的扫描线(24)中的相邻非接地点(30)的一个或多个实例；限定与所述对象(14)相关联的非接地点(30)的集群(34)。所述集群(34)的特征在于：当来自第一行程(32A)的第一点(22A)被移位小于距来自第二行程(32B)的第二点(22B)的距离阈值(36)时，来自第一扫描线(24A)的所述第一行程(32A)与来自第二扫描线(24B)的所述第二行程(32B)相关联。

Description

用于自动车辆的激光雷达对象检测系统
技术领域
本公开总体上涉及处理激光雷达点云，并且更具体地涉及将来自激光雷达点云的非接地点聚类成集群。点云聚类(clustering)是处理激光雷达点云时更高级别的处理(比如对象的分类和跟踪)通常所使用的重要步骤。
背景技术
自主车辆或自动车辆操作领域中的近期活动已经引发了轰动汽车行业的一系列反应。期望融合来自多个传感器的数据或信息以增强主自主车辆的感测能力。一种传感器是激光雷达，其利用多个激光束将障碍物定位在其周围并且因其能够在密集的三维(3D)点云中描绘此信息而闻名。激光雷达已经因其长距离和令人满意的准确度而在学术研究团队中普及，同时可能提供更好性能、更低成本以及更小规模的传感器的最新硬件进步似乎已经吸引了所述行业的兴趣。通常，激光雷达被安装在主自主车辆上以提供用于获取周围环境的3D表示的装置。挑战是对其进行分析并且提取有意义的信息，比如对象的数量、对象相对于车辆的位置和速度、以及每个对象(比如汽车、行人、杆等)的分类。类似于图像处理，所述分析的第一步是将输入数据分割或分离成有意义的集群。
与自主车辆应用的点云分割问题有关的现有技术用两个步骤来完成。一个似乎是有规律地利用首先移除接地平面并且连续地对剩余点进行聚类的概念。对于第一步，Himmelsbach等人在[M.Himmelsbach、F.v.Hundelshausen和H.J.Wuensche的“Fastsegmentation of 3d point-clouds for ground vehicles(用于地面车辆的3d点云的快速分割)”，《2010年IEEE智能车辆研讨会(IV)》，2010年6月，第560至565页]中在柱面坐标中处理点云并且利用点的分布以便将线段拟合到点云。所述线段基于某个斜率阈值被认为捕获接地表面。在试图识别接地表面时，Moosmann等人在[F.Moosmann、O.Pink和C.Stiller的“Segmentation of 3d lidar data in non-flat urban environments using a localconvexity criterion(使用局部凸性标准分割非平坦城市环境中的3d激光雷达数据)”，《2009年IEEE智能车辆研讨会》，2009年6月，第215至220页]中创建了无向图并且比较了平面法线的局部变化以便表征斜率的变化。连续地，对剩余的很好的分离开的非接地点的分组通常被视为聚类问题，其中，采用了适当的公知的聚类算法。示例包括：其实施方式可以在点云图书馆(PCL)中找到的[R.B.Rusu的“Semantic 3d object maps for everydaymanipulation in human living environments(在人类居住环境中用于每日操纵的语义3d对象图)”，博士论文，计算机科学系，慕尼黑工业大学，德国，2009年10月]中的欧几里得集群提取、[M.Ester、H.-P.Kriegel、J.Sander、X.Xu等人的“A density-based algorithmfor discovering clusters in large spatial databases with noise(用于利用噪声发现大型空间数据库中的集群的基于密度的算法)”，KDD，第96卷，第34期，1996年，第226至231页]中的DBSCAN、以及[D.Comaniciu和P.Meer的“Mean shift:A robust approachtoward feature space analysis(均值偏移：用于特征空间分析的稳健方法)”，《IEEE图案分析和机器智能汇刊》，第24卷，第5期，第603至619页，2002年]中的均值偏移。这些算法以不规则的方式遍历点云并且在找到未标记的点时，所述算法指配新的标签，然后，所述新的标签基于一些规则被传播至相邻的未标记的点。在三维空间内，对点的这种不规则访问可能导致对减慢整个过程的邻点的穷举搜索。尽管这对未被组织的点云来说是必要的，但是，在目标应用中，并未运用对点云进行基于层的组织。
发明内容
在此描述的是降低复杂度的同时关注计算速度的方法。一种快速且低复杂度分割过程成功减轻了对继续进行计算要求高的过程(比如对象分类)的性能约束。在具有捕获360度信息的能力的激光雷达传感器的情况下，数据被表示为3D点集(被称为点云，所述点云被组织成层)。每个层中的点还以椭圆的方式被组织，并且所有椭圆层的起始点被认为共享相同的取向。在此描述的方法依赖点云中的这种类型的组织并且利用智能索引来执行高效分割。类似于同一域中的先前工作，我们的方法提出分割过程以在两个步骤中结束：(i)提取属于地的点，以及(ii)将剩余点聚类成有意义的集合。
根据一个实施例，公开了一种用于对来自扫描激光雷达的非接地点云进行聚类的方法。所产生的集群限定场景中的潜在对象并且进一步由边界框封闭。通常，边界框并不紧紧地封闭对象。在本公开中，边界框被视为兴趣区域并且使用根据相机和激光雷达定义的[Measuring the Objectness of Image Windows(测量图像窗口的对象)(IEEE图案分析和机器智能汇刊，第34卷，发行编号：11，2012年11月，第2189页至2202页]的对象测量来得到进一步改善。
根据另一个实施例，提供了一种适用于自动车辆的对象检测系统。所述系统包括激光雷达和控制器。所述激光雷达用于检测指示接近主车辆的对象的点云。所述点云被组织成多条扫描线。所述控制器与所述激光雷达通信。所述控制器被配置用于：将所述点云中的每个所检测到的点分类为接地点或非接地点；并且限定非接地点的行程，其中，每个行程的特征在于与一个或多个非接地点的后续行程分离开接地点的至少一个实例的扫描线中的相邻非接地点的一个或多个实例。所述控制器进一步被配置用于限定与所述对象相关联的非接地点的集群。所述集群的特征在于：当来自第一行程的第一点被移位小于距来自第二行程的第二点的距离阈值时，来自第一扫描线的所述第一行程与来自第二扫描线的所述第二行程相关联。
在阅读以下仅通过非限制性示例的方式并参照附图给出的优选实施例的详细描述之后，可以清楚地了解另外的特征和优点。
附图说明
现在将通过举例并且参考以下附图来描述本发明，在附图中：
图1A、图1B、图1C和图1D是根据一个实施例的例证扫描行程线(SLR)聚类算法的过程的四个阶段，其中，圆圈表示点并且三角上报集群标签；
图2A、图2B和图2C合作地形成根据一个实施例的基于图1的标签冲突解决技术的示例；
图3A和图3B是根据一个实施例的桥接圆形扫描线的两端的示例；并且
图4A和图4B是智能索引的示例：图4A是当两条扫描线在点数上具有显著差异(N外部几乎是N内部的两倍)的情况，并且图4B是根据一个实施例的当两条线中的点由于传感器的噪声和物理限制而丢失的情况；并且
图5是根据一个实施例的对象检测系统的简图。
具体实施方式
以下段落详细描述了用于分割360°覆盖激光雷达传感器接收到的点云的完整方法。首先，呈现被命名为接地平面拟合(GPF)的确定性迭代多平面拟合技术以用于快速提取接地点。接下来是被命名为扫描线行程(SLR)的点云聚类方法，所述点云聚类方法涉及用于在来自激光雷达的二进制图像中进行标记的连接分量的算法。每个段落在概念上被分为三个部分，包括：连同定义新术语一起对算法选择进行简要推理、根据伪代码简图来综述算法、以及讨论算法实施方式的细节。
A.接地平面拟合
属于接地表面的云点构成了来自激光雷达的典型点云的大部分，并且其移除大大地减少了继续进行的计算所涉及的点数。对接地点的标识和提取因两个主要原因而适用于此应用：(i)接地点因为与平面相关联因此可容易地标识，它们是具有简单数学模型的原始几何对象；以及(ii)可接受的是，假设具有最低高度值的点云的点最有可能属于接地表面。这一之前的知识用于指定点集合来启动算法并且消除典型的平面拟合技术(比如随机样本一致性(RANSAC))中见到的随机选择，导致了更快的会聚。
通常，单个平面模型不足以表示真实的接地表面，因为接地点并未形成完美的平面并且激光雷达测量引入了针对长距离测量的显著噪声。已观察到的是，在大多数实例中，接地表面展现了需要检测的斜率变化。所提出的接地平面拟合技术通过沿x轴(车辆的行驶方向)将点云分为多个分段并且在那些分段中的每个分段中应用接地平面拟合算法来将其适用性延伸至接地表面的这种实例。
如算法1的主循环中所描绘的，对于点云分段中的每个分段，接地平面拟合通过确定性地提取具有低高度值的种子点集合开始，然后，所述种子点用于估算接地表面的初始平面模型。针对估算出的平面模型对点云分割中的每个点P进行评估并且产生从所述点到其在候选平面上的正交投影的距离。将此距离与用户限定的阈值Th距离进行比较，从而决定所述点是否属于接地表面。属于接地表面的点被用作种子以便对新的平面模型进行改进的估算并且重复所述过程N迭代次。最后，针对点云分段中的每个分段的由此算法产生的接地点可以串联起来并且提供整个接地平面。
算法1：用于分割点云一次的接地平面拟合方法的伪代码。结果：Pg是属于接地表面的点；Png是不属于接地表面的点。
用于选择初始种子点的方法引入了最低点代表(LPR)，点被定义为点云的N最低点代表最低高度值点的平均值。LPR保证噪声测量将不会影响平面估算步骤。一旦已经计算出LPR，则将其视为点云P的最低高度值点并且将高度阈值Th种子内的点用作平面模型估算的初始种子。
关于平面的估算，使用了简单的线性模型：
a*x+b*y+c*z+d＝0 等式1A，
其可以被改写为
Trans[N]*X＝-d； 等式1B，
其中，N＝Trans[a b c]并且X＝Trans[x y z]，并且通过如通过种子点集S∈R(3)计算出的协方差矩阵C∈R(3x 3)来求解法线N，
C＝Σ{i＝1:|S|}Trans[(si-sm)*(si-sm)] 等式2，
其中，sm∈R(3)是所有si∈S的均值。
协方差矩阵C捕获了种子点及其三个奇异向量的分散，所述三个奇异向量可通过其奇异值分解(SVD)算出，描述此分散的三个主要方向。由于所述平面是平坦表面，因此垂直于所述平面的法线N用最小方差来指示方向并且由与最小奇异值相对应的奇异向量捕获。在得到N之后，通过用S代替X来直接从等式1计算出d，S很好地表示了属于平面的点。
B.扫描线行程
不属于接地表面的剩余点Png需要形成或者被组织成集群以用于更高水平的后处理方案。属于Png的元素的每个点(pk∈Png)的目标为在使用将确保过程的快速运行时间和低复杂度的简单机制的同时获取指示集群标识的标签‘l’。
在360°激光雷达传感器数据的情况下，3D点云的多层结构与2D图像的行式结构非常类似，其主要差异是每层中的非均匀元素数以及每层的圆形结构。所述方法将3D点视为图像的像素并且采用了[L.He、Y.Chao和K.Suzuki的“A run-based two-scan labelingalgorithm(基于行程的二次扫描标记算法)”，IEEE图像处理汇刊，第17卷，第5期，第749页至756页，2008年]中的根据二进制图像的两个行程连接的分量标记技术以便产生实时3D聚类算法。
从同一激光雷达圈产生的点层被命名为扫描线。在每条扫描线内，扫描线的元素被组织成具有连续点行程的向量。如在此使用的，行程被定义为具有同一标签的扫描线中的连续非接地点数。也就是说，行程内的元素共享同一标签并且是集群的主要构建块。
根据算法2并且在不失一般性的情况下，假设从顶扫描线开始以栅格逆时针的方式遍历点云Png。形成第一扫描线的行程并且每个行程接收其自身的新标签，所述新标签被继承或用于扫描线中的所有点元素。然后，第一扫描线的行程变为runsAbove并且用于将其标签传播至随后的扫描线中的行程。当新行程的点与其上文中之前的扫描线中的最近邻点之间的距离小于Th合并时，将标签传播至所述新行程。当同一行程中的多个点具有带有不同可继承(inheritable)标签的最近邻点时，所选择的或获胜的标签为最小标签。另一方面，当行程中的任何点都不可能找到适当的最近邻点时，其接收newLabel。借助于点云在单次通过中执行上文并且当这样做时，执行二次通过以便最终更新点的标签并提取集群。
算法2：扫描线行程聚类的伪代码。结果：标签是非接地点的标签。
参照附图1A和图1B的以下示例覆盖了所述方法的主要实例，其中，接地点由白点来指示(编号为1、4、7、9、11、14、15、16、20、21)并且非接地点由灰点来指示(编号为2、3、5、6、8、10、12、13、17、18、19)。灰点(编号为8、10、12、13、17、18、19)是还未被访问的非接地点。在图1A中，利用两个行程来初始化第一扫描线，所以将编号为2、3的非接地点指定为行程#1(三角中的1)并且将编号为5、6的非接地点指定为行程#2，其中，对行程的指定由newLabel来指示。图1B演示了newLabel的指定以及两个标签的传播。具体地，8的最近非接地邻点是2并且它们的距离大于Th合并。在此情况下，labelsToMerge为空并且点8表示新的集群。另一方面，10的最近非接地邻点是3，它们的距离小于Th合并，这使得标签1传播至点10。类似地，点12和13均靠近其对应邻点5和6，并且基于非空labelsToMerge，向其指配标签2。接下来，在存在一个行程的图1C中考虑最终的扫描线。点17和19具有属于不同集群并且均适合于传播其标签的近邻10和12。根据算法逻辑，两个标签中的最小标签(即，标签1)被继承。然而，如在图1D中所指示的，指出并且相应地通过下文中所讨论的标签等值求解技术来处理两个标签1和2的合并。
实施方式细节：
所述算法的要点直截了当，但是是用于高效实现关于以下各项的所提出的解决方案：(i)如何创建行程；(ii)如何寻找最近邻点；以及(iii)当合并两个或更多个相连分量时如何解决标签冲突。
i)行程在首次访问作为索引的向量的扫描线时被创建并且保留了关于哪些连续点足够接近被认为是扫描线内的单个块的信息。考虑到扫描线的圆形形式，行程可以通过第一索引和最后索引进行桥接。当被检测到时，此情况通过在第一行程的索引开始时附接结束扫描线的索引(如在图3的示例中所见到的)来解决。
ii)当输入点云用具有点x＝[rθz]的极坐标或柱面坐标来表达时，则对以上扫描线中的最近邻点进行索引可以被视为仅比较θ值。但是在自主车辆应用中，聚类是更大的传感器和算法系统的一个小分量，并且出于兼容性原因优选笛卡尔坐标系。在实施方式方面，朴素的解决方案是为了利用以上扫描线中的非接地点来构建kd树结构并且用此结构来找到每个最近邻点，产生了可以进一步改进的次优但可行的解决方案。
在假设扫描线中的点均匀地沿整条扫描线分布的情况下，利用克服了不同扫描线中不均匀元素数的问题并且显著减少了对最近邻点的查询数的智能索引方法。假设每条扫描线具有Ni个点数并且每个点拥有两个索引；表示其在整个点云中的位置的一个全局INDg、以及对扫描线内的点进行标识的一个局部INDl。可通过以下等式很容易地在扫描线K的索引之间交替：
INDlk＝INDg–∑{i＝0，K-1}Ni，其中，N0＝0 等式3。
给定扫描线i中的具有局部索引INDli的点索引，可能的是，通过以下等式直接在以上扫描线j中找到接近实际最近邻点的邻点INDlj的局部索引：
INDlj＝floor[(Nj/Ni)*INDli] 等式4，
以及根据等式3计算其全局索引。
根据扫描线内的点的分布，所述索引可能不指示最近邻点而指示足够接近的点。在此情况下，可能有必要搜遍最近邻点的多个周围点，但是此数量远远小于与整个扫描线有关的点。
在行程中，标识潜在的邻点并且搜遍所述邻点的周围以进行最佳匹配导致了破坏算法性能的较大开销。记住这一点，所提出的解决方案是为了经由智能索引来找到行程的第一点和最后点的最近邻点，形成所有非接地点在那个范围内的kd树结构，并且用此结构来搜索最近邻点。
智能索引的两个可视示例在图4A和图4B中可见。在图4A中，尽管两条扫描线中的点数很不相同，但是在外部扫描线中具有局部索引8、16、26和32的随机选择点被指示为在内部扫描线中分别具有局部索引5、9、15和18的点的最近邻点。另外，在图4B中，点的分布非常不均匀，但是智能索引仍成功地指示了适当邻点。由于吸收或者非常高的距离，这些情况对第一多条扫描线(当其激光束中的一些激光束不再返回时)而言是常见的。在连续扫描线之间的点数极大地不同或者扫描线的显著部分丢失的罕见情况下，智能索引将最有可能失败。在这些情况下，整条扫描线被认为是潜在的最近邻点的朴素解决方案仍产生了好的结果。
iii)在[L.He、Y.Chao和K.Suzuki的“A run-based two-scan labelingalgorithm(基于行程的二次扫描标记算法)”，IEEE图像处理汇刊》，第17卷，第5期，第749页至756页，2008年]中引入了用于解决标签合并冲突的方法，其中，提供了用于实现和深度理解的所有细节。接下来，给出了要点的简要呈现连同简单示例。
冲突在两个或更多个不同的已标记分量需要合并时出现，并且通过将其标签l添加到同一集合S中给出了解决方案。以此方式，一个连接的分量在其对应的S中用最小的l来表示，并且三个向量的复杂集合用于捕获它们的层次和连接。全部三个向量的大小为通过点云在第一遍期间已经创建的总标签数。第一向量“next(接下来)”的每个条目将下一个1存储在其S中，并且最后的1在S中的条目为-1。接下来，向量“tail(尾)”将索引存储到S的最后的1。最后的向量“rtable”具有上报在任何给定时刻各个1的最终标签将是什么的辅助作用。在第一遍结束时，rtable被用作用于进行最终标记的查找表。
现在参照由根据三个向量的点视角的图2A、图2B和图2C形成的示例。在图2A中，创建了两个标签(1和2)并且填写了标签l1、l2的条目。两个集合中的每个集合均只有一个元素，因此next条目均为-1，tail条目示出了S中的最后元素的索引，针对所述两个S所述索引分别为1和2，并且rtable示出了最终的代表标签。接下来，在图2B中，创建了l3并且与之前相同地填写了向量。最后，在图2C中，S1和S2合并了，这意味着next的第一条目将指向S1中的下一个元素的索引，S1中的两个元素的tail是相同的并且指向所述集合的最后元素的索引，并且rtable被更新以便恰当地描绘最终标签。
图5展示了适合用在自动车辆(例如，主车辆12)上的对象检测系统10(下文中被称为系统10)的非限制性示例。如在此使用的，术语‘自动车辆’并不意味着表明要求主车辆12的完全自动化或自主操作。设想在此呈现的教导适用于以下实例：其中，主车辆12完全由人类操作员(未示出)手动操作，除了一定低水平的自动化(比如仅向操作员提供存在对象14的警告和/或自动地操作主车辆12的刹车以防止与对象14碰撞)。也就是说，主车辆12可以在自动模式16下可操作，所述自动模式可以是完全自主型操作，其中，人类操作员做得很少(超出指定目的)，和/或主车辆12可以在手动模式18下可操作，其中，人类操作员通常控制主车辆12的转向、油门和刹车。
系统10包括用于检测点云22的激光雷达20，同样参见图1A至图1D。点云22可以指示对象14接近主车辆12。如在图1A至图1D以及多个附图中所示出的，点云22被组织成多条扫描线24。尽管图1A至图1D仅示出了扫描线24的三个实例，但是这仅仅是为了简化附图。也就是说，应当认识到，来自激光雷达20的通常可商购示例的点云22将提供具有更多条扫描线(例如，六十四条扫描线)的点云。
系统10包括与激光雷达20通信的控制器26。控制器26可以包括处理器(未具体示出)(比如微处理器)或其他控制电路系统(比如包括用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路系统)，如对本领域技术人员而言应当明显的。控制器26可以包括存储器(未具体示出)，所述存储器包括非易失性存储器，比如用于存储一个或多个例程、阈值以及所捕获的数据的电可擦除可编程只读存储器(EEPROM)。所述一个或多个例程可以被处理器执行以执行用于基于控制器26从激光雷达20接收到的信号(如在此描述的)来确定对象14的存在和位置的步骤。
控制器26被配置用于将点云中的每个所检测到的点分类为接地点28或非接地点30。已经提出了若干种方法以便将接地点28与非接地点30进行区分，如本领域技术人员将认识到的。
控制器26进一步被配置用于限定非接地点30的行程32。每个行程32被表征为与一个或多个非接地点30的后续行程32分离开接地点28的至少一个实例的扫描线24的实例中的相邻非接地点的一个或多个实例的集合。也就是说，在没有接地点28的介入实例的情况下，行程32的每个实例通由彼此接近(即，彼此相邻)的非接地点30的一个或多个实例来定义。
控制器26进一步被配置用于限定与对象14相关联的非接地点的集群34。如果激光雷达20的视场中存在多个对象，则点云22中可能存在点云34的多个实例。集群34的特征可以在于或者包括：当来自第一行程32A的第一点22A被移位小于距来自第二行程32B的第二点22B的距离阈值36(参见上文中的‘阈值合并’)时，来自第一扫描线24A的所述第一行程32A(图1B)与来自第二扫描线24B的所述第二行程32B相关联。
从而，提供了一种对象检测系统(系统10)、用于系统10的控制器26以及操作所述系统10的方法。将非接地点30组织成行程32并且然后将附近的行程32关联成集群34的过程成为处理来自激光雷达20的点云数据的高效方式。
虽然是根据本发明的优选实施例描述了本发明，但是本发明并不局限于此，而是仅在以下权利要求书所阐述的范围内。

Claims (1)

1.一种适用于自动车辆的对象检测系统(10)，所述系统(10)包括：
激光雷达(20)，所述激光雷达用于检测指示接近主车辆(12)的对象(14)的点云(22)，所述点云(22)被组织成多条扫描线(24)；
控制器(26)，与所述激光雷达(20)通信，所述控制器(26)被配置用于
将所述点云(22)中的每个所检测到的点(10)分类为接地点(28)或非接地点(30)，
限定非接地点(30)的行程(32)，每个行程(32)的特征在于与一个或多个非接地点(30)的后续行程(32)分离开接地点(28)的至少一个实例的扫描线(24)中的相邻非接地点(30)的一个或多个实例，
限定与所述对象(14)相关联的非接地点(30)的集群(34)，所述集群(34)的特征在于：当来自第一行程(32A)的第一点(22A)被移位小于距来自第二行程(32B)的第二点(22B)的距离阈值(36)时，来自第一扫描线(24A)的所述第一行程(32A)与来自第二扫描线(24B)的所述第二行程(32B)相关联。
CN201710817870.1A 2016-09-12 2017-09-12 适用于自动车辆的对象检测系统 Active CN107817496B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/262,467 2016-09-12
US15/262,467 US10031231B2 (en) 2016-09-12 2016-09-12 Lidar object detection system for automated vehicles

Publications (2)

Publication Number Publication Date
CN107817496A true CN107817496A (zh) 2018-03-20
CN107817496B CN107817496B (zh) 2021-05-07

Family

ID=59846353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710817870.1A Active CN107817496B (zh) 2016-09-12 2017-09-12 适用于自动车辆的对象检测系统

Country Status (3)

Country Link
US (1) US10031231B2 (zh)
EP (1) EP3293670B1 (zh)
CN (1) CN107817496B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985254A (zh) * 2018-08-01 2018-12-11 上海主线科技有限公司 一种基于激光的带挂卡车跟踪方法
TWI650570B (zh) * 2018-05-21 2019-02-11 華創車電技術中心股份有限公司 基於光學雷達之行車輔助方法
CN111044986A (zh) * 2019-12-25 2020-04-21 成都纳雷科技有限公司 一种用于雷达目标检测的密度聚类方法及装置
CN112183247A (zh) * 2020-09-14 2021-01-05 广东工业大学 一种基于多光谱影像的激光点云数据分类方法
WO2023155389A1 (zh) * 2022-02-16 2023-08-24 中国第一汽车股份有限公司 三维物体检测方法、装置、存储介质、处理器及系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10031231B2 (en) * 2016-09-12 2018-07-24 Delphi Technologies, Inc. Lidar object detection system for automated vehicles
US10837773B2 (en) * 2016-12-30 2020-11-17 DeepMap Inc. Detection of vertical structures based on LiDAR scanner data for high-definition maps for autonomous vehicles
EP3351899B1 (en) * 2017-01-24 2020-06-17 Leica Geosystems AG Method and device for inpainting of colourised three-dimensional point clouds
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US20190005667A1 (en) * 2017-07-24 2019-01-03 Muhammad Zain Khawaja Ground Surface Estimation
TWI651686B (zh) * 2017-11-30 2019-02-21 國家中山科學研究院 一種光學雷達行人偵測方法
FR3080922B1 (fr) * 2018-05-03 2020-09-18 Transdev Group Dispositif electronique et procede de detection d'un objet via un lidar a balayage, vehicule automobile autonome et programme d'ordinateur associes
US10434935B1 (en) * 2018-06-29 2019-10-08 Nissan North America, Inc. Interactive external vehicle-user communication
US10627516B2 (en) 2018-07-19 2020-04-21 Luminar Technologies, Inc. Adjustable pulse characteristics for ground detection in lidar systems
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
CN110148144B (zh) * 2018-08-27 2024-02-13 腾讯大地通途（北京）科技有限公司 点云数据的分割方法和装置、存储介质、电子装置
CN109188448B (zh) * 2018-09-07 2020-03-06 百度在线网络技术（北京）有限公司 点云非地面点过滤方法、装置及存储介质
WO2020097840A1 (en) * 2018-11-15 2020-05-22 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN110869974B (zh) * 2018-11-19 2024-06-11 深圳市卓驭科技有限公司 点云处理方法、设备及存储介质
US11294384B2 (en) * 2019-06-03 2022-04-05 The Boeing Company Vehicle navigation using point cloud decimation
CN112327308B (zh) * 2019-07-19 2024-07-16 浙江菜鸟供应链管理有限公司 物体检测方法、装置、系统及设备
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN112634181B (zh) * 2019-09-24 2024-06-14 阿波罗智能技术(北京)有限公司 用于检测地面点云点的方法和装置
JPWO2021095879A1 (zh) * 2019-11-13 2021-05-20
US11668798B2 (en) 2019-11-14 2023-06-06 Nio Technology (Anhui) Co., Ltd. Real-time ground surface segmentation algorithm for sparse point clouds
CN111192284B (zh) * 2019-12-27 2022-04-05 吉林大学 一种车载激光点云分割方法及系统
CN111260683B (zh) * 2020-01-09 2023-08-08 合肥工业大学 一种三维点云数据的目标检测与跟踪方法及其装置
US11403482B2 (en) 2020-01-15 2022-08-02 Aptiv Technologies Limited Adaptive search for LiDAR-based clustering
US11668799B2 (en) 2020-03-20 2023-06-06 Aptiv Technologies Limited Histogram based L-shape detection of target objects
US11977165B2 (en) 2020-08-10 2024-05-07 Waymo Llc Self-reflection filtering
CN112200171B (zh) * 2020-12-07 2021-03-23 速度时空信息科技股份有限公司 一种基于扫描线的道路点云的提取方法
CN113205139B (zh) * 2021-05-06 2024-09-13 南京云智控产业技术研究院有限公司 一种基于密度聚类的无人艇水上球体检测方法
DE102021119224A1 (de) * 2021-07-26 2023-01-26 Valeo Schalter Und Sensoren Gmbh Clustern von Scanpunkten eines Laserscanners
KR102618680B1 (ko) * 2021-09-07 2023-12-27 충북대학교 산학협력단 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
DE102022208239A1 (de) 2022-08-08 2024-02-08 Carl Zeiss Smt Gmbh Vorrichtung und Verfahren zur Sensorischen Messung Chemischer und/oder Physikalischer Eigenschaften einer Klebeschicht und/oder eines die Klebeschicht Kontaktierenden Mediums, sowie Verfahren zur Herstellung einer entsprechenden Vorrichtung und Verfahren zur Sensorischen Messung

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702200A (zh) * 2009-11-03 2010-05-05 武汉大学 一种机载激光雷达点云数据的自动分类方法
CN104049259A (zh) * 2014-07-01 2014-09-17 南京大学 基于虚拟仪器的激光雷达三维成像系统
CN104166989A (zh) * 2014-07-04 2014-11-26 电子科技大学中山学院 一种用于二维激光雷达点云匹配的快速icp方法
CN104298998A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云的数据处理方法
CN105354811A (zh) * 2015-10-30 2016-02-24 北京自动化控制设备研究所 一种地面用多线三维激光雷达点云数据的滤波方法
US9296393B2 (en) * 2013-10-08 2016-03-29 Hyundai Motor Company Apparatus and method for recognizing vehicle
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8224097B2 (en) * 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
US8605998B2 (en) * 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
US8798372B1 (en) * 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US9830509B2 (en) * 2015-06-29 2017-11-28 Nokia Technologies Oy Method and apparatus for constructing a digital elevation model utilizing ground points captured by ground-based LiDAR
US10031231B2 (en) * 2016-09-12 2018-07-24 Delphi Technologies, Inc. Lidar object detection system for automated vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702200A (zh) * 2009-11-03 2010-05-05 武汉大学 一种机载激光雷达点云数据的自动分类方法
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类
US9296393B2 (en) * 2013-10-08 2016-03-29 Hyundai Motor Company Apparatus and method for recognizing vehicle
CN104049259A (zh) * 2014-07-01 2014-09-17 南京大学 基于虚拟仪器的激光雷达三维成像系统
CN104166989A (zh) * 2014-07-04 2014-11-26 电子科技大学中山学院 一种用于二维激光雷达点云匹配的快速icp方法
CN104298998A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云的数据处理方法
CN105354811A (zh) * 2015-10-30 2016-02-24 北京自动化控制设备研究所 一种地面用多线三维激光雷达点云数据的滤波方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUILIN YIN: "Spherical Coordinates Based Methods of Ground Extraction and Objects Segmentation Using 3-D LiDAR Sensor", 《IEEE INTELLIGENT TRANSPORTATION SYSTEMS MAGAZINE》 *
程健: "基于三维激光雷达的实时目标检测", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI650570B (zh) * 2018-05-21 2019-02-11 華創車電技術中心股份有限公司 基於光學雷達之行車輔助方法
CN108985254A (zh) * 2018-08-01 2018-12-11 上海主线科技有限公司 一种基于激光的带挂卡车跟踪方法
CN111044986A (zh) * 2019-12-25 2020-04-21 成都纳雷科技有限公司 一种用于雷达目标检测的密度聚类方法及装置
CN111044986B (zh) * 2019-12-25 2022-05-10 成都纳雷科技有限公司 一种用于雷达目标检测的密度聚类方法及装置
CN112183247A (zh) * 2020-09-14 2021-01-05 广东工业大学 一种基于多光谱影像的激光点云数据分类方法
CN112183247B (zh) * 2020-09-14 2023-08-08 广东工业大学 一种基于多光谱影像的激光点云数据分类方法
WO2023155389A1 (zh) * 2022-02-16 2023-08-24 中国第一汽车股份有限公司 三维物体检测方法、装置、存储介质、处理器及系统

Also Published As

Publication number Publication date
US20180074203A1 (en) 2018-03-15
CN107817496B (zh) 2021-05-07
EP3293670A1 (en) 2018-03-14
US10031231B2 (en) 2018-07-24
EP3293670B1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
CN107817496A (zh) 用于自动车辆的激光雷达对象检测系统
CN107818557A (zh) 用于自动车辆的增强型相机对象检测
US11798173B1 (en) Moving point detection
US11798281B2 (en) Systems and methods for utilizing machine learning models to reconstruct a vehicle accident scene from video
Lagrange et al. Benchmarking classification of earth-observation data: From learning explicit features to convolutional networks
Chen et al. Gaussian-process-based real-time ground segmentation for autonomous land vehicles
Yao et al. Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
Deng et al. Nerf-loam: Neural implicit representation for large-scale incremental lidar odometry and mapping
Arora et al. Mapping the static parts of dynamic scenes from 3D LiDAR point clouds exploiting ground segmentation
Park et al. Nonparametric background model-based LiDAR SLAM in highly dynamic urban environments
Bruno et al. Analysis and fusion of 2d and 3d images applied for detection and recognition of traffic signs using a new method of features extraction in conjunction with deep learning
Palazzolo et al. Change detection in 3d models based on camera images
Landsiedel et al. Road geometry estimation for urban semantic maps using open data
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
JP6894395B2 (ja) 情報取得装置及び情報集計システム並びに情報集計装置
Laghmara et al. 2.5 D evidential grids for dynamic object detection
Rieken et al. A LiDAR-based real-time capable 3D perception system for automated driving in urban domains
Lauer et al. TeleAgro+ analysis framework for agricultural telematics data
Zhang et al. Object tracking method based on data computing
Wang et al. Laser-based detection and tracking of dynamic objects
Hodges Deep learning based vision for driverless vehicles in hazy environmental conditions
Guo et al. Hierarchical road understanding for intelligent vehicles based on sensor fusion
Onen LiDAR and Radar-Based Occupancy Grid Mapping for Autonomous Driving Exploiting Clustered Sparsity
Moreira Scene understanding from 3D point clouds and RGB images for autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181203

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: michigan

Applicant before: DELPHI TECHNOLOGIES, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240819

Address after: Luxembourg

Patentee after: Anbofu Technology (2) Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Patentee before: Delphi Technologies, Inc.

Country or region before: Barbados

TR01 Transfer of patent right