CN108780154B - 3d点云的处理方法 - Google Patents

3d点云的处理方法 Download PDF

Info

Publication number
CN108780154B
CN108780154B CN201780017140.1A CN201780017140A CN108780154B CN 108780154 B CN108780154 B CN 108780154B CN 201780017140 A CN201780017140 A CN 201780017140A CN 108780154 B CN108780154 B CN 108780154B
Authority
CN
China
Prior art keywords
space
data
point
point cloud
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780017140.1A
Other languages
English (en)
Other versions
CN108780154A (zh
Inventor
兹米特里·特西什库
弗雷德里克·阿贝德
雷米·班达昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMRA Europe SAS
Original Assignee
IMRA Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMRA Europe SAS filed Critical IMRA Europe SAS
Publication of CN108780154A publication Critical patent/CN108780154A/zh
Application granted granted Critical
Publication of CN108780154B publication Critical patent/CN108780154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种三维(3D)点云的处理方法，包括以下步骤：从深度传感器的预确定视点获得3D点云；相对于该视点从3D点云的每个点提取3D坐标(xyz)和强度(i)数据；将3D坐标(xyz)和强度(i)数据转换成至少三个二维(2D)空间，即每个点的强度(i)数据的强度2D空间(IS)函数、每个点的高程(h)数据的高度2D空间(HS)函数以及3D点云的每个点和视点之间的距离(d)数据的距离2D空间(DS)函数，该二维空间定义了单个多通道2D空间(IS、HS、DS)。

Description

3D点云的处理方法
本发明涉及车辆自动驾驶。具体地，本发明涉及使用激光雷达(Lidar)等导出的三维(3D)点云的处理方法。本发明还涉及一种用于基于这种处理方法并使用机器学习对3D点云中的感兴趣对象进行分类的方法。
这些方法在使用深度传感器(诸如用于障碍物检测和回避的激光雷达传感器)安全导航通过环境的人工辅助或自主车辆的领域中特别有用。激光雷达传感器通过用激光照射目标来测量距离。
Richard Socher、Brody Huval、Bharath Bhat、Christopher D.Manning、AndrewY.Ng，2012年在NIPS上的出版物“Convolutional-Recursive Deep learning for 3Dobject classification”描述了一种使用卷积递归深度学习的3D对象分类的方法。分类系统的输入需要RGB-D信息，该信息由来自相机的RGB(红、绿、蓝)数据和来自深度传感器(立体声、TOF、激光雷达等)的D(距离)组成。这种方法存在几个缺点，其中包括几个传感器(即照相机和深度传感器)的使用，以及对于将来自照相机(图像)的数据与深度传感器(坐标)集成在一起的需要以提供深度学习。
Alex Teichman,、Jesse Levinson和Sebastian Thrun于2011年在ICRA的出版物“Towards 3D object recognition via classification of arbitrary object tracks”描述了一种对象识别的方法。在所描述的方法中，每个数据源被用于以顺序方式计算手工特征，随后是一系列级联的机器学习分类。这个处理流程被优化以解决大多数通用高度重复的情况，但是由于不能同时对所有情况都是最佳的参数调整的受限灵活性，其在不太通用的情况下表现不佳。最后，只有强度数据以2D图像地图的形式呈现，这限制了对单一信息源的并行访问和处理。
文献EP 2958049A2描述了一种从点云中提取特征区域的方法。所描述的方法使用手工过程以用于关键点选择以及对于相应体素的描述符计算，其随后通过机器学习算法进行分类。这种预先选择特征的处理管道无法让深度神经网络(DNN)实现其自动寻找特征的潜力，因为由于手工方法的选择而使信息的重要部分被预过滤。这种预过滤对于某些类型的情况可能是有益的，而在许多其他现实世界的情况下则是不利的。此外，所描述的方法没有补偿点云数据的低密度，因此对远距离的对象具有较低的识别准确性。
由Yu等人出版的“Obstacle Classification and 3D Measurement inUnstructured Environments Based on ToF Cameras”描述了一种基于飞行时间(ToF)相机的使用以用于非结构化环境中机器人导航的障碍物检测和分类方法。当使用不同类型的传感器(TOF vs.雷达激光)时，强度测量使用被控制为所谓的1-抽头传感器的SR-3000传感器来执行。这意味着为了获得可靠的距离信息，必须进行四次连续曝光。因此，场景中的快速移动目标可能会导致距离计算中的误差。根据SR-3000传感器手册中定义的系统参数(https://aiweb.techfak.uni-bielefeld.de/files/SR3000_manual_V1.03.pdf)，所描述的方法在850nm波长下使用高达7.5m的强度。此外，所描述的方法基于特征工程方法，其中所有特征都是手工的，使得数据如何被组合的方式保持不变，与训练数据无关。它从不使用强度和3D信息的组合来形成对于对象识别的特征，而是使用3D数据或者2D数据从而进行处理，同时通过使对于每个像素的强度值和3D测量值之间具有直接对应关系。此外，所描述的方法在感兴趣区域的分割期间使用强度来过滤噪声，以改进3D障碍聚类。更具体地，所描述的方法使用4个单独的通道I、X、Y、Z，这形成了几个空间，并且在没有额外的处理阶段的情况下不能够通过卷积深度神经网络简单且有效地处理。
这些现有技术通过来自多个传感器的数据和/或特征选择的手工过程的组合来解决对象分类的问题，这在日常情况下给出了可接受的结果。然而，传感器的组合实际上将使用条件限制在其中所有使用的传感器都能有效捕获信号的情况下(例如，白天、良好的天气条件等)，并且在其中一个传感器不能解析捕获的信号的情况下(例如，夜晚的照相机、雨天等)无法提供准确的结果。此外，手工特征选择过程只能被调整为在极少数典型情况下(例如最常见的情况)获得最大性能，而在其他情况下(罕见/唯一)，由于缺少对于稳健分类所需的手工特征，它不能获得相同的性能。
本发明旨在解决现有技术的上述缺点，并且首先提出一种简单且适于机器学习目的的3D点云的处理方法，以及基于这种处理方法和使用机器学习对在3D点云内的感兴趣对象的分类方法。
为此，本发明的第一方面是一种三维(3D)点云的处理方法，包括以下步骤：
-从深度传感器的预确定视点获得3D点云；
-相对于所述视点从3D点云的每个点提取3D坐标(xyz)和强度(i)数据；
-将3D坐标(xyz)和强度(i)数据转换成至少三个二维(2D)空间：
ο每个点的强度(i)数据的强度2D空间(IS)函数；
ο每个点的高程(h)数据的高度2D空间(HS)函数，以及
ο3D点云的每个点和视点之间的距离(d)数据的距离2D空间(DS)函数，
定义单个多通道2D空间(IS、HS、DS)。
根据上述实施例的处理方法提供了一种简单和容易的方式来将获得的3D点云数据转换成由至少三个2D空间定义的单个多通道2D空间，该至少三个2D空间包括关于强度、高程和距离的信息，这些信息允许保留所有基本信息以便识别3D点云内的任何感兴趣的对象。此外，具有来自深度传感器强度数据的强度空间带来了对分类由不同材料制成的对象有用的附加信息源。此外，这种单个多通道2D空间很好地适用于机器学习算法，并且只需要使用单个深度传感器，与传感器的融合相比，该单个深度传感器成本更低，并且产生对于全部昼夜和天气条件的具有3D坐标的点云的时间序列和具有相同信噪比的强度数据。因此，通过定义对应于单个组合图像空间的单个多通道2D空间(IS，HS，DS)，它极大地提高了深度或卷积神经网络(DNN或CNN)同时自动确定对于所有层的3种类型信息(强度、高度、深度)的深度列中滤波器/特征的最佳组合的能力。
有利地，转换步骤还包括检测背景点和为检测到的背景点设置预确定默认值的步骤。由于其坐标和强度值而被检测到的背景点在不同的2D空间内被设置为固定值(例如，0、0、0)。因此，也被转换成2D空间的前景点(非背景)将不会完全占据它们。实际上，在生成的2D空间中，背景点将是空的。优选地，所选择的默认值应该不同于投影到对于每个空间/通道的2D空间中的点的值。我们用不同的值进行了实验，发现固定默认值(0，0，0)提供了最高的结果准确度。此外，机器学习将能够使用背景/前景信息来学习感兴趣对象的外部形状或轮廓。
有利地，该处理方法包括训练阶段，在该训练阶段期间，在转换步骤之前它还包括以下步骤：
-供应标签数据(标记-A)，其将对象分类为1:N类；和
-根据所供应的标签数据(标记-A)，将每个提取的点数据(xyzi)标记为属于1:N类的对象。
这种标记步骤确保在训练阶段期间，3D点云中感兴趣的对象被正确地分配给相应的标签。它还缩短了这种训练阶段，并且提高了在线阶段期间的分类的可靠性。
有利地，转换步骤包括2D空间中的至少一个2D空间的归一化步骤，其包括：
-通过根据距离数据对每个点的强度数据应用强度归一化函数来归一化强度空间(IS)；和/或
-通过根据3D点云内的最小和最大高程数据对每个点的高程数据应用高度归一化函数来归一化高度空间(HS)；和/或
-通过根据3D点云内的最小和最大距离数据对每个点的距离数据应用距离归一化函数来归一化距离空间(DS)，
定义归一化的单个多通道2D空间(ISN、HSN、DSN)。
这种归一化使数据变得统一，并增强了机器学习对寻找通用模式的关注。事实上，通过将绝对(唯一)和相对(通用)数据通道混合在一起来进行归一化步骤，已经证明是3D点云内的唯一和通用情况之间的有效权衡。
有利的是，3D点云使用诸如激光雷达的深度传感器导出。使用诸如激光雷达的单个深度传感器来定义单个多通道2D空间被证明是更加经济和易于集成的，特别是在所产生的数据格式方面。
有利地，对于每个点，强度空间、高度空间和距离空间中的每一个分别被分配给RGB(红、绿、蓝)值空间中的一个。使用RGB值空间来分配而非定义单个多通道2D空间的强度、高度和距离空间的做法允许与已经设计用于接收这种RGB值空间的机器学习算法的完美数据匹配，而不需要任何格式修改。因此，RGB值空间被设计成与通常在机器学习算法的入口处提供的RGB图像处理链直接兼容。
根据另一目的，本发明的第二方面是一种用于分类在3D点云内的感兴趣对象的方法，包括以下步骤：
-根据第一方面方法变体中任一个的处理方法；
-将至少一个单个多通道2D空间(IS，HS，DS；ISN，HSN，DSN)供应给诸如深度神经网络的机器学习；
-对于所供应的每个单个多通道2D空间输出至少一个分类标记，用于识别3D点云内的至少一个感兴趣对象。
根据以上实施例的分类方法提供了一种方法，该方法将至少三种不同的信息源(即强度、高度和距离)以合并的(归一化的)2D空间的形式合并在一起，其定义了(归一化的)单个多通道2D空间，这是对于任何机器学习传达该信息的非常有效的方式。实际上，单个多通道2D空间可以用作诸如卷积或深度神经网络的机器学习的并行处理链的入口。利用这种合并的2D空间(即，(归一化的)单个多通道2D空间)的并行访问和处理、通过机器学习，可以自动构建特征/决策空间，由于它能够找到更稳定的模式，特别是与强度、高度和距离信息的组合相关的、人类难以手工进行的模式，其在更广泛的情况下最大限度地提高分类性能。因此，通过设计单个多通道空间，它将输入层的深度扩展了3倍，从而使CNN/DNN有能力学习滤波器/特征的最佳组合。它还加快了反应时间，这在训练阶段期间是重要的，以便能够消化尽可能多的数据，并且其在在线阶段期间(例如在驾驶条件下)也是重要的，以便能够尽快识别任何潜在的危险。
有利地，在机器学习的训练阶段期间，供应步骤包括：
-通过重复根据第一方面方法变体中的任一个的处理方法来累积一批多通道2D空间；以及一种或更多种以下变体：
-供应在所述一批累积的多通道2D空间中的随机数量的多通道2D空间的平均组合；
-供应以预定顺序分布在所述一批累积的多通道2D空间中的几个多通道2D空间；
-供应从所述一批累积的多通道2D空间中随机选择的至少2x2多通道2D空间的矩阵。
与不补偿低密度的点云数据的现有技术方法相比，使用组合成一个或几个多通道2D空间的数据的时间序列(累积的一批)的这种供应变体在训练阶段期间特别有用，特别有助于补偿远距离处的低密度数据，因此允许DNN访问更多信息并选择更稳定的特征/模式，从而导致对远距离处对象的更高识别准确度。
虽然在在线阶段期间也可以向DNN供应多通道2D空间的这种组合，但是优选仅供应单个多通道2D空间以获得更快的处理和输出。此外，经过训练的DNN受益于训练阶段，即使其接收到低密度的点数据，也能够准确识别稳定的模式。
根据另一个目的，本发明还涉及一种车辆，包括：
-深度传感器，其被布置成当车辆被驾驶时至少从驾驶员的角度获得跟随路径的3D点云，
-处理单元，其用于处理根据本发明第一方面获得的3D点云；
-分类单元，其用于根据本发明的第二方面对处理后的3D点云内的感兴趣对象进行分类；
-显示单元，其被布置为显示与所分类的感兴趣对象相关的信息；
-自动驾驶单元，其被布置成根据所分类的感兴趣对象来控制车辆；和
-决策单元，其决定激活显示单元和自动驾驶单元中的至少一个。
本发明的其它特征和优点将从下面对通过附图示出的本发明的特定非限制性示例的详细描述中更清楚地显现出来，在附图中：
-图1表示根据本发明的优选实施例的3D点云的处理方法；
-图2表示根据本发明的第二方面的用于分类在3D点云内的感兴趣对象的方法；
-图3A-3D表示多通道2D空间的四种变体；
-图4表示装备有实施根据本发明的方法所必需的单元的车辆。
根据本发明的方法是根据第一方面的一种用于将由深度传感器(例如激光雷达)获得的三维(3D)点云转换成一个单个或几个多通道2D空间的方法，并且根据第二方面的一种使用由通过该处理方法获得的一个或更多个多通道2D空间供应的机器学习(例如深度神经网络)对3D点云内的感兴趣对象进行分类的方法。这种分类方法包括学习阶段和在线阶段，在学习阶段期间，深度神经网络(DNN)学习所有可能的有用模式以基于以多通道2D空间的格式供应的尽可能多的数据来分类和识别3D点云内的感兴趣对象，在在线阶段期间，DNN对在以单个多通道2D空间的形式供应的3D点云数据内识别的感兴趣对象进行分类。
如已经提到的，这些方法在使用深度传感器(诸如用于障碍物检测和回避的激光雷达传感器)安全导航通过环境的人工辅助或自主车辆的领域中特别有用。来自激光雷达传感器的3D点云输出为包括这两种方法的机器人软件提供了必要的数据，以快速且准确地确定环境中潜在障碍物存在的位置。
根据图1所示的3D点云的优选处理方法，该处理方法包括四个阶段A至D。阶段A是使用深度传感器(诸如激光雷达)对3D点云数据的获取阶段。阶段B是投影阶段，也称为转换阶段，其中3D点云数据被投影或转换为几个2D空间。阶段C是可选阶段，其中在阶段B处获得的2D空间被归一化以得到统一数据。根据处理方法是在与分类方法相关的训练阶段还是在线阶段期间使用，阶段D定义并组合了几种多通道2D空间，以进一步供应给机器学习。
在阶段A中，所使用的深度传感器优选是扫描激光测距仪类型的激光雷达传感器。
该激光雷达传感器用激光束扫描其环境，并测量对于扫描的每个点距激光雷达传感器视点的其距离以及其强度，从而允许在时间T处以3D点云(数据-A)的形式重建场景的三维模型，该3D点云包括对于云的每个点相对于激光雷达传感器的视点的3D坐标(xyz)和强度数据(i)。
可以使用的激光雷达传感器的示例是Velodyne激光雷达传感器HDL-64E(http:// velodynelidar.com/docs/datasheet/63-9194_Rev-D_HDL-64E_Data％20Sheet_ Web.pdf)。这个激光雷达传感器使用64个固定安装的激光器来测量周围环境，每一个都以特定的垂直角度机械安装，其中整个单元旋转。这种方法极大地提高了可靠性、视野(FOV)和点云密度。3D点云的捕捉频率优选在10到15Hz之间，允许在905nm波长处捕捉高达120m的点云时间序列。
优选地，在训练阶段期间，供应将对象分类为1:N类的标签数据(标记-A)，使得基于供应的标签数据(标记-A)将获得的3D点云数据(数据-A)标记为属于1:N类的对象。
阶段A的输出对应于对于每个点的被分解成相对于视点的3D坐标和强度值的标记点云数据(数据-A和标记-A)。
在阶段B中，输入(标记的)3D点云数据(数据-A)。在时间T处，3D坐标(xyz)和强度(i)数据被投影到三个不同的2D图像空间，即强度2D空间(IS)、高度2D空间(HS)和距离2D空间(DS)。
为了将3D坐标转换成2D空间，可以使用几种方法，诸如定义为再现对应于激光雷达传感器的视点的2D图像的投影矩阵3D到2D。例如，我们可以使用透视投影类型的转换矩阵(https://en.wikipedia.org/wiki/Transformatio n_matrix#Perspective_ projection)。我们还可以通过应用3D旋转(例如相对于y轴)来使用转换矩阵，以便获得规范视图，或者在2D空间上投影之前以不同的角度值进行多次旋转作为数据增强的形式，使得深度神经网络能够更准确地识别新视图。
强度2D空间(IS)被定义为3D点云内的每个点的强度(i)数据的函数。这种功能可以如例如强度数据到2D空间中的直接转置非常简单，或者还取决于距离数据而更复杂。
高度2D空间(HS)由此被定义为相对于视点链接到每个点的z坐标的高程数据(h)的函数。
距离2D空间(DS)被定义为链接到xyz坐标的视点和每个点之间的距离(d)数据的函数。这样的距离空间旨在仅反射从视点可以看到的点云中的点。一个简单的绝对函数可以例如是如下：
d＝sqrt(x^2+y^2+z^2)。
优选地，由于其距离和强度值而被检测到的背景点在不同的2D空间内被设置为固定值(零)，以便被排除在机器学习之外。
阶段B的输出对应于三个2D空间，包括定义单个多通道2D空间的强度、高度和距离2D空间(数据-B)。
在阶段C中，输入三个2D空间(数据-B)。这个阶段用于归一化所有2D空间并呈现统一数据。这种归一化是根据最小值和最大值或任何其他适当的复杂函数来完成的，使得数据表示在时间T处点云内的强度、高度和距离的相对变化。
归一化强度2D空间(ISN)通过根据距离数据对每个点的强度数据应用强度归一化函数来获得。复杂函数的示例是如在Velodyne用户手册和编程指南HDL-64E S3“HighDefinition LiDAR Sensor”(见第45页)中给出的作为对象的距离函数的强度的归一化。
http://velodynelidar.com/docs/manuals/63-HDL64ES3g％20USERS％ 20MANUAL_PROGRAM％20GUIDE,％20HDL-64E％20S3.pdf)
归一化高度2D空间(HSN)通过根据3D点云内的最小和最大高程数据对每个点的高程数据应用高度归一化函数来获得。对于点云的每个点的高度归一化函数的示例如下：
height.pixel.value＝255*((z-min_pt.z)/(max_pt.z-min_pt.z))；
其中，min_pt.z和max_pt.z对应于在给定时间T处的3D点云内的最小和最大高度。
归一化距离2D空间(DSN)通过根据3D点云内的最小和最大距离对每个点的距离数据应用距离归一化函数来获得。
对于点云的每个点的距离归一化函数的示例如下：
distance.pixel.value＝255*((d-min_pt.d)/(max_pt.d-min_pt.d))；
其中，min_pt.d和max_pt.d对应于在给定时间T处的3D点云内的最小和最大距离。
对于距离或高度归一化的复杂函数，我们可以考虑使用上述公式，但是其中权重[a，b]取决于视点(即，激光雷达传感器)和点云内检测到的对象之间的距离。例如，我们可以为远处对象设定接近于[b]的权重，为更近的对象设定接近于[a]的权重，其中[a]>[b]。[a]和[b]的值将优选通过实验来定义，以优化在每个目标距离处对象的分类。
height.pixel.value＝weight(distance)*255*((z-min_pt.z)/(max_pt.z-min_pt.z))；
distance.pixel.value＝weight(distance)*255*((d-min_pt.d)/(max_pt.d-min_pt.d))；
阶段C的输出对应于定义单个归一化多通道2D空间的归一化的三个2D空间(数据-C)。
在阶段D中，输入归一化的三个2D空间(数据-C)。根据处理方法是在训练阶段还是在线阶段期间使用，阶段D定义并组合了几种(归一化的)多通道2D空间(数据-D)，以进一步供应给机器学习，如其将关于图2所解释的。多通道2D空间的几个示例将在图3A-3D中更详细地呈现。
图3A-3D示出了从阶段D输出的将要供应给机器学习的数据组合的四个示例(阶段E，图2)。每个图显示了对应于输入到阶段D的一批累积的数据(数据-C)的九个连续的单个多通道2D空间(ihd)的原始时间序列。每个2D空间是64x64像素的阵列，使得每个单个多通道2D空间(ihd)是64x64x3的阵列。
在图3A的第一示例中，阶段D的输出(数据-D)对应于最后一个单个多通道2D空间(ihd 9)。在需要来自机器学习的响应性时的在线阶段期间，优选使用最后一个固定位置的这种直接选择。数据-D格式与单个多通道2D空间相同，也就是说64x64x3。
在图3B的第二示例中，阶段D的输出对应于在原始时间序列中的随机数量的多通道2D空间的平均组合。这种平均组合优选在机器学习的训练阶段期间使用，以便基于更多信息(ihd 1-9)供应数据。在图示的示例中，随机选择9个多通道2D空间中的6个(例如，2、1、5、9、6、4)。数据-D格式与单个多通道2D空间相同，也就是说64x64x3。
在图3C的第三示例中，阶段D的输出对应于在原始时间序列中以预定顺序分布的几个多通道2D空间(ihd切片)。这种切片组合优选在机器学习的训练阶段期间使用，以便基于更多信息(ihd 1-9)供应更多数据(3ihd)。在图示的示例中，选择第一(ihd 1)、中间(ihd5)和最后(ihd 9)多通道2D空间。数据-D格式是64x64x3的三倍。
在图3D的第四示例中，阶段D的输出对应于从原始时间序列中随机选择的至少2x2多通道2D空间的矩阵。这种矩阵组合优选在机器学习的训练阶段期间使用，以便基于更多信息(ihd 1-9)供应更多数据(4ihd)。在图示的示例中，从9个ihd中随机选择四个ihd(ihd3、6、7、8)。数据-D格式为128x128x3。
这最后三个示例提供了增加供应给深度神经网络的数据的可能性，而不需要预先记录太多的图像。
图2示出了基于结合图1呈现的处理方法的3D点云内感兴趣对象的分类的优选方法。
在图1所呈现的阶段A-D之后，在阶段E处，数据-D被输出到机器学习，优选地是深度神经网络(DNN)。DNN的定义配置可以是几个类别之一：网络中的网络(network innetwork)、卷积、递归等。
优选地，所使用的DNN可以是卷积神经网络，更具体地说，该卷积神经网络可以是Christian Szegedy、Vincent Vanhoucke、Sergey Ioffe、Jonathon Shlens和ZbigniewWojna在以下地址呈现的Inception V3：http://arxiv.org/pdf/1512.00567v3.pdf。这种深度神经网络非常适合于分析二维对象，诸如多通道2D空间。
在阶段E中，输入图3A-3D中呈现的任何类型的数据-D。在训练阶段期间，标记-A数据也被输入。
第一步骤在于根据其配置和目标性能水平要求将一个或多个多通道2D空间(数据-D)连接到DNN的特征空间(Conv-1、Conv-2、Conv-3)的一个或多个输入端。在训练阶段期间，最好选择最精确的组合，诸如2D空间的时间序列(例如，图3C)连接到多个特征空间，而在在线阶段期间则是快速组合，诸如单个多通道2D空间(例如图3A)将连接到唯一的特征空间。可选地，也可以添加跟踪算法，使得只要跟踪感兴趣的对象，我们就可以在任何累积方法之间切换，以便获得更完善的数据组合和更可靠的分类等级。
第二步骤在于训练DNN，其中特征和决策空间都应经由通过损耗函数(损耗-A)生成的反馈的反向传播来构建，给定来自小批量的具有在标记-A中定义的标签的多通道2D空间的正向信号(来自每个点云的标签用于标记相应的2D空间)。
第三步骤在于使用在线多通道2D空间(在线阶段期间或多通道2D空间的组合通过DNN传播前向信号(数据-在训练空间期间得到分类标记和估计的置信水平。
阶段E的输出对应于分类标记，优选地，连同有由激光雷达传感器获取的每个点云或点云的时间序列的估计置信水平。
这种分类方法实现的目标是自动找到最佳特征并构建决策空间，从而最大限度地提高由激光雷达传感器获取的3D点云时间序列数据的正确分类的概率，这些数据可用于例如3D对象识别。
图4表示装备有360°扫描单元210的车辆100，诸如激光扫描单元(激光雷达)，以在行程期间拍摄3d点云的连续序列。车辆100还包括电子控制单元、显示单元和自主驱动单元。
电子控制单元包括：处理单元，其用于处理所获得的3D点云；分类单元，其用于对处理后的3D点云内的感兴趣对象进行分类；以及决策单元，其用于决定激活显示单元和自主驱动单元中的至少一个。
为了便于比较，发明人确实将当前的分类方法与Alex Teichman、Jesse Levinson和Sebastian Thrun于2011年在ICRA的刊物“Towards 3D object recognition viaclassification of arbitrary object tracks”发表的结果进行了比较。
当前的分类方法在Teichman等人提出的测试集上可以达到类似的性能水平，也就是说行人识别准确率为99.6％。当前方法的优点在于，通过单次拍摄就能达到这样的识别水平(只需要一个激光雷达帧)。它不需要任何额外的算法，诸如Teichman等人使用的跟踪，这意味着响应时间要快得多。作为示例，当使用100ms获取激光雷达帧时，当前方法可以在接下来的100ms内回复，而Teichman等人可能需要1秒以上。Teichman等人的长响应时间当然限制了自动驾驶和避免碰撞的目的。
将理解，在不脱离由所附权利要求限定的本发明的范围的情况下，可以对本说明书中描述的本发明的不同实施例进行各种对本领域技术人员明显的修改和/或改进。

Claims (18)

1.一种三维(3D)点云的处理方法，包括以下步骤：
-从深度传感器的预确定的视点获得3D点云；
-相对于所述视点从所述3D点云的每个点提取3D坐标(xyz)和强度(i)数据；
-将3D坐标(xyz)和强度(i)数据转换成至少三个二维(2D)空间：
o每个点的强度(i)数据的强度2D空间(IS)函数；
o每个点的高程(h)数据的高度2D空间(HS)函数，以及
o 3D点云的每个点和所述视点之间的距离(d)数据的距离2D空间(DS)函数，
定义单个多通道2D空间(IS、HS、DS)。
2.根据权利要求1所述的处理方法，其中，转换步骤还包括：
-检测背景点；
-为检测到的背景点设置预确定默认值。
3.根据权利要求1所述的处理方法，包括训练阶段，在所述训练阶段期间，在转换步骤之前，所述处理方法还包括以下步骤：
-供应将对象分类为1:N类的标签数据(标记-A)；和
-根据所供应的标签数据(标记-A)，将每个提取的点数据(xyzi)标记为属于1:N类的对象。
4.根据权利要求2所述的处理方法，包括训练阶段，在所述训练阶段期间，在转换步骤之前，所述处理方法还包括以下步骤：
-供应将对象分类为1:N类的标签数据(标记-A)；和
-根据所供应的标签数据(标记-A)，将每个提取的点数据(xyzi)标记为属于1:N类的对象。
5.根据权利要求1至4中任一项所述的处理方法，其中，转换步骤包括对2D空间的至少一个的归一化步骤，所述归一化步骤包括：
-通过根据距离数据对每个点的强度数据应用强度归一化函数来归一化强度2D空间(IS)；和/或
-通过根据所述3D点云内的最小和最大高程数据对每个点的高程数据应用高度归一化函数来归一化高度2D空间(HS)；和/或
-通过根据所述3D点云内的最小和最大距离数据对每个点的距离数据应用距离归一化函数来归一化距离2D空间(DS)，
定义归一化的单个多通道2D空间(ISN、HSN、DSN)。
6.根据权利要求1至4中任一项所述的处理方法，其中，所述3D点云使用所述深度传感器导出。
7.根据权利要求5所述的处理方法，其中，所述3D点云使用所述深度传感器导出。
8.根据权利要求6所述的处理方法，其中，所述深度传感器包括激光雷达。
9.根据权利要求7所述的处理方法，其中，所述深度传感器包括激光雷达。
10.根据权利要求1至4、7至9中任一项所述的处理方法，其中，对于每个点，强度2D空间、高度2D空间和距离2D空间中的每一个分别被分配给RGB值空间之一。
11.根据权利要求5所述的处理方法，其中，对于每个点，强度2D空间、高度2D空间和距离2D空间中的每一个分别被分配给RGB值空间之一。
12.根据权利要求6所述的处理方法，其中，对于每个点，强度2D空间、高度2D空间和距离2D空间中的每一个分别被分配给RGB值空间之一。
13.一种用于对在3D点云内的感兴趣对象的分类方法，包括以下步骤：
-根据权利要求1至12中任一项所述的处理方法；
-将至少一个单个多通道2D空间(IS，HS，DS；ISN，HSN，DSN)供应给机器学习；
-对于所供应的每个单个多通道2D空间输出至少一个分类标记，所述至少一个分类标记识别所述3D点云内的至少一个感兴趣对象。
14.根据权利要求13所述的分类方法，其中，所述机器学习包括深度神经网络。
15.根据权利要求13所述的分类方法，其中，所述机器学习包括训练阶段，在所述训练阶段期间，供应步骤包括：
-通过重复根据权利要求1至12中任一项所述的处理方法来累积一批多通道2D空间；
-供应在所述一批多通道2D空间中的随机数量的多通道2D空间的平均组合。
16.根据权利要求13所述的分类方法，其中，所述机器学习包括训练阶段，在所述训练阶段期间，所述供应步骤包括：
-通过重复根据权利要求1至12中任一项所述的处理方法来累积一批多通道2D空间；
-供应在所述一批多通道2D空间中以预定顺序分布的几个多通道2D空间。
17.根据权利要求13所述的分类方法，其中，所述机器学习包括训练阶段，在所述训练阶段期间，供应步骤包括：
-通过重复根据权利要求1至12中任一项所述的处理方法来累积一批多通道2D空间；
-供应从所述一批多通道2D空间中随机选择的至少2x2多通道2D空间的矩阵。
18.一种车辆，包括：
-深度传感器，其被布置成当所述车辆被驾驶时至少从驾驶员的角度获得跟随路径的3D点云，
-处理单元，其用于根据权利要求1至12中任一项所述的处理方法处理所获得的3D点云；
-分类单元，其用于根据权利要求13-17中任一项所述的分类方法对处理后的3D点云内的感兴趣对象进行分类；
-显示单元，其被布置为显示与所分类的感兴趣对象相关的信息；
-自动驾驶单元，其被布置成根据所分类的感兴趣对象来控制所述车辆；和
-决策单元，其决定激活所述显示单元和所述自动驾驶单元中的至少一个。
CN201780017140.1A 2016-03-14 2017-03-14 3d点云的处理方法 Active CN108780154B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016204177 2016-03-14
DE102016204177.0 2016-03-14
PCT/EP2017/056039 WO2017157967A1 (en) 2016-03-14 2017-03-14 Processing method of a 3d point cloud

Publications (2)

Publication Number Publication Date
CN108780154A CN108780154A (zh) 2018-11-09
CN108780154B true CN108780154B (zh) 2023-06-09

Family

ID=58314212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017140.1A Active CN108780154B (zh) 2016-03-14 2017-03-14 3d点云的处理方法

Country Status (5)

Country Link
US (1) US10663594B2 (zh)
EP (1) EP3430427B1 (zh)
JP (1) JP6945785B2 (zh)
CN (1) CN108780154B (zh)
WO (1) WO2017157967A1 (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2016542B1 (en) * 2016-04-04 2017-10-10 Fugro N V Spatial data analysis.
US10304335B2 (en) * 2016-04-12 2019-05-28 Ford Global Technologies, Llc Detecting available parking spaces
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US10520904B2 (en) 2016-09-08 2019-12-31 Mentor Graphics Corporation Event classification and object tracking
CN106796728A (zh) * 2016-11-16 2017-05-31 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
EP3465267A4 (en) * 2017-08-25 2019-05-22 Beijing Didi Infinity Technology and Development Co., Ltd. METHODS AND SYSTEMS FOR DETECTING ENVIRONMENTAL INFORMATION OF A VEHICLE
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
US11353589B2 (en) 2017-11-17 2022-06-07 Nvidia Corporation Iterative closest point process based on lidar with integrated motion estimation for high definition maps
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
CN108415035B (zh) * 2018-02-06 2019-08-02 北京三快在线科技有限公司 一种激光点云数据的处理方法及装置
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
EP3756129A1 (en) * 2018-02-21 2020-12-30 Robert Bosch GmbH Real-time object detection using depth sensors
US10755112B2 (en) 2018-03-13 2020-08-25 Toyota Research Institute, Inc. Systems and methods for reducing data storage in machine learning
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
US11618438B2 (en) 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
WO2019216707A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for processing three dimensional object image using point cloud data
JP7152103B2 (ja) * 2018-06-01 2022-10-12 Ｎｅｃソリューションイノベータ株式会社 推定装置、推定方法、及び推定プログラム
CN110378905B (zh) * 2018-07-20 2022-07-05 北京京东尚科信息技术有限公司 角点提取、匹配的神经网络和方法及设备标定方法和装置
KR102159320B1 (ko) * 2018-08-06 2020-09-23 국방과학연구소 3차원 라이다를 활용한 물체 인식 방법
CN109271880B (zh) * 2018-08-27 2021-08-24 深圳一清创新科技有限公司 车辆检测方法、装置、计算机设备和存储介质
RU2743895C2 (ru) * 2018-09-17 2021-03-01 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия объектов
US11507052B2 (en) 2018-09-24 2022-11-22 The Boeing Company System and method of voxel based parametric specification for manufacturing a part
CN109061600B (zh) * 2018-09-28 2023-02-14 上海市刑事科学技术研究院 一种基于毫米波雷达数据的目标识别方法
JP2021508815A (ja) * 2018-11-15 2021-03-11 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法
JP7288460B2 (ja) * 2018-11-30 2023-06-07 株式会社小糸製作所 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
US11536844B2 (en) * 2018-12-14 2022-12-27 Beijing Voyager Technology Co., Ltd. Dynamic sensor range detection for vehicle navigation
CN111352128B (zh) * 2018-12-21 2023-03-24 上海微功智能科技有限公司 一种基于融合点云的多传感器融合感知方法与系统
US10776651B2 (en) * 2019-01-18 2020-09-15 Intelligrated Headquarters, Llc Material handling method, apparatus, and system for identification of a region-of-interest
US11391574B2 (en) 2019-01-18 2022-07-19 Ford Global Technologies, Llc Object detection
KR20200094384A (ko) * 2019-01-30 2020-08-07 현대자동차주식회사 포인트 클라우드의 군집화 장치 및 그 방법
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
US10839543B2 (en) * 2019-02-26 2020-11-17 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN111316289A (zh) * 2019-04-10 2020-06-19 深圳市大疆创新科技有限公司 目标物体的拟合方法、点云传感器和移动平台
US11016496B2 (en) 2019-04-10 2021-05-25 Argo AI, LLC Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications
CN112115744A (zh) * 2019-06-20 2020-12-22 北京京东叁佰陆拾度电子商务有限公司 点云数据的处理方法及装置、计算机存储介质、电子设备
US20210004613A1 (en) * 2019-07-02 2021-01-07 DeepMap Inc. Annotating high definition map data with semantic labels
US11287530B2 (en) * 2019-09-05 2022-03-29 ThorDrive Co., Ltd Data processing system and method for fusion of multiple heterogeneous sensors
CN115516337A (zh) 2019-10-21 2022-12-23 派珀网络公司 使用lidar的交通测位系统和方法
CN111061779A (zh) * 2019-12-16 2020-04-24 延安大学 一种基于大数据平台的数据处理方法及装置
US11430150B2 (en) 2020-01-03 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for processing sparse points
CN111310811B (zh) * 2020-02-06 2021-01-15 东华理工大学 一种基于多维特征最优组合的大场景三维点云分类方法
CN111273316B (zh) * 2020-02-18 2022-03-08 中国科学院合肥物质科学研究院 一种基于剖面展开融合的多激光雷达多视点对象检测方法
WO2021189375A1 (en) * 2020-03-26 2021-09-30 Baidu.Com Times Technology (Beijing) Co., Ltd. A point cloud feature-based obstacle filter system
CN111126363B (zh) * 2020-03-30 2020-06-26 江苏广宇科技产业发展有限公司 自动驾驶车辆的物体识别方法及装置
CN111507340B (zh) * 2020-04-16 2023-09-01 北京深测科技有限公司 一种基于三维点云数据的目标点云数据提取方法
CN111553410B (zh) * 2020-04-27 2022-10-28 哈尔滨工程大学 基于关键点局部曲面特征直方图和空间关系的点云识别方法
JP7448945B2 (ja) 2020-05-22 2024-03-13 国立大学法人金沢大学 ３次元マップ生成方法及び３次元マップ生成装置
CN111949032A (zh) * 2020-08-18 2020-11-17 中国科学技术大学 一种基于强化学习的3d避障导航系统及方法
CN112740268B (zh) * 2020-11-23 2022-06-07 华为技术有限公司 目标检测方法和装置
US11733369B2 (en) 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN113011511B (zh) * 2021-03-29 2024-01-19 江苏思玛特科技有限公司 基于深度学习多光谱LiDAR数据分类的样本生成方法
CN113287969B (zh) * 2021-04-12 2022-07-01 安克创新科技股份有限公司 清扫表面类型的判断方法、清扫模式调整方法及清扫设备
KR102335369B1 (ko) * 2021-06-11 2021-12-06 주식회사 알씨테크 머신러닝 기반 반도체 장비 자동 라우팅 방법 및 장치
KR102310604B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 다중 센서에 의해 수집된 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310602B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 다중 센서의 오차 보정 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310605B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 데이터 수집용 다중 센서의 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310608B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이더 및 라이다를 기반으로 하는 자율주행 학습 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310601B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이저 프리뷰를 이용한 학습 데이터 수집 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310606B1 (ko) 2021-07-08 2021-10-14 주식회사 인피닉 자율주행 데이터 수집을 위한 센서 간의 위상차 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20230031038A (ko) * 2021-08-26 2023-03-07 (주)서울로보틱스 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치
KR102656646B1 (ko) * 2021-08-26 2024-04-12 (주)서울로보틱스 센싱 장치의 설치 이상을 감지하는 방법 및 이를 수행하는 센싱 장치
CN113486871B (zh) * 2021-09-07 2021-11-16 中国人民解放军国防科技大学 基于深度图的无人车局部自主控制方法、装置和设备
CN114445701B (zh) * 2021-12-15 2023-07-04 深圳市速腾聚创科技有限公司 对站台障碍物的预警方法及装置、介质及电子设备
US11919451B2 (en) * 2022-02-28 2024-03-05 Nissan North America, Inc. Vehicle data display system
CN115170728B (zh) * 2022-06-07 2023-05-26 青海师范大学 三维点云模型的相似性测量方法
CN115294128B (zh) * 2022-10-08 2022-12-02 四川大学 一种用于消化内镜的单目结构三维成像方法及装置
CN116541639B (zh) * 2023-07-05 2023-09-19 湖南联智科技股份有限公司 一种基于点云数据的隧道超欠挖快速计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1783143A (zh) * 2005-09-09 2006-06-07 天津大学 彩色三维点云数据前期处理算法
CA2751247A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Method for visualization of point cloud data based on scene content
CN102317972A (zh) * 2009-02-13 2012-01-11 哈里公司 3d点云数据对于2d电光图像数据的对准
DE102012004396A1 (de) * 2012-03-03 2013-09-05 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen von Objekten in einer Umgebung eines Fahrzeugs
CN104732588A (zh) * 2015-03-30 2015-06-24 中国测绘科学研究院 一种基于机载激光雷达点云的电力线三维重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
JP5503578B2 (ja) * 2011-03-10 2014-05-28 パナソニック株式会社 物体検出装置及び物体検出方法
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
KR102238693B1 (ko) * 2014-06-20 2021-04-09 삼성전자주식회사 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1783143A (zh) * 2005-09-09 2006-06-07 天津大学 彩色三维点云数据前期处理算法
CA2751247A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Method for visualization of point cloud data based on scene content
CN102317972A (zh) * 2009-02-13 2012-01-11 哈里公司 3d点云数据对于2d电光图像数据的对准
CN102317979A (zh) * 2009-02-13 2012-01-11 哈里公司 基于场景内容可视化点云数据的方法
DE102012004396A1 (de) * 2012-03-03 2013-09-05 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen von Objekten in einer Umgebung eines Fahrzeugs
CN104732588A (zh) * 2015-03-30 2015-06-24 中国测绘科学研究院 一种基于机载激光雷达点云的电力线三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"convolution recurive deep learning for 3D object classificaiton";Richard Socher et al.;《Advances in Neural Information Processing Systems 25 (NIPS 2012)》;20121231;全文 *
"detection segmentation and classification of 3D urban objects using mathematical morphology and supervised learning";Andres Serna et al.;《ISPRS Journal of Photography and Remote Sensing》;20141231;全文 *

Also Published As

Publication number Publication date
CN108780154A (zh) 2018-11-09
US10663594B2 (en) 2020-05-26
WO2017157967A1 (en) 2017-09-21
EP3430427B1 (en) 2021-07-21
JP6945785B2 (ja) 2021-10-06
US20190086546A1 (en) 2019-03-21
JP2019512802A (ja) 2019-05-16
EP3430427A1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
CN108780154B (zh) 3d点云的处理方法
CN113348422B (zh) 用于生成预测占据栅格地图的方法和系统
US8917904B2 (en) Vehicle clear path detection
US8634593B2 (en) Pixel-based texture-less clear path detection
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
US8452053B2 (en) Pixel-based texture-rich clear path detection
US20100098295A1 (en) Clear path detection through road modeling
Deepika et al. Obstacle classification and detection for vision based navigation for autonomous driving
WO2021174770A1 (en) Machine-learning based system for path and/or motion planning and method of training
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
EP3764124A1 (en) Distance measuring apparatus, method for measuring distance, on-vehicle apparatus, and mobile object
US11741716B2 (en) Processing environmental data of an environment of a vehicle
CN116504053A (zh) 传感器融合
EP3845926B1 (en) Multi-spectral lidar object tracking method and system
EP4115144A1 (en) Automated point-cloud labelling for lidar systems
WO2021059967A1 (ja) 物体認識装置及び物体認識プログラム
US20220309799A1 (en) Method for Automatically Executing a Vehicle Function, Method for Evaluating a Computer Vision Method and Evaluation Circuit for a Vehicle
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
CN116416585A (zh) 使用来自二维图像的信息改进三维数据关联的系统和方法
Dong MACHINE LEARNING AND DEEP LEARNING ALGORITHMS IN THERMAL IMAGING VEHICLE PERCEPTION SYSTEMS
von Seelen et al. Image processing of dynamic scenes
KR20230167694A (ko) Lidar 스캔들로부터 자동 차선 마킹 추출 및 분류
Cuong Road detection using intrinsic colors in a stereo vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant