CN109858512A - 点云数据的处理方法、装置、设备、车辆及存储介质 - Google Patents

点云数据的处理方法、装置、设备、车辆及存储介质 Download PDF

Info

Publication number
CN109858512A
CN109858512A CN201811502444.XA CN201811502444A CN109858512A CN 109858512 A CN109858512 A CN 109858512A CN 201811502444 A CN201811502444 A CN 201811502444A CN 109858512 A CN109858512 A CN 109858512A
Authority
CN
China
Prior art keywords
data
sensor
point
point cloud
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811502444.XA
Other languages
English (en)
Other versions
CN109858512B (zh
Inventor
杨凡
李云龙
陈臣
荆荣讯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811502444.XA priority Critical patent/CN109858512B/zh
Publication of CN109858512A publication Critical patent/CN109858512A/zh
Priority to US16/708,560 priority patent/US11535265B2/en
Application granted granted Critical
Publication of CN109858512B publication Critical patent/CN109858512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/038—Limiting the input power, torque or speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种点云数据的处理方法、装置、设备、车辆及存储介质，该方法包括：按照预设频率获取车辆上的传感器采集的原始数据；根据各传感器的原始数据，进行数据融合处理，获得融合结果。通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。

Description

点云数据的处理方法、装置、设备、车辆及存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种点云数据的处理方法、装置、设备、车辆及存储介质。
背景技术
在车辆自动驾驶过程中，通常需要采用激光雷达、摄像头等传感器采集车辆周围的环境信息，并形成三维的点云数据。
在采集环境信息时，每个激光雷达能扫描到的物理点有限，因此，单个激光雷达无法获取车辆周围的完整信息，需要在车辆上设置多个激光雷达旋转扫描不同的方向。在激光雷达较多时，不同激光雷达旋转扫描的物理点不同，多个激光雷达扫描的物理点可能不同步。现有技术中通常通过设置同步时钟，来保证各传感器在同一个时间点获得时钟触发信号，开始进行数据采集，各传感器扫描一圈后，获取各传感器的原始数据，将各传感器的原始数据进行数据融合，形成完整的周围环境信息。
但是，现有技术这种通过同步时钟触发的方式，容易导致各传感器采集的原始数据之间有较大的时间差，可能有100毫秒，从而导致最终获得的点云数据不够精准，影响车辆对周围环境的感知。
发明内容
本申请提供一种点云数据的处理方法、装置、设备、车辆及存储介质，以解决现有技术点云数据精准度低等缺陷。
本申请第一个方面提供一种点云数据的处理方法，包括：
按照预设频率获取车辆上的传感器采集的原始数据；
根据各传感器的原始数据，进行数据融合处理，获得融合结果。
本申请第二个方面提供一种点云数据的处理装置，包括：
获取模块，用于按照预设频率获取车辆上的传感器采集的原始数据；
处理模块，用于根据各传感器的原始数据，进行数据融合处理，获得融合结果。
本申请第三个方面提供一种计算机设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的方法。
本申请第四个方面提供一种车辆，包括：至少两个传感器，以及如第二个方面提供的装置
本申请第五个方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的方法。
本申请提供的点云数据的处理方法、装置、设备、车辆及存储介质，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的点云数据的处理方法的流程示意图；
图2为本申请另一实施例提供的点云数据的处理方法的流程示意图；
图3为本申请一实施例提供的点云数据的处理装置的结构示意图；
图4为本申请一实施例提供的计算机设备的结构示意图；
图5为本申请一实施例提供的车辆的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请所涉及的名词进行解释：
点云数据：现有技术中多采用激光扫描的方式，获取环境的点云数据；当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成物体的激光点云数据。点云数据是在目标表面特性的海量点云的集合。
本申请实施例提供的点云数据的处理方法，适用于车辆在自动驾驶过程中，通过车辆上的多个传感器获取周围环境信息，感知周围环境，实现自动驾驶的场景。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
本实施例提供一种点云数据的处理方法，用于车辆自动驾驶过程中传感器采集数据的处理。本实施例的执行主体为点云数据的处理装置，该装置可以设置在车辆上或其他需要感知周围环境信息的设备上，也可以设置在计算机设备上，该计算机设备可以设置在车辆上或其他需要感知周围环境信息的设备上。
如图1所示，为本实施例提供的点云数据的处理方法的流程示意图，该方法包括：
步骤101，按照预设频率获取车辆上的传感器采集的原始数据。
具体的，车辆可以是自动驾驶车辆、半自动驾驶车辆等，车辆上设置有多个激光雷达，当然还可以设置有摄像头(比如双目摄像头、单目摄像头等)等其他传感器，车辆在实际行驶过程中，需要通过这些传感器来感知周围环境。点云数据的处理装置可以按照预设频率获取车辆上各传感器采集的原始数据，比如每隔0.5毫秒读取一次，激光雷达则一直旋转扫描即可，无需停止，无需等待时钟。每次读取最新一个周期扫描采集到的原始数据。
对于激光雷达，该原始数据实质上也是点云数据。
为了感知车辆周围不同的方向，可以设置多个激光雷达，覆盖车辆周围所有方向。
可选地，各激光雷达的扫描方向可以有重叠部分，保证数据的完整性。
可选地，也可以获取摄像头传感器采集的原始数据，该原始数据为图像数据，在后续数据融合时可以与激光雷达的点云数据融合，为激光雷达的点云数据增加色彩等图像相关信息，对于图像数据的具体处理，本实施例不再赘述。
步骤102，根据各传感器的原始数据，进行数据融合处理，获得融合结果。
具体的，在获取到传感器采集的原始数据后，则可以根据各传感器的原始数据，进行数据融合处理，获得融合结果。
可选地，可以是将各传感器采集的原始数据转换到同一坐标下，并对重叠部分进行一定的处理，去重叠化，然后进行合并，获得同一坐标下的一批点云数据。具体的数据融合处理方式可以是现有技术中任意可实施的方式，本实施例不做限定。
可选地，对于进行数据融合的原始数据的量，可以根据实际需求设置，比如可以是每获取一次就融合一次，融合结果可能并不是完整的环境信息，经过多次获取及融合后才能形成完整的环境信息；还可以是设置预设次数，即当获取原始数据的次数到达预设次数，则将这几次的原始数据一起进行数据融合，具体预设次数可以根据实际需求设置，本实施例不做限定。
可选地，原始数据中，每个点都有对应的时间戳，可以根据时间戳及点坐标实现不同传感器不同时刻采集的原始数据的对应关系。
可选地，对于预设次数，可以根据各传感器扫描一圈需要的时间以及预设频率，结合实际需求来设置。比如传感器扫描一圈需要100毫秒，预设频率对应的周期是0.5毫秒，预设次数可以是从1到200，预设次数设为200则相当于传感器扫描完了一圈，一次数据融合即可获得完整的环境信息。
可选地，还可以根据各传感器的扫描角度，获取其中一部分数据(即可以不包括重叠部分，或者包括很少的重叠部分，具体根据实际需求设置)进行数据融合，提高融合效率。比如，第一传感器扫描的是0-120度，第二传感器扫描的是90-180度，可以获取第一传感器的原始数据中的0-90度范围内的数据以及第二传感器的90-180度范围内的数据进行融合，这里只是示例性的说明，并非对其限定。具体可以根据实际需求设置，本实施例不做限定。
可选地，本实施例提供的点云数据的处理方法不限于应用于车辆，还可以应用于其他任意需要实时通过传感器感知周围环境的场景，本实施例不做限定。
本实施例提供的点云数据的处理方法，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。
实施例二
本实施例对上述实施例一提供的点云数据的处理方法做进一步补充说明。
如图2所示，为本实施例提供的点云数据的处理方法的流程示意图。
作为一种可实施的方式，在上述实施例一的基础上，可选地，根据各传感器的原始数据，进行数据融合处理，获得融合结果，具体可以包括：
当获取次数达到预设次数时，将各传感器的预设次数的原始数据，进行数据融合处理，获得融合结果。
具体的，可以设置预设次数，当获取原始数据的次数到达预设次数，则将这几次的原始数据一起进行数据融合，具体预设次数可以根据实际需求设置，本实施例不做限定。比如1次、2次、10次、50次、100次等等。
示例性地，该点云数据的处理装置每隔0.5毫秒从各传感器同时读取一次其采集的原始数据，可以将一次读取的多个传感器采集的原始数据称为一组原始数据，每读取一次可以先存储起来，预设次数是4次，当从一次数据融合后开始，读取次数再次达到4次，获得4组原始数据，则可以将这四组原始数据进行数据融合处理，获得融合结果。具体的数据融合处理方式可以是现有技术中任意可实施的方式，本实施例不做限定。
可选地，原始数据中，每个点都有对应的时间戳，可以根据时间戳及点坐标实现不同传感器不同时刻采集的原始数据的对应关系。
可选地，预设次数可以为1次，也即每读取一次原始数据则进行一次数据融合，这种情况下，一次的融合结果可能并不是完整的环境信息，经过多次读取及融合后才能形成完整的环境信息。通过读取后即进行数据融合，当读取完扫描一圈的数据后，数据融合也即刻完成，可以提高数据融合的效率。
作为另一种可实施的方式，在上述实施例一的基础上，可选地，预设频率为1K-100K HZ，也即预设频率对应的获取数据的周期范围为1-0.01毫秒。以0.5毫秒为例，相当于每秒内将各传感器的数据进行了2000次对齐，从而将各传感器的数据之间的时间差降低到0.5毫秒，有效提高了数据的精准度。
作为另一种可实施的方式，在上述实施例一的基础上，可选地，原始数据包括各点的坐标信息，步骤102具体可以包括：
步骤1021，将各传感器的原始数据转换到同一坐标，获得同一坐标下各传感器的点云数据。
步骤1022，将各传感器的点云数据进行数据融合处理，获得融合结果。
具体的，可以采用任意可实施的坐标转换算法，将各传感器的原始数据转换到同一坐标，比如通过获取各传感器原始数据相同场景下的图像数据，根据各图像数据来确定坐标转换矩阵。在此不再赘述。
在获得同一坐标下各传感器的点云数据后，则可以将各传感器的点云数据进行数据融合处理，获得融合结果。
可选地，将各传感器的点云数据进行数据融合处理，获得融合结果，具体可以包括：
步骤2011，获取不同传感器的点云数据之间的重叠点数据和非重叠点数据。
步骤2012，对于重叠点数据，采用最小二乘算法进行拟合处理以及点数据融合，获得融合后的重叠点数据。
步骤2013，将非重叠点数据与融合后的重叠点数据合并在一起，形成融合后的点云数据。
具体的，由于多个传感器的扫描角度可能有重叠部分，导致扫描获得的原始数据也有重叠部分，坐标转换后的点云数据也具有重叠部分，因此在数据融合过程中，需要对重叠部分的点数据进行处理，可以先将各传感器的点云数据进行分类，划分为重叠点数据集和非重叠点数据集，重叠点数据集中包括各传感器的点云数据中不与其他传感器重叠的点数据(即非重叠点数据)，重叠点数据集中包括各传感器之间重叠的点数据(即重叠点数据)。对于这些重叠点数据，可以采用最小二乘算法对这些重叠点数据进行拟合处理，拟合成最小二乘曲面，然后基于点与点之间的欧式距离，将欧式距离小于阈值的点数据融合在一起，实现重叠点数据的去重叠化。然后将融合后的重叠点数据集与非重叠点数据集合并，即获得融合后的点云数据。
可选地，还可以选择将重叠点数据集中重叠的两点任选一个删除，保留唯一一个点。
可选地，还可以是其他处理方式来处理重叠部分的点数据，具体可以根据实际需求选择，本实施例不做限定。
在一种实施方式中，可选地，将各传感器的点云数据进行数据融合处理，获得融合结果，具体可以包括：
步骤2021，根据各传感器的扫描角度，获取各传感器的无重叠的点云数据；
步骤2022，将各传感器的无重叠的点云数据合并在一起，形成融合后的点云数据。
具体的，还可以根据各传感器的扫描角度，获取其中一部分数据(即可以不包括重叠部分，或者包括很少的重叠部分，具体根据实际需求设置)进行数据融合，提高融合效率。比如，第一传感器扫描的是0-120度，第二传感器扫描的是90-180度，可以获取第一传感器的原始数据中的0-90度范围内的数据以及第二传感器的90-180度范围内的数据进行融合，这里只是示例性的说明，并非对其限定。具体可以根据实际需求设置，本实施例不做限定。
作为另一种可实施的方式，在上述实施例一的基础上，可选地，该方法还可以包括：
步骤203，基于各传感器之间扫描角度的重叠区域，判断各传感器是否故障。
通多多个传感器的设置，可以进行交叉容错，即根据各传感器之间扫描角度的重叠区域，判断各传感器是否故障，具体来说，由于各传感器的扫描角度具有重叠区域，那么两个具有重叠区域的传感器，可能扫描到相同的点，根据角度重叠区域是否获取到了两个传感器的扫描数据，可以证明其是否故障。比如一个传感器扫描到了，而另一个传感器在这个扫描角度也进行了扫描，但是却没有扫描数据，可以证明这个传感器故障，未正常采集到或不能正常被读取。从而实现交叉容错，及时发现故障的传感器。
可选地，在确定某个传感器故障后，可以及时控制车辆减速或停车，还可以在车辆的显示屏或语音播报装置发出提示信息，及时提醒车辆上的乘客。提高车辆的安全性。
可选地，还可以通过传感器冗余设置，进一步提高车辆的行驶安全性。在读取传感器数据时，当发现一个传感器中无法读取到数据，可以从与其角度相同的另一个传感器读取。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本实施例提供的点云数据的处理方法，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。还通过对重叠部分的数据进行去重叠化，进一步提高数据的精准度。还通过多个传感器交叉容错，提高车辆行驶的安全性。
实施例三
本实施例提供一种点云数据的处理装置，用于执行上述实施例一的方法。
如图3所示，为本实施例提供的点云数据的处理装置的结构示意图。该点云数据的处理装置30包括获取模块31和处理模块32。
其中，获取模块31用于按照预设频率获取车辆上的传感器采集的原始数据；处理模块32用于根据各传感器的原始数据，进行数据融合处理，获得融合结果。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本实施例提供的点云数据的处理装置，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。
实施例四
本实施例对上述实施例三提供的装置做进一步补充说明，以执行上述实施例二提供的方法。
作为一种可实施的方式，在上述实施例三的基础上，可选地，处理模块，具体用于：
当获取次数达到预设次数时，将各传感器的预设次数的原始数据，进行数据融合处理，获得融合结果。
可选地，预设次数为1次。
作为另一种可实施的方式，在上述实施例三的基础上，可选地，预设频率为1K-100K HZ。
作为另一种可实施的方式，在上述实施例三的基础上，可选地，原始数据包括坐标信息；
处理模块，具体用于：
将各传感器的原始数据转换到同一坐标，获得同一坐标下各传感器的点云数据；
将各传感器的点云数据进行数据融合处理，获得融合结果。
可选地，处理模块，具体用于：
获取不同传感器的点云数据之间的重叠点数据和非重叠点数据；
对于重叠点数据，采用最小二乘算法进行拟合处理以及点数据融合，获得融合后的重叠点数据；
将非重叠点数据与融合后的重叠点数据合并在一起，形成融合后的点云数据。
可选地，处理模块，具体用于：
根据各传感器的扫描角度，获取各传感器的无重叠的点云数据；
将各传感器的无重叠的点云数据合并在一起，形成融合后的点云数据。
作为另一种可实施的方式，在上述实施例三的基础上，可选地，处理模块，还用于：
基于各传感器之间扫描角度的重叠区域，判断各传感器是否故障。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
根据本实施例的点云数据的处理装置，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。还通过对重叠部分的数据进行去重叠化，进一步提高数据的精准度。还通过多个传感器交叉容错，提高车辆行驶的安全性。
实施例五
本实施例提供一种计算机设备，用于执行上述实施例提供的方法。
如图4所示，为本实施例提供的计算机设备的结构示意图。该计算机设备50包括：至少一个处理器51和存储器52；
存储器存储计算机程序；至少一个处理器执行存储器存储的计算机程序，以实现上述实施例提供的方法。
根据本实施例的计算机设备，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。还通过对重叠部分的数据进行去重叠化，进一步提高数据的精准度。还通过多个传感器交叉容错，提高车辆行驶的安全性。
实施例六
本实施例提供一种车辆，用于执行上述实施例提供的方法。
如图5所示，为本实施例提供的车辆的结构示意图。该车辆包括：至少两个传感器，以及上述任一实施例提供的装置。其中，M为大于1的整数。传感器可以是激光雷达，还可以包括摄像头、双目摄像头、单目摄像头、雷达、、毫米波雷达等不同类型的其他传感器。
根据本实施例提供的车辆，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。还通过对重叠部分的数据进行去重叠化，进一步提高数据的精准度。还通过多个传感器交叉容错，提高车辆行驶的安全性。
实施例七
本实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被执行时实现上述任一实施例提供的方法。
根据本实施例的计算机可读存储介质，通过按照预设频率获取车辆上的传感器最近一个周期采集的原始数据，进行数据融合，获得融合结果，可以去掉同步时钟源，实现弱时钟同步，有效降低成本，并且预设频率可以灵活设置，设置较大值可以降低各传感器的原始数据之间的时间差，提高数据精准度。还通过对重叠部分的数据进行去重叠化，进一步提高数据的精准度。还通过多个传感器交叉容错，提高车辆行驶的安全性。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (19)

1.一种点云数据的处理方法，其特征在于，包括：
按照预设频率获取车辆上的传感器采集的原始数据；
根据各传感器的原始数据，进行数据融合处理，获得融合结果。
2.根据权利要求1所述的方法，其特征在于，所述根据各传感器的原始数据，进行数据融合处理，获得融合结果，包括：
当获取次数达到预设次数时，将各传感器的预设次数的原始数据，进行数据融合处理，获得融合结果。
3.根据权利要求2所述的方法，其特征在于，所述预设次数为1次。
4.根据权利要求1所述的方法，其特征在于，所述预设频率为1K-100KHZ。
5.根据权利要求1所述的方法，其特征在于，原始数据包括坐标信息；
所述根据各传感器的原始数据，进行数据融合处理，获得融合结果，包括：
将各传感器的原始数据转换到同一坐标，获得同一坐标下各传感器的点云数据；
将各传感器的点云数据进行数据融合处理，获得融合结果。
6.根据权利要求5所述的方法，其特征在于，所述将各传感器的点云数据进行数据融合处理，获得融合结果，包括：
获取不同传感器的点云数据之间的重叠点数据和非重叠点数据；
对于重叠点数据，采用最小二乘算法进行拟合处理以及点数据融合，获得融合后的重叠点数据；
将所述非重叠点数据与所述融合后的重叠点数据合并在一起，形成融合后的点云数据。
7.根据权利要求5所述的方法，其特征在于，所述将各传感器的点云数据进行数据融合处理，获得融合结果，包括：
根据各传感器的扫描角度，获取各传感器的无重叠的点云数据；
将各传感器的无重叠的点云数据合并在一起，形成融合后的点云数据。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
基于各传感器之间扫描角度的重叠区域，判断各传感器是否故障。
9.一种点云数据的处理装置，其特征在于，包括：
获取模块，用于按照预设频率获取车辆上的传感器采集的原始数据；
处理模块，用于根据各传感器的原始数据，进行数据融合处理，获得融合结果。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，具体用于：
当获取次数达到预设次数时，将各传感器的预设次数的原始数据，进行数据融合处理，获得融合结果。
11.根据权利要求10所述的装置，其特征在于，所述预设次数为1次。
12.根据权利要求9所述的装置，其特征在于，所述预设频率为1K-100KHZ。
13.根据权利要求9所述的装置，其特征在于，原始数据包括坐标信息；
所述处理模块，具体用于：
将各传感器的原始数据转换到同一坐标，获得同一坐标下各传感器的点云数据；
将各传感器的点云数据进行数据融合处理，获得融合结果。
14.根据权利要求13所述的装置，其特征在于，所述处理模块，具体用于：
获取不同传感器的点云数据之间的重叠点数据和非重叠点数据；
对于重叠点数据，采用最小二乘算法进行拟合处理以及点数据融合，获得融合后的重叠点数据；
将所述非重叠点数据与所述融合后的重叠点数据合并在一起，形成融合后的点云数据。
15.根据权利要求13所述的装置，其特征在于，所述处理模块，具体用于：
根据各传感器的扫描角度，获取各传感器的无重叠的点云数据；
将各传感器的无重叠的点云数据合并在一起，形成融合后的点云数据。
16.根据权利要求9-15任一项所述的装置，其特征在于，所述处理模块，还用于：
基于各传感器之间扫描角度的重叠区域，判断各传感器是否故障。
17.一种计算机设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-8中任一项所述的方法。
18.一种车辆，其特征在于，包括：至少两个传感器，以及如权利要求9-16任一项所述的装置。
19.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-8中任一项所述的方法。
CN201811502444.XA 2018-12-10 2018-12-10 点云数据的处理方法、装置、设备、车辆及存储介质 Active CN109858512B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811502444.XA CN109858512B (zh) 2018-12-10 2018-12-10 点云数据的处理方法、装置、设备、车辆及存储介质
US16/708,560 US11535265B2 (en) 2018-12-10 2019-12-10 Point cloud data processing method, apparatus, device, vehicle and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811502444.XA CN109858512B (zh) 2018-12-10 2018-12-10 点云数据的处理方法、装置、设备、车辆及存储介质

Publications (2)

Publication Number Publication Date
CN109858512A true CN109858512A (zh) 2019-06-07
CN109858512B CN109858512B (zh) 2021-08-03

Family

ID=66890927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811502444.XA Active CN109858512B (zh) 2018-12-10 2018-12-10 点云数据的处理方法、装置、设备、车辆及存储介质

Country Status (2)

Country Link
US (1) US11535265B2 (zh)
CN (1) CN109858512B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111337898A (zh) * 2020-02-19 2020-06-26 北京百度网讯科技有限公司 激光点云的处理方法、装置、设备及存储介质
CN111936821A (zh) * 2019-07-12 2020-11-13 北京航迹科技有限公司 用于定位的系统和方法
CN112666553A (zh) * 2020-12-16 2021-04-16 动联(山东)电子科技有限公司 一种基于毫米波雷达的道路积水识别方法及设备
CN113514049A (zh) * 2020-04-10 2021-10-19 北京三快在线科技有限公司 无人机姿态测量方法、装置、无人机及存储介质
CN113985854A (zh) * 2021-11-02 2022-01-28 苏州挚途科技有限公司 数据处理方法、装置及电子设备
US11287530B2 (en) * 2019-09-05 2022-03-29 ThorDrive Co., Ltd Data processing system and method for fusion of multiple heterogeneous sensors
WO2024055252A1 (zh) * 2022-09-15 2024-03-21 华为技术有限公司 一种数据融合方法、装置及智能驾驶设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12116013B2 (en) * 2020-12-22 2024-10-15 Intel Corporation Distributed in-vehicle realtime sensor data processing as a service
CN114466043B (zh) * 2022-01-25 2023-10-31 岚图汽车科技有限公司 车联网系统、智能驾驶控制方法及其设备
CN114998864A (zh) * 2022-05-27 2022-09-02 重庆长安汽车股份有限公司 一种障碍物检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050640A (zh) * 2014-06-16 2014-09-17 西安电子科技大学 一种多视角密集点云数据融合方法
US20140285634A1 (en) * 2013-03-15 2014-09-25 Digimarc Corporation Cooperative photography
CN105953747A (zh) * 2016-06-07 2016-09-21 杭州电子科技大学 结构光投影全视角三维成像系统及方法
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791329B2 (en) * 2001-08-17 2004-09-14 The Johns Hopkins University Portable metal detection and classification system
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
US20190232950A1 (en) * 2018-01-30 2019-08-01 GM Global Technology Operations LLC Hybrid powertrain system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140285634A1 (en) * 2013-03-15 2014-09-25 Digimarc Corporation Cooperative photography
CN104050640A (zh) * 2014-06-16 2014-09-17 西安电子科技大学 一种多视角密集点云数据融合方法
CN105953747A (zh) * 2016-06-07 2016-09-21 杭州电子科技大学 结构光投影全视角三维成像系统及方法
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111936821A (zh) * 2019-07-12 2020-11-13 北京航迹科技有限公司 用于定位的系统和方法
US11287530B2 (en) * 2019-09-05 2022-03-29 ThorDrive Co., Ltd Data processing system and method for fusion of multiple heterogeneous sensors
CN111337898A (zh) * 2020-02-19 2020-06-26 北京百度网讯科技有限公司 激光点云的处理方法、装置、设备及存储介质
CN113514049A (zh) * 2020-04-10 2021-10-19 北京三快在线科技有限公司 无人机姿态测量方法、装置、无人机及存储介质
CN112666553A (zh) * 2020-12-16 2021-04-16 动联(山东)电子科技有限公司 一种基于毫米波雷达的道路积水识别方法及设备
CN113985854A (zh) * 2021-11-02 2022-01-28 苏州挚途科技有限公司 数据处理方法、装置及电子设备
CN113985854B (zh) * 2021-11-02 2024-05-28 苏州挚途科技有限公司 数据处理方法、装置及电子设备
WO2024055252A1 (zh) * 2022-09-15 2024-03-21 华为技术有限公司 一种数据融合方法、装置及智能驾驶设备

Also Published As

Publication number Publication date
US20200180652A1 (en) 2020-06-11
US11535265B2 (en) 2022-12-27
CN109858512B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN109858512A (zh) 点云数据的处理方法、装置、设备、车辆及存储介质
CN110741282B (zh) 外参标定方法、装置、计算设备以及计算机存储介质
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
EP3018632B1 (en) Automated texture mapping and animation from images
CN112839764B (zh) 用于焊接路径生成的系统和方法
CN109887087A (zh) 一种车辆的slam建图方法及系统
US20180300551A1 (en) Identifying a Position of a Marker in an Environment
KR101386822B1 (ko) 마커들을 모션 캡처하는 방법 및 마커들을 모션 캡처하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체
JP2019196164A (ja) 車両位置検出方法及び装置
US10194059B2 (en) Image processing apparatus and image processing method
EP2725548A2 (en) Image processing apparatus and method
CN109478335B (zh) 驾驶辅助方法、驾驶辅助系统和车辆
CN110830547A (zh) 基于区块链存证的无人驾驶信息存储方法及装置
CN104677330A (zh) 一种小型双目立体视觉测距系统
CN112561841A (zh) 激光雷达和相机的点云数据融合方法、装置
CN111699410A (zh) 点云的处理方法、设备和计算机可读存储介质
CN106104629B (zh) 用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法
CN112215053A (zh) 多传感器多对象跟踪
CN109299662A (zh) 深度数据计算设备与方法及人脸识别设备
CN107972585A (zh) 结合雷达信息的自适应3d环视场景重建系统与方法
CN106537185A (zh) 借助于相交平面探测障碍物的装置和使用所述装置的探测方法
JP6939198B2 (ja) 物体検出方法及び物体検出装置
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN109756657A (zh) 用于处理图像的方法和系统
CN109070884A (zh) 车辆控制方法、车辆控制设备及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211021

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Patentee before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.