CN114648471A - 点云处理方法、装置、电子设备和系统 - Google Patents

点云处理方法、装置、电子设备和系统 Download PDF

Info

Publication number
CN114648471A
CN114648471A CN202011499348.1A CN202011499348A CN114648471A CN 114648471 A CN114648471 A CN 114648471A CN 202011499348 A CN202011499348 A CN 202011499348A CN 114648471 A CN114648471 A CN 114648471A
Authority
CN
China
Prior art keywords
point cloud
cloud data
laser radar
lidar
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011499348.1A
Other languages
English (en)
Inventor
李泽嵩
邵振雷
向少卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hesai Technology Co Ltd
Original Assignee
Hesai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hesai Technology Co Ltd filed Critical Hesai Technology Co Ltd
Priority to CN202011499348.1A priority Critical patent/CN114648471A/zh
Publication of CN114648471A publication Critical patent/CN114648471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供了一种点云处理方法、装置和电子设备，该方法包括：获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。实现了采用第一激光雷达和第二激雷达分别采集同一环境的不同区域的点云数据进行分析，第一点云数据和第二点云数据可以互相补充，互相作为补盲点云数据，从而可以得到该环境覆盖面积较广的点云数据。

Description

点云处理方法、装置、电子设备和系统
技术领域
本申请涉及激光测量技术领域，尤其是涉及一种点云处理方法、装置和电子设备。
背景技术
车用无线通信技术V2X全称Vehicle to everything,即车与任何事物的联系，主要包括V2V车与车(Vehicle)，V2I车与基础设施(Vehicle to infrastructure)，V2P车与人(Vehicle to people)，V2N车与云(Vehicle to network)。详细一点就是车辆通过传感器，网络通讯技术与其它周边车、人、物进行通讯交流，并根据收集的信息进行分析、决策的一项技术。
它是未来智能交通运输系统的关键技术。使用V2X技术，可以获得实时路况、道路信息、行人信息等一系列交通信息，可以提高驾驶安全性、减少拥堵、提高交通效率、提供车载娱乐信息等。
目前V2X至少包括两种标准，DSRC(Dedicated Short Range Communications专用短距离通讯)和LTE-V2X X(基于蜂窝移动通信的V2X)。LTE V2X针对车辆应用定义了两种通信方式：集中式(LTE- V-Cell)和分布式(LTE-V-Direct)。集中式也称为蜂窝式，需要基站作为控制中心，集中式定义车辆与路侧通信单元以及基站设备的通信方式；分布式也称为直通式，无需基站作为支撑，也表示为LTE-Direct (LTE-D)或LTE D2D(Device-to-Device)，分布式定义了车辆之间、车辆与周边之间的通信方式。
而在V2X中，车辆与周边基本设施的通讯是一个重要的应用场景。通过安装在周边设施上的探测装置，如激光雷达等与车辆之间的交互，可以知道某个急转弯路口是否有车辆，以及车距、交通状况等，然后进行车辆操作决策，如避让、分流等。
但是，安装在周边设施上的探测装置往往会因为安装位姿、扫描范围等原因具有一定的盲区，例如，探测装置本身下方的区域等，这将使得车辆获得的信息有所缺失，造成安全隐患。而若采用多台探测装置，由于多台探测装置本身安装位姿、性能参数的不同，所获得的点云数据等探测信息也各不相同，需要进行匹配对准。然而当前通常采用手动对准，这在大规模的应用场景下是无法满足需求的；而若采用常用高精度地图之类系统的对准方式，则其计算量较大，需要花费较多的时间与计算资源。对于道路周边等简单场景的设备来说，无法常态地负担此种大规模的计算。
发明内容
本申请解决的技术问题在于提供一种点云处理方法、装置和电子设备。实现了采用第一激光雷达和第二激雷达分别采集同一环境的不同区域的点云数据进行分析，第一点云数据和第二点云数据可以互相补充，互相作为补盲点云数据，从而可以得到该环境覆盖面积较广的点云数据。
为此，本申请解决技术问题的技术方案如下：
第一方面，本申请实施例提供了一种点云处理方法，包括：获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
第二方面，本申请实施例提供了一种点云处理装置，包括：获取单元，用于获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；融合单元，用于将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的点云处理方法、装置、电子设备，通过获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。实现了采用第一激光雷达和第二激雷达分别采集同一环境的不同区域的点云数据进行分析，第一点云数据和第二点云数据可以互相补充，互相作为补盲点云数据，从而可以得到该环境覆盖面积较广的点云数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种点云处理方法流程示意图；
图2A示出了一种第一激光雷达的示意图；
图2B示出了一种第二激光雷达的示意图；
图2C示出了一种第二激光雷达的安装结果示意图；
图2D示出了一种同时使用第一激光雷达和同时使用第二激光雷达示意性安装结构示意图；
图3A示出了一种根据第一激光雷达得到的示意性第一点云图；
图3B示出了一种根据第二激光雷达得到的示意性第二点云图；
图3C示出了图3A所示的第一点云图与如3B所示的第二点云图融合后的示意性点云图；
图4A示出了根据本申请的一个实施例的采用第一激光雷达的第一点云数据的示意图；
图4B示出了根据本申请的一个实施例的、对第一点云数据和第二点云数据融合后得到的一个全景点云数据示意图；
图4C示出了根据本申请的又一个实施例的、对全景点云数据集的背景点云过滤后的点云数据进行聚类得到聚类结果示意图；
图4D示出了对图4C所示聚类结果进行滤波后的结果示意图。
图5为本申请实施例提供的点云处理装置的结构示意图；
图6为本申请的一个实施例提供的点云处理系统的结构示意图；
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在V2X场景中，可以使用激光雷达采集相应区域的点云数据。通常使用的激光雷达的数量为一个激光雷达。单个激光雷达进行扫描，通常会有盲区。即使是360°扫描的激光雷达，也会由于垂直方向上无法进行扫描，而存在盲区。
对于在静态对象上安装激光雷达，以获取相应区域的点云场景。然而，当前的雷达大多为车载设计，激光雷达应用在静态对象上扫描区域的点云数据时，存在一定盲区，当激光雷达的安装高度较高时，其下方对应的盲区也就越大。
并且，在V2X场景下，安装于静态对象上的激光雷达的数量可能较大，如沿着某条道路间隔固定距离即安装一个用于探测的激光雷达，显然，在当前密集的交通网络下，所需的激光雷达的数量也会较大。
本申请中提出了一种快速简单的对两台或多台激光雷达的点云数据进行对准的方案，以解决上述至少部分问题。
请参考图1，其示出了本申请公开的点云处理方法的一个示意性流程图。点云处理方法用于在仿真三维空间中获取点云仿真数据。
如图1所示，点云处理方法包括如下步骤：
步骤101，获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到。
在本实施例中，上述第一激光雷达的数量可以为至少一个。第二激光雷达的数量也可以为至少一个。
具体地，步骤101可进一步包括步骤1011(图未示)和步骤1020 (图未示)。
在步骤1011中，获取所述第一激光雷达和所述第二激光雷达之间的变换信息；并且，在步骤1012中，基于所述变换信息，将所述第一点云数据和第二点云数据转换至同一坐标系下，得到所述全景点云数据。
其中，变换信息优选为坐标转换信息。更优选地，变换信息还包括时间偏差范围。
根据本方案的一个优选实施例，当已有预存储的变换信息时，可直接获取该变换信息，对第一点云数据和第二点云数据的坐标进行变换，使其转换至同一个坐标系下。
根据本方案的又一个优选实施例，若当前处理第一点云数据和第二点云数据并没有对应的变换信息是，可根据该第一点云数据和第二点云数据进行配准，以获得相应的转换信息。
作为一个优选实施例，变换信息包括坐标转换矩阵，其中，可根据第一激光雷达和第二激光雷达的相对安装位姿来确定初始坐标转换矩阵。
更优选地，根据所述初始坐标变换矩阵，以及第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，优化第一激光雷达与所述第二激光雷达之间的坐标变换矩阵。
具体地，可分别识别第一点云数据和第二点云数据中的至少一个静态对象；并且基于第一点云数据中的至少一个静态对象的位置信息，以及第二点云数据中的至少一个静态对象的位置信息，来确定第一点云数据和第二点云数据之间的坐标变换矩阵。
优选地，可根据第一点云数据和第二点云数据中，分别对于识别为相同分类的、相同或相近区域的静态对象的点云数据，对所述第一点云数据和第二点云数据进行对准；或者，根据第一点云数据中多个静态对象，以及第二点云数据中多个静态对象的点云重合比例，并根据具有较高重合比例的静态对象对所述第一点云数据和第二点云数据进行对准。
根据本方案的一个优选实施例，例如，根据主雷达的第一点云数据可识别出一个分类为建筑物的对象obj1，对应于主雷达的水平视场角[5°，10°],垂直视场角[0°，15°]的区域，则对于辅雷达的第二点云数据中识别出的一个同样为建筑物分类的对象obj1’，通过坐标转换后，确定该对象obj1’对应的视场角区域与前述对象obj1相近，并且测距信息也相近(例如视场角误差在0.1°以内，且测距误差在0.5m 以内)，则判定对象obj1与对象obj1’实际对应的为同一建筑物对象，基于该建筑物对象，对第一点云数据和第二点云数据进行对准。
具体地，可根据所述对准过程中的坐标偏移量，来确定坐标变换矩阵。优选地，当存在初始变换矩阵时，根据对准过程中的坐标偏移量，来更新所述初始变换矩阵。
例如可以识别出图3A中的301和图3B中的301’为第一建筑物的点云，图3A中的302和图3B中的302’为第二建筑物的点云，图 3A中的303,和图3B中的303’为第三建筑物的点云，可以基于上述 301、301’，302、302’，303、303’将第一点云数据和第二点云数据进行对准和融合，得到图3C所示的融合后的点云图。
在这些可选的实现方式中，可以在第一点云数据中，识别出至少一个静态对象，在第二点云数据中识别出至少一个静态对象。
在一些应场景中，可以预先确定各静态对象的位置信息。例如在十字路口处的激光点云数据中，第一点云数据中可以包括第一建筑物的点云数据。
第二点云数据中可以包括设置在第一建筑物的较低位置的预设形状的装饰物的点云数据，从而可以根据上述装饰物与上述第一建筑物在空间上的位置关系，将上述第一云数据和第二点云数据进行数据融合，得到全景点云数据。
在另外一些应用场景中，可以确定出相同的静态对象的第一点云数据和第二点云数据。然后根据静态对象的第一点云数据和第二点云数据将第一点云数据和第二点云数据进行融合。例如，可以从第一点云数据中确定出上述第一建筑物的点云数据，在第二点云数据中，确定出第一建筑物的点云数据，然后根据第一建筑物的第一点云数据和第一建筑物的第二点云数据，将上述到第一激光雷达的第一点云数据和第二激光雷达的第二点云数据进行配准，得到坐标变换矩阵。
根据本方案的另一个优选实施例，例如，根据主雷达的第一点云数据可依次识别出对象obj2，对象boj3和对象obj4；第二点云依次识别出对象obj2'，对象boj3'，对象obj4'和对象obj5'。
其中，对象obj2与对象obj2'的点云重合率为50％，对象boj3和对象obj4分别与对象boj3'，对象obj4'的点云重合率为90％和92％，则确定基于第一点云数据中的对象boj3，对象obj4以及第二点云数据中的对象boj3'，对象obj4'作为基础，来对第一点云和第二点云数据进行配准。此时，无需对点云数据中的对象的具体分类进行识别，而仅需计算两组点云中所获得的对象的点云重合率即可。
同样地，可根据所述对准过程中的坐标偏移量，来确定坐标变换矩阵。优选地，当存在初始变换矩阵时，根据对准过程中的坐标偏移量，来更新所述初始变换矩阵以获得优化的坐标变换矩阵。
根据本方案的一个优选实施例，根据本方案的点云数据中还包括时间信息，第一点云数据与第二点云数据之间的变换信息中还包括数据偏差范围。
其中，点云数据中的时间信息可以例如为时间戳，用于指示该点云数据对应的时间点。优选地，变换信息中的时间偏差范围ΔT用于筛选可用的点云信息。
根据本方案的一个优选实施例，可通过以下方式来获取时间偏差范围ΔT。
具体地，在对第一激光雷达和第二激光雷达进行时间校准后，由第一激光雷达的多个具有时间戳的第一点云数据，以及第二激光雷达的多个具有时间戳的第二点云数据中选择一组时间信息最接近的第一点云数据和第二点云数据，并基于该第一点云数据和第二点云数据的时间差，来确定时间偏差范围ΔT。
其中，基于该第一点云数据和第二点云数据的时间差，来确定时间偏差范围ΔT的方式可以有多种。
例如，可直接将所选择的该第一点云数据和第二点云数据的时间差作为时间偏差范围ΔT；又例如，可重复执行上述操作，由多个时间点的第一点云数据和第二点云数据的来获得多个时间差，并由该多个时间差的平均值时间偏差范围ΔT；又例如，根据多个时间差的平均值及其波动范围，确定平均值时间偏差范围ΔT，等等
其中，上述第一激光雷达和第二激光雷达可以安装在相同或相近对象上。优选地，第一激光雷达和第二激光雷达均安装于静态对象上。例如设置在十字路口的电线杆。优选地，在一些应用场景中，上述第一激光雷达和第二激光雷达安装在同一静态对象上。优选地，在另一些应用场景中，上述第一激光雷达和第二激光雷达可安装在不同静态对象上。
根据本方案所述的静态对象包括诸如电线杆、路灯、建筑物等固定地设立于某地的物体。可以理解的是，在上述静态对象上安装的第一激光雷达和第二激光雷达各自的位姿可以不同。上述位姿可以包括激光雷达距离地面的高度，以及激光雷达的光轴与水平面之间所呈的角度。优选地，当激光雷达不为360°水平视场角时，所述位姿还可包括激光雷达的光轴的朝向。
上述第一激光雷达和第二激光雷达各自对应的扫描区域可以不同。这样，在一个测量点上，采用至少两个雷达，调整该至少两个雷达的相对位置，以使得该至少两个雷达的扫描区域能够覆盖完整的目标区域。
在上述同一物体上使用第一激光雷达和第二激光雷达，分别获取该物体所处环境的不同区域的点云数据。由于不同激光雷达采集相同环境的不同区域的点云数据，上述第一激光雷达和第二激光雷达的点云数据可以互补，可以较完整的反应所处环境的信息。
激光雷达的扫描参数例如可以包括但不限于：扫描线数、视场角、扫描精度、扫描范围。
优选地，上述第一激光雷达和第二激光雷达中可以包括一个主雷达和至少一个辅助雷达。主雷达可以具有较大的扫描区域和更高的扫描精度。辅助雷达相对扫范围较小，可以对主雷达的扫描盲区进行补偿。
请结合图2A～2D，图2A示出了一种第一激光雷达的示意图；图 2B示出了一种第二激光雷达的示意图；图2C示出了第二激光雷达的安装角度示意图。
如图2A、图2B所示，第一激光雷达201可以是64线激光雷达。
第一激光雷达201的扫描范围为-25°～15°。第二激光雷达202可以是64线激光雷达，第二激光雷达202的扫描范围为-52.1°～52.1°。
第一激光雷达201的扫描范围比第二激光雷达202的扫描范围较小。
第一激光雷达201的扫描精度比第二激光雷达的202的扫描精度高。可以将第一激光雷达201作为主激光雷达啊，第二激光雷达202作为辅助激光雷达。第一激光雷达201和第二激光雷达202各自对应的扫描范围不同。第一激光雷达201可以对应较大的扫描区域。第二激光雷达202可以对应较小的扫描范围。可以通过设置第二激光雷达202 的安装角度，使得第二激光雷达202对应较小的扫描范围。第二激光雷达202的安装角度可以为激光雷达的中轴线与水平面所成的角度θ，如图2C所示。
图2D示出了一种同时使用第一激光雷达和同时使用第二激光雷达示意性安装结构示意图。
在同一安装物体上，可以设置第一激光雷达201和第二激光雷达 202不同的安装角度。在图2D中，第一激光雷达201作为主激光雷达，对应较大的扫描范围。第二激光雷达202作为辅助激光雷达，对应较小的扫描范围。
该两个激光雷达所扫描的点云数据可以互相补充，可以得到较完整的场景的点云数据。
第一激光雷达扫描场景和第二激光雷达扫描场景均可以得到点云数据。根据第一激光雷达扫描场景得到第一点云数据生成的第一点云图如图3A所示。根据第二激光雷达扫描场景得到的第二点云数据生成的第二点云图，如图3B所示。
优选地，主雷达相对辅助雷达有较大的扫描区域和/或更高的扫描精度。辅助雷达的扫描范围可以相对较小，用于对主雷达的扫描盲区进行补偿。
步骤102，将第一点云数据和第二点云数据进行融合，得到场景的全景点云数据。
在本实施例中，可以使用各种方法将第一点云数据和第二点云数据进行融合，得到场景的全景点云数据。以图2D所示的第一激光雷达和第二激光雷达为例进行说明。可以将如图3A所示的第一激光雷达的第一点云图和如图3B所示的第二激光雷达的第二点云图进行融合，得到融合后的示意性点云图，如图3C所示。
在对第一点云数据和第二点云数据进行融合时，可以根据第一激光雷达和第二激光雷达各自对应的时间信息和/或空间信息，将第一点云数据和第二点云数据进行融合。
在时间上，在使用激光雷达进行点云采集时，可以向第一激光雷达和第二激光雷达提供基准时间。各激光雷达可以根据上述基准时间进行时间校准。然后，根据已经校准后的各自时间进行点云采集。在各激光雷达使用上述方法校准后，采集的场景的点云数据，可以将在预设时间段内的第一激光雷达和第二激光雷达采集的点云数据进行融合。
在空间上，可以将第一点云数据和第二点云数据转换到同一个坐标系中，从而得到全景点云数据。
在一些可选的实现方式中，上述步骤102可以包括：利用所述坐标转换矩阵，将第一点云数据和第二点云数据转换至同一坐标系下，得到全景点云数据。
作为示意性说明，可以将第二点云数据进行坐标变换，变换至第一点云数据所在的坐标系中。上述坐标变换矩阵可以是将上述第二点云数据变换至第一点云数据的坐标系的变换矩阵。
在上述变换过程中，上述变换矩阵可以包括旋转矩阵R和平移量矩阵T。假设任一第二点云数据的原始点为X，X’为X使用预定的坐标转换矩阵转换后的坐标，上述转换过程由如下公式(1)表示：
R×X+T＝X’ (1)；
上述旋转矩阵R和平移量矩阵T可以是事先确定的。
需要说明的是，使用旋转矩阵R和平移量矩阵T将一坐标系下的点的坐标变换至另一坐标系下的坐标，是本领域技术人员可以获知的信息，在此不做赘述。
本实例提供的点云处理方法，通过获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据，实现了采用第一激光雷达和第二激雷达分别采集同一环境的不同区域的点云数据进行分析，第一点云数据和第二点云数据可以互相补充，互相作为补盲点云数据，从而可以得到该环境覆盖面积较广的点云数据。
根据一个优选实施例，对于一个第二激光雷达，其相对于第一激光雷达的坐标转换矩阵可以包括第一旋转矩阵R1和第一平移量矩阵 T1，利用上述第一选择矩阵R1和第一平移量矩阵T1将该第二激光雷达的第二点云数据转移至上述参考坐标系。从而可以根据公式(1)将上述第一点云数据和第二点云数据转换至同一坐标系下，得到初始全景点云。
可以理解，当有多个第二激光雷达的时候，可有多个分别与第二激光雷达对应的转换矩阵。
接着前述举例继续说明，当存在另一个第二激光雷达时，其相对于同一个第一激光雷达的坐标转换矩阵可包括第二旋转矩阵R2和第二平移量矩阵T2，利用上述第二选择矩阵R2和第二平移量矩阵T2将该另一个第二激光雷达的第二点云数据转移至上述参考坐标系。
并继续跟进根据公式(1)将该第二点云数据和前述包含了第一点云数据的初始全景点云转换至同一坐标系下，得到全景点云数据。
具体地，可以根据第一点云数据中所包括的静态对象的点云数据和第二点云数据中所包括的静态对象的点云数据来确定上述位置偏差。
例如，第一点云数据中的第一静态对象的点云数据和第二点云数据中的同一第一静态对象的点云数据之间有位置偏差，可以根据上述位置偏差将上述第一点云数据和第二点云数据的位置进行优化，从而得到全景点云数据。
在这些可选的实现方式中，首先使用预设坐标转换矩阵，将第一点云数据和第二点云数数据转换至同一坐标系下，得到初始全景点云数据，然后再使用静态对象的点云数据确定第一点云数据和第二点云数据之间的位置偏差，根据上述位置偏差来优化初始全景点云数据，从而得到较准确的全景点云数据。
优选地，当转换信息包括时间偏差范围ΔT时，根据所述转换信息中的时间偏差范围，以及第一点云数据和第二点云数据各自对应的时间信息，确定当前的第二点云数据是否在所述时间偏差范围内；当所述第二点云数据的时间信息在所述时间偏差范围内时，将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
具体地，根据当前的第一点云数据和第二点云数据各自对应的时间信息，确定第二点云数据相对于第一点云数据之间的实际时间偏差，当该实际时间偏差小于时间偏差范围ΔT时，将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据；当该实际时间偏差大于时间偏差范围ΔT时，丢弃该第二点云数据。
更优选地，当存在多个第二激光雷达的时候，由该多个第二激光雷达的第二点云数据中，选择与第一点云数据的实际时间偏差小于时间偏差范围ΔT的一个或多个第二激光雷达的第二点云数据并执行融合操作，而丢弃其余不满足该条件的第二点云数据。
在本实施例的一些可选的实现方式中，上述步骤101可以进一步包括：根据第一激光雷达和第二激光雷达各自对应的点云数据的数据格式，识别第一点云数据和第二点云数据。上述点云数据格式包括以下至少任一项：数据结构、数据字节数、数据解析方式。
不同的激光雷达的数据格式可以不相同。根据本发明的一个实施例，主激光雷达的一帧的数据长度为1236字节(byte)，其数据格式包括：前32字节的前数据包标识、12组数据包和4字节时间戳。其中每组数据包包括2字节包头，2字节旋转角度，以及32×3个字节的点云测距信息；亦即该数据帧包括了12个扫描角度的数据，且每个扫描角度有96个字节的测距信息。
辅助雷达的一个数据帧的数据长度为1096字节，包括36个字节的前数据包标识、8组数据包和4字节时间戳。其中每组数据包包括2 字节包头，2字节旋转角度，以及64×2个字节的点云测距信息。亦即该数据帧包括了8个扫描角度的数据，且每个扫描角度有128个字节的测距信息。
解析时，先根据接收到的数据帧的字节大小，来确定该数据帧来自主雷达还是辅雷达，随后，根据确定的主雷达和辅雷达各自对应的坐标转换矩阵，对其中解析到的各个扫描角度的测距信息进行坐标转换，以进行融合。
本领域技术人员应可理解，点云处理系统可根据各个数据帧的不同，分别执行不同的解析过程。例如，对于前述主雷达的数据帧，读取前32个字节作为前数据包标识，而对于辅雷达的数据帧，读取36 个字节作为前数据包标识，这些可基于与主、辅雷达之间的数据交互协议来确定。
在本实施例的一些可选的实现方式中，上述点云数据获取方法还包括步骤103(图未示)。
在步骤103中，根据所述全景点云数据识别可移动对象。
具体地，步骤103可以包括以下步骤。
首先，对全景点云数据进行背景点云过滤。其中，所述背景点云由道路、建筑物等静态对象构成。
其次，将背景点云过滤后的全景点云数据进行聚类。
最后，根据聚类结果确定场景中的可移动对象的点云数据。
其中，所述可移动对象包括当前位于激光雷达的扫描范围中，并且可能在其他时刻移动出该扫描范围的对象，诸如车辆、行人等。
请参考图4A～图4D，图4A示出了根据本申请的一个实施例的采用第一激光雷达的第一点云数据的示意图；图4B示出了根据本申请的一个实施例的、对第一点云数据和第二点云数据融合后得到的一个全景点云数据示意图；图4C示出了根据本申请的又一个实施例的、对全景点云数据集的背景点云过滤后的点云数据进行聚类得到聚类结果示意图；图4D示出了对图4C所示聚类结果进行滤波后的结果示意图。
这里，背景点云可以由静态对象的点云构成。
具体地，通过获得多个不同时段下的全景图，可建立当前场景下的静态对象集合，因此，在随后的探测应用场景中，可将探测到的全景图与预获得的场景静态对象集合相比较，并去除该静态对象集合(亦即背景点云过滤)，以获得当前场景下的可移动对象。
上述将背景点云过滤后的全景点云数据进行聚类，可以使用各种聚类方法来对上述将背景点云过滤后的全景点云数据进行聚类。在一些应用场景中，可以使用欧式聚类方法对上述将背景点云过滤后的全景点云数据进行聚类。欧式聚类方法如果当前扫描点与前一个扫描点的距离在预设阈值范围内，则当前点被聚到前一个扫描点的类中；否则，把当前扫描点设置为新的聚类种子，根据预设阈值判断下一个扫描点是否与该种子属于同一类。
通过采用具有预定分类的训练数据集，可实现对于点云数据的较好的训练结果，进而对各个静态对象和/或可移动对象进行聚类和识别。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种点云处理装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的点云处理装置包括：获取单元501、融合单元502。其中，获取单元501，用于获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；融合单元502，用于将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
在本实施例中，点云处理装置的获取单元501和融合单元502的具体处理及其所带来的技术效果可分别参考图1对应实施例中步骤 101和步骤102的相关说明，在此不再赘述。
在一些可选的实现方式中，融合单元502包括转换信息获取子单元(图中未示出)和坐标转换子单元(图中未示出)，其中，转换信息获取子单元用于获取所述第一激光雷达和所述第二激光雷达之间的变换信息；坐标转换子单元用于基于所述变换信息，将所述第一点云数据和第二点云数据转换至同一坐标系下，得到所述全景点云数据。
在一些可选的实现方式中，转换信息获取子单元进一步用于获取已存储的所述变换信息。
在一些可选的实现方式中，转换信息获取子单元进一步用于根据第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据进行配准，以获得所述第二点云数据相对于所述第一点云数据的转换信息。
在一些可选的实现方式中，所述变换信息包括坐标转换矩阵，转换信息获取子单元进一步用于：获取初始坐标转换矩阵，其中，所述初始坐标转换矩阵基于所述第一激光雷达和第二激光雷达的相对安装位姿来确定；根据所述初始坐标变换矩阵，以及第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，优化第一激光雷达与所述第二激光雷达之间的坐标变换矩阵。
在一些可选的实现方式中，点云数据中还包括时间信息，所述转换信息还包括时间偏差范围，转换信息获取子单元进一步用于：根据第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，确定时间偏差范围。
在一些可选的实现方式中，坐标转换子单元进一步用于：根据所述转换信息中的时间偏差范围，以及第一点云数据和第二点云数据各自对应的时间信息，确定当前的第二点云数据是否在所述时间偏差范围内；当所述第二点云数据的时间信息在所述时间偏差范围内时，将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
在一些可选的实现方式中，点云处理装置还包括移动对象识别单元(图中未示出)。移动对象识别单元用于根据全景点云数据识别可移动对象。
在一些可选的实现方式中，移动对象识别单元进一步用于：对全景点云数据进行背景点云过滤；将背景点云过滤后的全景点云数据进行聚类；根据聚类结果确定场景中的可移动对象的点云数据。
在一些可选的实现方式中，背景点云由静态对象的点云构成。
在一些可选的实现方式中，获取单元501进一步用于：获取所述第一激光雷达的第一点云数据和多个所述第二激光雷达各自对应的多个第二点云数据，所述第一点云数据和多个所述第二点云数据由第一激光雷达和所述多个第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；融合单元502进一步用于将所述第一点云数据和所述多个第二点云数据进行融合，得到所述场景的全景点云数据。
在一些可选的实现方式中，融合单元502进一步用于：对于各个第二点云数据，分别执行所述第一点云数据与所述各个第二点云数据的融合操作，以获得相应的中间全景点云；根据与所述多个第二点云数据分别对应的中间全景点云，来获得全景点云数据。
在一些可选的实现方式中，融合单元502进一步用于：由所述多个第二点云数据中选择一个第二点云数据，并基于当前的第一点云数据与第二点云数据进行融合，以获得中间全景点云；在所述多个第二点云数据中余下的点云数据中，选择一个第二点云数据，并基于该第二点云数据与所述第一点云数据的融合，更新所述中间全景点云；重复前述步骤直至所有第二点云数据都完成融合处理，并将最后一次融合得到的数据作为全景点云数据。
在一些可选的实现方式中，获取单元501进一步用于：根据第一激光雷达和第二激光雷达各自对应的点云数据的数据格式，识别所述第一点云数据和所述第二点云数据；其中，所述点云数据格式包括以下至少任一项：数据结构；数据字节数；数据解析方式。
请参考本申请的一个实施例的点云处理系统的结构。
点云处理系统包括第一雷达、第二雷达和电子设备。上述电子设备可以是用于执行点云处理方法的电子设备。上述电子设备可以包括图5实施例所示的点云处理装置。
其中，第一雷达向所述电子设备发送所述第一点云数据。第二雷达向电子设备发送所述第二点云数据。电子设备根据第一点云数据和所述第二点云数据，执行如图1所示实施例的点云处理方法。
可以理解，如图6所示，在一些实施例中，点云处理系统可包括第一雷达601、多个第二雷达602和电子设备603。此时，点云处理装置可通过执行步骤101'和步骤102'，来获得全景点云数据。
具体地，在步骤101'中，点云处理装置获取所述第一激光雷达的第一点云数据和多个所述第二激光雷达各自对应的多个第二点云数据
并且，在步骤102'中，点云处理装置将所述第一点云数据和所述多个第二点云数据进行融合，得到所述场景的全景点云数据。
作为一个优选实施例，在步骤102'中，对于多个第二激光雷达各自对应的各个第二点云数据，点云处理装置分别执行第一点云数据与第二点云数据的融合操作，以获得相应的中间全景点云；并且，根据与所述多个第二点云数据分别对应的中间全景点云，来获得全景点云数据。
作为另一个优选实施例，在步骤102”中，点云处理装置由所述多个第二点云数据中选择一个第二点云数据，并基于当前的第一点云数据与第二点云数据进行融合，以获得中间全景点云；接着，在所述多个第二点云数据中余下的点云数据中，选择一个第二点云数据，并基于该第二点云数据与所述第一点云数据的融合，更新所述中间全景点云。并且，点云处理装置重复前述步骤直至所有第二点云数据都完成融合处理，并将最后一次融合得到的数据作为全景点云数据。
其中，具体每次融合的操作如前述说明书所述，此处不再赘述。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
优选地，根据本方案的电子设备包括但不限于诸如个人PC、移动终端、服务器等具有一定计算能力的设备或系统。
如图7所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)701，其可以根据存储在只读存储器(ROM，Read Only Memory)702中的程序或者从存储部分708加载到随机访问存储器 (RAM，Random Access Memory)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有系统操作所需的各种程序和数据。 CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O，Input/Output)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD， Liquid Crystal Display)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN(局域网，Local AreaNetwork) 卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O 接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501 执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (21)

1.一种点云处理方法，其特征在于，包括：
获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；
将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据，包括：
获取所述第一激光雷达和所述第二激光雷达之间的变换信息；
基于所述变换信息，将所述第一点云数据和第二点云数据转换至同一坐标系下，得到所述全景点云数据。
3.根据权利要求2所述的方法，其中，所述获取所述第一激光雷达和所述第二激光雷达之间的变换信息，包括：
获取已存储的所述变换信息。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取所述第一激光雷达和所述第二激光雷达之间的变换信息还包括：
根据第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据进行配准，以获得所述第二点云数据相对于所述第一点云数据的转换信息。
5.根据权利要求4所述的方法，其中，所述变换信息包括坐标转换矩阵，所述根据第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据进行配准，以获得所述第二点云数据相对于所述第一点云数据的转换信息，包括：
获取初始坐标转换矩阵，其中，所述初始坐标转换矩阵基于所述第一激光雷达和第二激光雷达的相对安装位姿来确定；
根据所述初始坐标变换矩阵，以及第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，优化第一激光雷达与所述第二激光雷达之间的坐标变换矩阵。
6.根据权利要求1至3中任一项所述的方法，其中，点云数据中还包括时间信息，所述转换信息还包括时间偏差范围，其中，所述根据第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据进行配准，以获得所述第二点云数据相对于所述第一点云数据的转换信息，包括：
根据第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，确定时间偏差范围。
7.根据权利要求6所述的方法，其中，所述基于所述变换信息，将所述第一点云数据和第二点云数据转换至同一坐标系下，得到所述全景点云数据，包括：
根据所述转换信息中的时间偏差范围，以及第一点云数据和第二点云数据各自对应的时间信息，确定当前的第二点云数据是否在所述时间偏差范围内；
当所述第二点云数据的时间信息在所述时间偏差范围内时，将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
8.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
根据所述全景点云数据识别可移动对象。
9.根据权利要求8所述的方法，其特征在于，所述根据所述全景点云数据识别可移动对象，包括：
对全景点云数据进行背景点云过滤；
将背景点云过滤后的全景点云数据进行聚类；
根据聚类结果确定场景中的可移动对象的点云数据。
10.根据权利要求9所述的方法，其特征在于，所述背景点云由静态对象的点云构成。
11.根据权利要求1所述的方法，其中，所述获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，包括：
获取所述第一激光雷达的第一点云数据和多个所述第二激光雷达各自对应的多个第二点云数据，所述第一点云数据和多个所述第二点云数据由第一激光雷达和所述多个第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；
所述将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据，包括：
将所述第一点云数据和所述多个第二点云数据进行融合，得到所述场景的全景点云数据。
12.根据权利要求11所述的方法，其特征在于，所述将所述第一点云数据和所述多个第二点云数据进行融合，得到所述场景的全景点云数据包括：
对于各个第二点云数据，分别执行所述第一点云数据与所述各个第二点云数据的融合操作，以获得相应的中间全景点云；
根据与所述多个第二点云数据分别对应的中间全景点云，来获得全景点云数据。
13.根据权利要求11所述的方法，其特征在于，所述将所述第一点云数据和所述多个第二点云数据进行融合，得到所述场景的全景点云数据，包括：
由所述多个第二点云数据中选择一个第二点云数据，并基于当前的第一点云数据与第二点云数据进行融合，以获得中间全景点云；
在所述多个第二点云数据中余下的点云数据中，选择一个第二点云数据，并基于该第二点云数据与所述第一点云数据的融合，更新所述中间全景点云；
重复前述步骤直至所有第二点云数据都完成融合处理，并将最后一次融合得到的数据作为全景点云数据。
14.根据权利要求1所述的方法，其特征在于，所述获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，包括：
根据第一激光雷达和第二激光雷达各自对应的点云数据的数据格式，识别所述第一点云数据和所述第二点云数据；其中，所述点云数据格式包括以下至少任一项：
数据结构；
数据字节数；
数据解析方式。
15.一种点云处理装置，其特征在于，
获取单元，用于获取第一激光雷达和第二激光雷达各自的第一点云数据和第二点云数据，所述第一点云数据和第二点云数据由第一激光雷达和第二激光雷达使用各自的扫描参数对对同一场景进行扫描得到；
融合单元，用于将所述第一点云数据和第二点云数据进行融合，得到所述场景的全景点云数据。
16.根据权利要求15所述的点云处理装置，其特征在于，所述点云处理装置执行如权利要求1至14中任一项所述的方法来获得所述全景点云数据。
17.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1至14中任一项所述的方法。
18.根据权利要求17所述的电子设备，所述电子设备包括如权利要求15或16所述的点云处理装置。
19.一种点云处理系统，其中，所述点云处理系统包括第一激光雷达、第二激光雷达，以及如权利要求17或18所述的电子设备，其特征在于：
所述第一激光雷达向所述电子设备发送所述第一点云数据；
所述第二激光雷达向所述电子设备发送所述第二点云数据；
所述电子设备根据所述第一点云数据和所述第二点云数据，执行如权利要求1至14中任一所述的方法。
20.根据权利要求19所述的点云处理系统，其特征在于，所述点云处理系统包括多个第二激光雷达。
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至14中任一所述的方法。
CN202011499348.1A 2020-12-17 2020-12-17 点云处理方法、装置、电子设备和系统 Pending CN114648471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499348.1A CN114648471A (zh) 2020-12-17 2020-12-17 点云处理方法、装置、电子设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499348.1A CN114648471A (zh) 2020-12-17 2020-12-17 点云处理方法、装置、电子设备和系统

Publications (1)

Publication Number Publication Date
CN114648471A true CN114648471A (zh) 2022-06-21

Family

ID=81989849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011499348.1A Pending CN114648471A (zh) 2020-12-17 2020-12-17 点云处理方法、装置、电子设备和系统

Country Status (1)

Country Link
CN (1) CN114648471A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115236690A (zh) * 2022-09-20 2022-10-25 图达通智能科技(武汉)有限公司 用于激光雷达系统的数据融合方法、装置及可读存储介质
CN116385550A (zh) * 2022-12-16 2023-07-04 北京斯年智驾科技有限公司 外参标定方法、装置、计算设备、介质和车辆
CN116739898A (zh) * 2023-06-03 2023-09-12 广州市西克传感器有限公司 基于圆柱特征的多相机点云拼接方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115236690A (zh) * 2022-09-20 2022-10-25 图达通智能科技(武汉)有限公司 用于激光雷达系统的数据融合方法、装置及可读存储介质
CN115236690B (zh) * 2022-09-20 2023-02-10 图达通智能科技(武汉)有限公司 用于激光雷达系统的数据融合方法、装置及可读存储介质
EP4343383A1 (en) * 2022-09-20 2024-03-27 Innovusion (Wuhan) Co., Ltd. Data fusion method and apparatus for lidar system and readable storage medium
CN116385550A (zh) * 2022-12-16 2023-07-04 北京斯年智驾科技有限公司 外参标定方法、装置、计算设备、介质和车辆
CN116739898A (zh) * 2023-06-03 2023-09-12 广州市西克传感器有限公司 基于圆柱特征的多相机点云拼接方法和装置
CN116739898B (zh) * 2023-06-03 2024-04-30 广东西克智能科技有限公司 基于圆柱特征的多相机点云拼接方法和装置

Similar Documents

Publication Publication Date Title
CN114648471A (zh) 点云处理方法、装置、电子设备和系统
CN109739236B (zh) 车辆信息的处理方法、装置、计算机可读介质及电子设备
Lv et al. LiDAR-enhanced connected infrastructures sensing and broadcasting high-resolution traffic information serving smart cities
EP3748603A1 (en) Safe passing system and method for vehicle
KR102554621B1 (ko) 차량-도로 협업 정보 처리 방법, 장치, 기기, 자율 주행 차량 및 컴퓨터 프로그램
CN105793669B (zh) 车辆位置推定系统、装置、方法以及照相机装置
US7505850B2 (en) Apparatus and method for preventing collision of vehicle at crossroads
CN109817022B (zh) 一种获取目标对象位置的方法、终端、汽车及系统
CN110988849B (zh) 雷达系统的标定方法、装置、电子设备及存储介质
CN110164135B (zh) 一种定位方法、定位装置及定位系统
CN112382079B (zh) 一种面向车路协同的路侧感知模拟仿真方法和系统
CN108550258B (zh) 车辆排队长度检测方法、装置、存储介质和电子设备
CN105702152A (zh) 地图生成方法和装置
CN103700261A (zh) 一种基于视频的道路交通流特征参数监测及交通综合信息服务系统
CN112712023B (zh) 车型识别方法、系统及电子设备
CN109931950B (zh) 一种实景导航方法、系统及终端设备
US20220044558A1 (en) Method and device for generating a digital representation of traffic on a road
EP3940666A1 (en) Digital reconstruction method, apparatus, and system for traffic road
CN113286081A (zh) 机场全景视频的目标识别方法、装置、设备及介质
CN115588040A (zh) 一种基于全视图成像点坐标统计定位系统及方法
CN113205087B (zh) 一种感知信息处理方法、装置、设备及计算机可读存储介质
CN113838283B (zh) 一种车辆的位置状态标记方法、装置、存储介质及终端
CN112698372A (zh) 时空数据处理方法、装置、电子设备及存储介质
CN113269827A (zh) 一种实现自动化标定的方法和计算装置
Ryan et al. Evaluation of small unmanned aerial system highway volume and speed‐sensing applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination