CN114359346A - 点云数据处理方法、装置、非易失性存储介质及处理器 - Google Patents

点云数据处理方法、装置、非易失性存储介质及处理器 Download PDF

Info

Publication number
CN114359346A
CN114359346A CN202111679694.2A CN202111679694A CN114359346A CN 114359346 A CN114359346 A CN 114359346A CN 202111679694 A CN202111679694 A CN 202111679694A CN 114359346 A CN114359346 A CN 114359346A
Authority
CN
China
Prior art keywords
target object
point cloud
cloud data
dimensional pseudo
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111679694.2A
Other languages
English (en)
Inventor
郭昌野
王宇
张勇
黄佳伟
张林灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202111679694.2A priority Critical patent/CN114359346A/zh
Publication of CN114359346A publication Critical patent/CN114359346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种点云数据处理方法、装置、非易失性存储介质及处理器。点云数据处理方法包括：通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据；将点云融合数据转换成二维伪图；利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，根据二维伪图，确定目标对象的跟踪ID；根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置。本发明解决了现有技术中跟踪方法依赖于特定场景设计的规则，造成在多种场景下使用容易受到限制的技术问题。

Description

点云数据处理方法、装置、非易失性存储介质及处理器
技术领域
本发明涉及点云数据处理技术领域，具体而言，涉及一种点云数据处理方法、装置、非易失性存储介质及处理器。
背景技术
现有技术中，在自动驾驶车辆中运行的3D目标跟踪算法主要利用匈牙利匹配和3D卡尔曼滤波方法，采取人工设计的规则，比如目标位置，大小，类型等信息，针对不同场景调整的匹配参数，对连续帧的检测目标进行跟踪。采用现有技术中的技术方案会存在以下缺点：
1，该跟踪方法依赖于特定场景设计的规则，没有利用大量丰富场景的标注信息，在多种场景下使用容易受到限制。
2，检测算法和跟踪算法分离，不能共同提升各模块的算法精度。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种点云数据处理方法、装置、非易失性存储介质及处理器，以至少解决现有技术中跟踪方法依赖于特定场景设计的规则，造成在多种场景下使用容易受到限制的技术问题。
根据本发明实施例的一个方面，提供了一种应用于车辆的点云数据处理方法，包括：通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，其中，目标对象包括位于自动驾驶车辆外部的至少一种车辆；从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据；将点云融合数据转换成二维伪图；利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，目标对象的物理特征信息包括如下至少之一：目标对象的物理尺寸信息、空间位置信息、初始位置图像、运动偏移图像；根据二维伪图，确定目标对象的跟踪ID；根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置。
可选地，基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，该步骤包括：获取与任意一帧点云数据相邻的至少一帧待融合的点云数据；按照每一帧待融合的点云数据的定位信息，将任意一帧点云数据以及相邻的至少一帧待融合的点云数据均补偿到车辆坐标系中，生成融合后的点云融合数据。
可选地，根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置之前，包括：将第一预设时间段内获得的二维伪图与第二预设时间段内的二维伪图进行比较，其中，第一预设时间段的时间节点早于第二预设时间段的时间节点；判断第二预设时间段内的二维伪图中的目标对象是否消失；确定二维伪图中有消失的目标对象时，删除消失的目标对象的跟踪ID，确定二维伪图中的目标对象仍然存在时，保持仍然存在的目标对象的跟踪ID。
可选地，将第一预设时间段内获得的二维伪图与第二预设时间段内的二维伪图进行比较，包括：确定有新的目标对象出现在第二预设时间段内的二维伪图上时，对新增的目标对象赋予新的跟踪ID。
可选地，判断目标对象在第一预设时间段内是否首次出现在二维伪图中；确定目标对象在第一预设时间段内是首次出现在二维伪图中时，判断目标对象在第二预设时间段内是否仍然出现在二维伪图中；确定目标对象在第二预设时间段内仍然出现在二维伪图中时，增强目标对象在二维伪图中的响应峰值，响应峰值包括目标对象的轮廓。
可选地，根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置，包括：根据目标对象的跟踪ID，将对应的目标对象的运动偏移图像与初始位置图像进行拟合，获取目标对象的空间位置。
可选地，利用类别属性函数对二维伪图进行检测，获得二维伪图中目标对象的类别属性，其中，类别属性至少包括目标对象的种类信息。
根据本发明实施例的另一方面，还提供了一种点云数据处理装置，包括：采集模块，用于通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，其中，目标对象包括位于自动驾驶车辆外部的至少一种车辆；融合模块，用于从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据；转换模块，用于将点云融合数据转换成二维伪图；检测模块，利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，目标对象的物理特征信息包括如下至少之一：目标对象的物理尺寸信息、空间位置信息、初始位置图像、运动偏移图像；第一确定模块，用于根据二维伪图，确定目标对象的跟踪ID；第二确定模块，用于根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述点云数据处理方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述点云数据处理方法。
在本发明实施例中，通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，通过从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据，再将点云融合数据转换成二维伪图，利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，根据二维伪图确定目标对象的跟踪ID，根据物理特征信息和目标对象的跟踪ID确定目标对象的空间位置。采用该方法能够充分利用目标对象的跟踪ID，通过对大量丰富场景中目标对象的跟踪ID进行监督，保证了跟踪模块场景泛化能力。采用该方法不需要人工设计匹配规则，不涉及手动调参工作，整个流程自动化完成，提高了部署效率和可扩展性。采用该方法解决了现有技术中跟踪方法依赖于特定场景设计的规则，造成在多种场景下使用容易受到限制的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的一种可选的点云数据处理方法的第一实施例的流程图；
图2是根据本发明实施例的一种可选的将预定数量帧的点云数据进行融合处理的方法的流程图；
图3是根据本发明的一种可选的点云数据处理方法的第二实施例的流程图；
图4是根据本发明实施例的一种可选的点云数据处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种应用于车辆的点云数据处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的点云数据处理方法，如图1所示，该方法包括如下步骤：
步骤S101，通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，其中，目标对象包括位于自动驾驶车辆外部的至少一种车辆；
步骤S102，从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据；
步骤S103，将点云融合数据转换成二维伪图；
步骤S104，利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，目标对象的物理特征信息包括如下至少之一：目标对象的物理尺寸信息、空间位置信息、初始位置图像、运动偏移图像；
步骤S105，根据二维伪图，确定目标对象的跟踪ID；
步骤S106，根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置。
通过上述步骤，通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，通过从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据，再将点云融合数据转换成二维伪图，利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，根据二维伪图确定目标对象的跟踪ID，根据物理特征信息和目标对象的跟踪ID确定目标对象的空间位置。采用该方法能够充分利用目标对象的跟踪ID，通过对大量丰富场景中目标对象的跟踪ID进行监督，保证了跟踪模块场景泛化能力。采用该方法不需要人工设计匹配规则，不涉及手动调参工作，整个流程自动化完成，提高了部署效率和可扩展性。采用该方法解决了现有技术中跟踪方法依赖于特定场景设计的规则，造成在多种场景下使用容易受到限制的技术问题。
可选地，如图2所示，基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，该步骤包括：步骤S201，获取与任意一帧点云数据相邻的至少一帧待融合的点云数据，步骤S202，按照每一帧待融合的点云数据的定位信息，将任意一帧点云数据以及相邻的至少一帧待融合的点云数据均补偿到车辆坐标系中，生成融合后的点云融合数据。具体地，以将n帧点云数据进行融合处理为例，将当前帧之前的n-1(n>1)帧点云数据，按照相应的自车定位信息，对前n-1帧数据转换到当前第n帧的自车坐标系中，得到当前批次的n帧3D点云融合数据，点云数据每个点的值为x，y，z，r，Δt，其中，x，y，z，表示点云在空间中的坐标位置，具体地，x，y，z分别代表点云的长、宽、高，r表示像素，Δt是相对于当前帧的时间差。
根据本申请的一个具体实施例，点云融合数据是通过体素等方式转换成二维伪图(2D特征图)，以便于利用2D卷积神经网络进行深度特征提取。2D卷积神经网络结构一般采用Feature Pyramid Network(FPN)网络结构，它利用多级的feature map去预测不同尺度大小的物体，其中高层特征带有高级语义信息和较大的感受野，适合检测大物体，浅层特征带有低级的细节语义信息和较小的感受野，适合检测小物体。FPN逐步融合深层和浅层特征，最终获得既能够提取到目标空间特征，又可以提取到目标语义特征的具有丰富表达能力的特征图。
进一步地，利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息。具体地，二维伪图通过含有少许卷积层的检测头提取从而得到目标对象的物理尺寸，如长宽高、朝向角等属性、得到目标对象的目标中心的空间位置、得到目标对象的初始位置响应特征即初始位置图像、得到目标对象相对于前一批第一帧目标对象的运动偏移特征即运动偏移图像。
可选地，如图3所示，根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置之前，包括：步骤S301，将第一预设时间段内获得的二维伪图与第二预设时间段内的二维伪图进行比较，其中，第一预设时间段的时间节点早于第二预设时间段的时间节点，步骤S302，判断第二预设时间段内的二维伪图中的目标对象是否消失，步骤S303，确定二维伪图中有消失的目标对象时，删除消失的目标对象的跟踪ID，确定二维伪图中的目标对象仍然存在时，保持仍然存在的目标对象的跟踪ID。这样能够提高对目标对象的跟踪精度，有效地避免了消失的目标对象影响跟踪效果。
进一步地，为了提高对目标对象的跟踪精度，可以将当前得到当前批次帧中的位置图像和前一批次得到的位置图像进行平均化处理以优化目标对象的线条，根据一定的阈值，删除在当前批次帧中消失的目标跟踪ID，保持在当前批次帧中仍然存在的目标对象的跟踪ID。
为了进一步地提高对目标对象的跟踪精度，将第一预设时间段内获得的二维伪图与第二预设时间段内的二维伪图进行比较，包括：确定有新的目标对象出现在第二预设时间段内的二维伪图上时，对新增的目标对象赋予新的跟踪ID。
可选地，判断目标对象在第一预设时间段内是否首次出现在二维伪图中，确定目标对象在第一预设时间段内是首次出现在二维伪图中时，判断目标对象在第二预设时间段内是否仍然出现在二维伪图中，确定目标对象在第二预设时间段内仍然出现在二维伪图中时，增强目标对象在二维伪图中的响应峰值，响应峰值包括目标对象的轮廓。同时通过激活函数获得该目标对象的类别属性。这样能够对新出现的目标对象进行及时发现以对其进行跟踪。
可选地，根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置，包括：根据目标对象的跟踪ID，将对应的目标对象的运动偏移图像与初始位置图像进行拟合，获取目标对象的空间位置。其中，将对应的目标对象的运动偏移图像与初始位置图像进行拟合，是通过将获得的运动偏移图像与初始位置图像相加，获得目标对象在当前批次帧的最终空间位置。
可选地，利用类别属性函数对二维伪图进行检测，获得二维伪图中目标对象的类别属性，其中，类别属性包括但不限于：目标对象的类别、空间位置、长、宽、高、尺寸、朝向角以及跟踪ID序号。这样能够准确的将目标对象进行识别并进行分类，提高了对目标跟踪的可靠性。
根据本申请的另一具体实施例，还提供了一种点云数据处理装置，如图4是根据本发明实施例的一种可选的点云数据处理装置的结构框图，包括：采集模块40、融合模块41、转换模块42、检测模块43、第一确定模块44和第二确定模块45，采集模块40用于通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，其中，目标对象包括位于自动驾驶车辆外部的至少一种车辆。融合模块41用于从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据。转换模块42用于将点云融合数据转换成二维伪图。检测模块43利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，目标对象的物理特征信息包括如下至少之一：目标对象的物理尺寸信息、空间位置信息、初始位置图像、运动偏移图像。第一确定模块44用于根据二维伪图，确定目标对象的跟踪ID，第二确定模块45用于根据物理特征信息和目标对象的跟踪ID，确定目标对象的空间位置。
在本发明实施例中，点云数据处理装置通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，通过从多帧点云数据中获取任意一帧点云数据，并基于任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据，再将点云融合数据转换成二维伪图，利用卷积神经网络的检测头对二维伪图进行检测，获得目标对象的物理特征信息，根据二维伪图确定目标对象的跟踪ID，根据物理特征信息和目标对象的跟踪ID确定目标对象的空间位置。采用该方法能够充分利用目标对象的跟踪ID，通过对大量丰富场景中目标对象的跟踪ID进行监督，保证了跟踪模块场景泛化能力。采用该方法不需要人工设计匹配规则，不涉及手动调参工作，整个流程自动化完成，提高了部署效率和可扩展性。采用该方法解决了现有技术中跟踪方法依赖于特定场景设计的规则，造成在多种场景下使用容易受到限制的技术问题。
根据本申请的另一个具体实施例，点云数据处理装置包括：采集模块40、融合模块41、转换模块42、检测模块43、第一确定模块44和第二确定模块45，通过转换模块42将融合模块41融合后的3D点云数据转换成2D特征数据(即将点云融合数据转换成二维伪图)，然后利用二维卷积神经网络(2D CNN)得到场景内的目标特征数据。其中，检测模块43包括第一模块、第二模块和第三模块，如图3所示。第一模块用于获取目标对象的大小、朝向属性，具体地，第一模块将上述目标对象特征数据通过卷积神经网络处理后分别得到目标对象的物理尺寸、长、宽、高、朝向角等。第二模块用于获取目标对象的位置属性，具体地，第二模块将上述目标特征数据通过卷积神经网络处理后得到目标对象的目标中心的空间位置。第三模块用于获取目标对象的跟踪身份属性，具体地，第三模块将上述目标特征数据通过卷积神经网络处理后分别得到目标对象的初始位置图像和目标对象的运动偏移图像。第一确定模块44通过检测模块43中的第三模块获得在当前帧中的目标对象的最终空间位置和跟踪ID序号，同时根据响应值得到目标对象的类别。第二确定模块45则将前述模块获得的目标对象各属性发送到终端，目标对象的各属性包括但不限于：目标对象的类别、空间位置、长、宽、高、尺寸、朝向角以及跟踪ID序号。
根据申请的另一个具体实施例，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述实施例中的点云数据处理方法的步骤。
根据本申请的另一个具体实施例，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述实施例中点云数据处理方法的步骤。
准确的环境感知是自动驾驶汽车在复杂动态环境中能够进行可靠导航、信息决策以及安全驾驶的关键。一般无人车上或者移动测量车上通常装备多种传感器，例如相机、毫米波和激光雷达。传统上，相机捕获的图像数据能够提供二维语义和纹理信息，且具有低成本和高效率等优点，是感知任务中最常用的数据之一。但是，图像数据缺少三维地理信息。因此，由激光雷达收集的密集的、准确的、具有三维地理信息的点云数据也应用于感知任务中。此外，激光雷达对照明条件的变化不敏感，可以在白天和夜晚工作，即使在恶劣天气和环境下，也可以稳定准确地探测感知周围环境。而随着深度学习技术的不断突破，基于深度神经网络的3D点云目标检测和多目标跟踪逐渐成为了自动驾驶感知模块的关键技术。然而目前在3D点云数据中应用的感知算法通常会受到以下几点困扰：
1、检测算法和跟踪算法模块分离，跟踪算法没有利用物体目标ID的监督信息，不能对检测算法精度有提升作用。
2、启发式跟踪算法依赖于人工设计的规则，受限于工程师的领域和先验知识。需要针对不同场景调整匹配参数，导致跟踪准确度不高。
3、启发式跟踪算法需要人工设计匹配规则并且涉及大量手动调参工作，部署效率和可扩展性较低，比如在无人驾驶场景中需要检测和跟踪多种类别目标(车、行人、两轮车等等)，手动调参时，均需要针对每一类别进行特定调试。
而应用本申请的点云数据处理方法的技术方案能够提升跟踪算法场景适应能力、提高检测跟踪算法精度，该点云数据处理方法能够应用在具备L2级以上的自动驾驶系统车辆上，该自动驾驶系统包括：激光雷达等传感器，智能驾驶硬件平台和智能驾驶软件平台。应用本申请的技术方案具有如下优点：
1、检测算法和跟踪算法基于深度学习神经网络训练，充分利用了物体目标ID的监督信息，保证了跟踪模块场景泛化能力。
2、不需要人工设计匹配规则，整个流程自动化，不涉及手动调参工作，提高了部署效率和可扩展性。
3、在检测算法中利用物体目标对象的ID的监督信息，对检测算法精度也起到了提升作用。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种应用于车辆的点云数据处理方法，其特征在于，包括：
通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，其中，所述目标对象包括位于所述自动驾驶车辆外部的至少一种车辆；
从所述多帧点云数据中获取任意一帧点云数据，并基于所述任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据；
将所述点云融合数据转换成二维伪图；
利用卷积神经网络的检测头对所述二维伪图进行检测，获得所述目标对象的物理特征信息，所述目标对象的物理特征信息包括如下至少之一：所述目标对象的物理尺寸信息、空间位置信息、初始位置图像、运动偏移图像；
根据所述二维伪图，确定所述目标对象的跟踪ID；
根据所述物理特征信息和所述目标对象的跟踪ID，确定所述目标对象的空间位置。
2.根据权利要求1所述的点云数据处理方法，其特征在于，基于所述任意一帧点云数据，将预定数量帧的点云数据进行融合处理，该步骤包括：
获取与所述任意一帧点云数据相邻的至少一帧待融合的点云数据；
按照每一帧待融合的点云数据的定位信息，将所述任意一帧点云数据以及相邻的至少一帧待融合的点云数据均补偿到车辆坐标系中，生成所述融合后的点云融合数据。
3.根据权利要求1所述的点云数据处理方法，其特征在于，根据所述物理特征信息和所述目标对象的跟踪ID，确定所述目标对象的空间位置之前，包括：
将第一预设时间段内获得的所述二维伪图与第二预设时间段内的所述二维伪图进行比较，其中，所述第一预设时间段的时间节点早于所述第二预设时间段的时间节点；
判断所述第二预设时间段内的所述二维伪图中的所述目标对象是否消失；
确定所述二维伪图中有消失的所述目标对象时，删除消失的所述目标对象的跟踪ID，确定所述二维伪图中的所述目标对象仍然存在时，保持仍然存在的所述目标对象的跟踪ID。
4.根据权利要求3所述的点云数据处理方法，其特征在于，将第一预设时间段内获得的所述二维伪图与第二预设时间段内的所述二维伪图进行比较，包括：
确定有新的所述目标对象出现在所述第二预设时间段内的所述二维伪图上时，对新增的所述目标对象赋予新的跟踪ID。
5.根据权利要求3所述的点云数据处理方法，其特征在于，
判断所述目标对象在所述第一预设时间段内是否首次出现在所述二维伪图中；
确定所述目标对象在所述第一预设时间段内是首次出现在所述二维伪图中时，判断所述目标对象在所述第二预设时间段内是否仍然出现在所述二维伪图中；
确定所述目标对象在所述第二预设时间段内仍然出现在所述二维伪图中时，增强所述目标对象在所述二维伪图中的响应峰值，所述响应峰值包括所述目标对象的轮廓。
6.根据权利要求1所述的点云数据处理方法，其特征在于，根据所述物理特征信息和所述目标对象的跟踪ID，确定所述目标对象的空间位置，包括：
根据所述目标对象的跟踪ID，将对应的所述目标对象的所述运动偏移图像与所述初始位置图像进行拟合，获取所述目标对象的所述空间位置。
7.根据权利要求4所述的点云数据处理方法，其特征在于，
利用类别属性函数对所述二维伪图进行检测，获得所述二维伪图中所述目标对象的类别属性，其中，所述类别属性至少包括所述目标对象的种类信息。
8.一种点云数据处理装置，其特征在于，包括：
采集模块，用于通过安装在自动驾驶车辆的激光雷达采集经由目标对象反射回来的多帧点云数据，其中，所述目标对象包括位于所述自动驾驶车辆外部的至少一种车辆；
融合模块，用于从所述多帧点云数据中获取任意一帧点云数据，并基于所述任意一帧点云数据，将预定数量帧的点云数据进行融合处理，获得融合后的点云融合数据；
转换模块，用于将所述点云融合数据转换成二维伪图；
检测模块，利用卷积神经网络的检测头对所述二维伪图进行检测，获得所述目标对象的物理特征信息，所述目标对象的物理特征信息包括如下至少之一：所述目标对象的物理尺寸信息、空间位置信息、初始位置图像、运动偏移图像；
第一确定模块，用于根据所述二维伪图，确定所述目标对象的跟踪ID；
第二确定模块，用于根据所述物理特征信息和所述目标对象的跟踪ID，确定所述目标对象的空间位置。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述点云数据处理方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述点云数据处理方法。
CN202111679694.2A 2021-12-31 2021-12-31 点云数据处理方法、装置、非易失性存储介质及处理器 Pending CN114359346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111679694.2A CN114359346A (zh) 2021-12-31 2021-12-31 点云数据处理方法、装置、非易失性存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111679694.2A CN114359346A (zh) 2021-12-31 2021-12-31 点云数据处理方法、装置、非易失性存储介质及处理器

Publications (1)

Publication Number Publication Date
CN114359346A true CN114359346A (zh) 2022-04-15

Family

ID=81104553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111679694.2A Pending CN114359346A (zh) 2021-12-31 2021-12-31 点云数据处理方法、装置、非易失性存储介质及处理器

Country Status (1)

Country Link
CN (1) CN114359346A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114879153A (zh) * 2022-06-08 2022-08-09 中国第一汽车股份有限公司 雷达参数的标定方法、装置和车辆

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114879153A (zh) * 2022-06-08 2022-08-09 中国第一汽车股份有限公司 雷达参数的标定方法、装置和车辆

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN110045729B (zh) 一种车辆自动驾驶方法及装置
US11709058B2 (en) Path planning method and device and mobile device
CN110148144B (zh) 点云数据的分割方法和装置、存储介质、电子装置
Held et al. Precision tracking with sparse 3d and dense color 2d data
CN102317954B (zh) 检测对象的方法
Yao et al. Estimating drivable collision-free space from monocular video
CN112417943A (zh) 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作
US9361696B2 (en) Method of determining a ground plane on the basis of a depth image
CN109099920B (zh) 基于多传感器关联的传感器目标精确定位方法
CN111308500B (zh) 基于单线激光雷达的障碍物感知方法、装置和计算机终端
CN114248778B (zh) 移动设备的定位方法和定位装置
CN115470884A (zh) 用于自动驾驶系统的感知系统开发的平台
GB2599939A (en) Method of updating the existance probability of a track in fusion based on sensor perceived areas
CN115273027A (zh) 环境感知方法、域控制器、存储介质及车辆
CN114359346A (zh) 点云数据处理方法、装置、非易失性存储介质及处理器
FR3112215A1 (fr) Système et procédé de détection d’un obstacle dans un environnement d’un véhicule
CN109344776B (zh) 数据处理方法
CN112433193B (zh) 一种基于多传感器的模位置定位方法及系统
CN115115978A (zh) 对象的识别方法、装置、存储介质和处理器
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端
CN115236672A (zh) 障碍物信息生成方法、装置、设备及计算机可读存储介质
Nguyen et al. Optimized grid-based environment perception in advanced driver assistance systems
CN115994934B (zh) 数据时间对齐方法、装置以及域控制器
Jaspers et al. Fast and robust b-spline terrain estimation for off-road navigation with stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination