CN113970922A - 点云数据的处理方法、智能行驶控制方法及装置 - Google Patents

点云数据的处理方法、智能行驶控制方法及装置 Download PDF

Info

Publication number
CN113970922A
CN113970922A CN202010713992.8A CN202010713992A CN113970922A CN 113970922 A CN113970922 A CN 113970922A CN 202010713992 A CN202010713992 A CN 202010713992A CN 113970922 A CN113970922 A CN 113970922A
Authority
CN
China
Prior art keywords
point cloud
sparse matrix
layer
cloud data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010713992.8A
Other languages
English (en)
Other versions
CN113970922B (zh
Inventor
王哲
宋潇
杨国润
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN202010713992.8A priority Critical patent/CN113970922B/zh
Priority to PCT/CN2021/102706 priority patent/WO2022017131A1/zh
Publication of CN113970922A publication Critical patent/CN113970922A/zh
Application granted granted Critical
Publication of CN113970922B publication Critical patent/CN113970922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开提供了一种点云数据的处理方法、智能行驶控制方法、装置、计算机设备及存储介质，其中，该点云数据的处理方法包括：获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据；基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据；对所述第二点云数据执行检测任务，得到目标检测结果。本公开实施例能够将不同安装姿态下的点云数据都转换至标准安装姿态下执行检测任务，从而执行检测任务的算法只需要对标准安装姿态下的点云数据具有良好处理能力即可，降低算法的设计难度。

Description

点云数据的处理方法、智能行驶控制方法及装置
技术领域
本公开涉及数据处理技术领域，具体而言，涉及一种点云数据的处理方法、智能行驶控制方法、装置、计算机设备及存储介质。
背景技术
激光雷达以其精确的测距能力，被广泛用于自动驾驶、无人机勘探、地图测绘等领域。基于激光雷达提供的点云数据，产生了如目标检测、建图、定位、点云分割、场景流等各类应用。对于一些神经网络或者深度学习算法而言，为了解决由于点云数据的分布不同所带来的模型精度下降的问题，通常会采用分布不同的大量样本数据来训练模型；但由于要求算法对分布不同的点云数据都要有良好的处理能力，导致算法的设计难度大幅增加。
发明内容
本公开实施例至少提供一种点云数据的处理方法、智能行驶控制方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种点云数据的处理方法，包括：获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据；基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据；对所述第二点云数据执行检测任务，得到目标检测结果。
这样，利用预先确定的第一变换矩阵，将目标雷达在第一安装姿态下采集的目标场景的第一点云数据，转换为标准姿态下的第二点云数据，并对第二点云数据执行检测任务，得到目标检测结果，从而能够将不同安装姿态下的点云数据都转换至标准安装姿态下执行检测任务，从而执行检测任务的算法只需要对标准安装姿态下的点云数据具有良好处理能力即可，降低算法的设计难度。
一种可能的实施方式中，所述目标雷达在第一安装姿态时的第一安装角度与所述雷达在标准姿态时的标准角度之间的角度差小于预设的角度差阈值；和/或，第一安装姿态与所述预设标准姿态之间的距离差小于预设的距离阈值。
这样，将目标雷达的第一安装姿态限定在预设标准姿态附近，从而使得在第一安装姿态下获得的第一点云数据的特征分布和在预设标准姿态下获得的点云数据的特征分布接近，进而对目标雷达的安装姿态不会过度的限制，且保证了目标检测结果的精度。
一种可能的实施方式中，采用下述方式确定所述角度差阈值和/或所述距离阈值；基于对多个验证样本集分别进行检测得到的检测结果，确定所述角度差阈值和/或所述距离阈值，其中，每个验证样本集中包括多组验证数据；采集不同验证样本集的雷达的安装姿态不同。
这样，通过验证的方式，确定角度差阈值和/或距离阈值，从而能够让得到的角度差阈值和/或距离阈值具有更高的精度，保证了目标检测结果的精度。
一种可能的实施方式中，用下述方式确定所述第一变换矩阵：基于目标雷达在所述第一安装姿态下的实际检测数据、以及预先确定的所述的目标雷达在所述预设标准姿态下的标准检测数据，确定所述目标雷达在所述第一安装姿态下的第一变换矩阵。
一种可能的实施方式中，所述对所述第二点云数据执行检测任务，得到目标检测结果，包括：基于所述第二点云数据，生成所述第二点云数据对应的至少一个目标的稀疏矩阵；所述稀疏矩阵用于表征所述目标场景的不同位置处是否存在目标对象；基于所述至少一个稀疏矩阵、和所述第二点云数据，确定所述目标场景中包括的目标对象的三维检测数据；将所述三维检测数据作为所述目标检测结果。
这样，可以为获取到的第二点云数据生成对应的至少一个稀疏矩阵，该稀疏矩阵用于表征目标场景的不同位置处是否具有目标对象；这样，在基于稀疏矩阵和第二点云数据，确定目标对象的三维检测数据时，可以基于稀疏矩阵，确定存在对应的目标对象的目标位置，从而可以将与该目标位置对应的特征进行处理，将不同位置中除目标位置之外的其他位置对应的特征不进行处理，这样就减少了得到目标对象的三维检测数据的计算量，提高了检测效率。
一种可能的实施方式中，基于所述第二点云数据，生成所述第二点云数据对应的至少一个稀疏矩阵，包括：基于所述第二点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的稀疏矩阵。
这样，可以基于第二点云数据，为神经网络的每一层卷积模块确定对应的稀疏矩阵，使得每一层卷积模块可以基于稀疏矩阵对输入的特征图进行处理。
一种可能的实施方式中，基于所述第二点云数据，确定所述神经网络中每一层卷积模块对应的稀疏矩阵，包括：基于所述第二点云数据，生成初始稀疏矩阵；基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵。
这样，可以基于第二点云数据，生成初始稀疏矩阵，再基于初始稀疏矩阵，为神经网络的每一层卷积模块确定对应的稀疏矩阵，且每一层卷积模块对应的稀疏矩阵与输入至该层卷积模块的特征图的目标尺寸相匹配，使得每一层卷积模块可以基于稀疏矩阵对输入的特征图进行处理。
一种可能的实施方式中，基于所述第二点云数据，生成初始稀疏矩阵，包括：确定所述第二点云数据对应的目标区域，并按照预设的栅格数量，将所述目标区域划分为多个栅格区域；基于所述第二点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值；基于每个栅格区域对应的矩阵元素值，生成所述第二点云数据对应的初始稀疏矩阵。
这样，可以基于第二点云数据，判断每个栅格区域中是否存在点云点，基于判断结果，确定每个栅格区域的矩阵元素值，比如，若栅格区域中存在点云点，则该栅格区域的矩阵元素值为1，表征该栅格区域位置处存在目标对象，进而基于各个栅格区域对应的矩阵元素值，生成了初始稀疏矩阵，为后续确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵，包括：基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为所述稀疏矩阵；或者，基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为所述稀疏矩阵；或者，基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将所述输入稀疏矩阵和输出稀疏矩阵进行融合，得到融合稀疏矩阵，将所述融合稀疏矩阵作为该层卷积模块对应的稀疏矩阵。
这样，设置多种方式，生成每一层卷积模块对应的稀疏矩阵，即稀疏矩阵可以为输入稀疏矩阵，也可以为输出稀疏矩阵，还可以为基于输入稀疏矩阵和输出稀疏矩阵生成的融合稀疏矩阵。
一种可能的实施方式中，所述基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵，包括：将所述初始稀疏矩阵作为所述神经网络的第一层卷积模块对应的输入稀疏矩阵；基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与所述第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为所述神经网络的卷积模块的层数。
这样，可以将初始稀疏矩阵作为第一层卷积模块对应的输入稀疏矩阵，并依次确定得到每一层卷积模块的输入稀疏矩阵，进而可以基于该输入稀疏矩阵确定稀疏矩阵，为后续基于每一层卷积模块的稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，所述基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输出稀疏矩阵，包括：基于所述目标对象的尺寸阈值和所述初始稀疏矩阵，确定所述神经网络对应的输出稀疏矩阵；基于所述输出稀疏矩阵，生成第n层卷积模块对应的、与所述第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵；基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与所述第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为所述神经网络的卷积模块的层数。
这样，可以基于初始稀疏矩阵，确定输出稀疏矩阵，利用输出稀疏矩阵依次确定第n层卷积模块的输出稀疏矩阵、…、第一层卷积模块的输出稀疏矩阵，进而可以基于每一层的输出稀疏矩阵确定稀疏矩阵，为后续基于每一层卷积模块的稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，基于所述至少一个稀疏矩阵、和所述第二点云数据，确定所述目标场景中包括的目标对象的三维检测数据，包括：基于所述第二点云数据，生成所述第二点云数据对应的目标点云特征图；基于所述目标点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，其中，所述神经网络中包括多层卷积模块。
一种可能的实施方式中，基于所述第二点云数据，生成所述第二点云数据对应的目标点云特征图，包括：针对每个栅格区域，基于位于所述栅格区域内的点云点的第二点云数据所指示的坐标信息，确定所述栅格区域对应的特征信息；其中，所述栅格区域为按照预设的栅格数量，将所述第二点云数据对应的目标区域划分生成的；基于每个栅格区域对应的特征信息，生成所述第二点云数据对应的目标点云特征图。
这样，基于每个栅格区域对应的特征信息，生成了第二点云数据对应的目标点云特征图，目标点云特征图中包括每个点云点的位置信息，进而基于目标点云特征图和至少一个稀疏矩阵，可以较准确的确定目标场景中包括的目标对象的三维检测数据。
一种可能的实施方式中，基于所述目标点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：基于所述神经网络中第一层卷积模块对应的稀疏矩阵，确定所述目标点云特征图中的待卷积特征信息，利用所述第一层卷积模块，对所述目标点云特征图中的所述待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图；基于所述神经网络中第k层卷积模块对应的稀疏矩阵，确定输入至所述第k层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第k层卷积模块，对所述第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为所述神经网络的卷积模块的层数；基于所述神经网络中第n层卷积模块对应的稀疏矩阵，确定输入至所述第n层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第n层卷积模块，对所述第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到所述目标场景中包括的目标对象的三维检测数据。
这样，可以基于每一层卷积模块的稀疏矩阵和输入的特征图，确定待卷积特征信息，对待卷积特征信息进行卷积处理，对特征图中除待卷积特征信息之外的其他特征信息不进行卷积处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
一种可能的实施方式中，基于所述目标点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：针对所述神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的所述卷积向量，确定输入至下一层卷积模块的特征图；基于最后一层卷积模块对应的稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的所述卷积向量，确定所述目标场景中包括的目标对象的三维检测数据。
这样，可以基于每一层卷积模块的稀疏矩阵和输入的特征图，生成每一层卷积模块对应的卷积向量，该卷积向量中包括特征图中的待处理的特征信息，该待处理的特征信息为：与稀疏矩阵中指示的存在目标对象的三维检测数据的位置匹配的、特征图中的特征信息，对生成的卷积向量进行处理，而对特征图中除待处理的特征信息之外的其他特征信息不进行处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
第二方面，本公开实施例提供一种智能行驶控制方法，包括：利用设置在行驶装置上的目标雷达采集点云数据；基于第一方面任一项所述的点云数据的处理方法对所述点云数据进行检测处理，得到检测结果；基于所述检测结果，控制所述行驶装置。
本公开实施例提供的智能行驶控制方法，在获取目标雷达采集的点云数据后，会将目标雷达采集的点云数据转换至标注安装姿态下进行检测处理，得到检测结果，从而执行检测任务的算法只需要对标准安装姿态下的点云数据具有良好处理能力即可，降低算法的设计难度。
第三方面，本公开实施例提供一种点云数据的处理装置，包括：获取模块，用于获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据；转换模块，用于基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据；检测模块，对所述第二点云数据执行检测任务，得到目标检测结果。
第四方面，本公开实施例还提供一种智能行驶控制装置，采集模块，用于利用设置在行驶装置上的目标雷达采集点云数据；处理模块，用于基于第一方面任一项所述的点云数据的处理方法对所述点云数据进行检测处理，得到检测结果；控制模块，用于基于所述检测结果，控制所述行驶装置。
第五方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；或执行上述第二方面的实施方式中的步骤。
第六方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；或执行上述第二方面的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种点云数据的处理方法的流程图；
图2示出了本公开实施例所提供的第二点云数据执行检测任务，得到目标检测结果的具体方法的流程图；
图3示出了本公开实施例所提供的基于第二点云数据，确定神经网络中每一层卷积模块对应的稀疏矩阵的具体方法的流程图；
图4示出了本公开实施例所提供的一种目标区域和该目标区域对应的初始稀疏矩阵的示意图；
图5示出了本公开实施例所提供的一种智能行驶控制方法的流程图；
图6示出了本公开实施例所提供的一种点云数据的处理装置的示意图；
图7示出了本公开实施例所提供的一种智能行驶控制装置的示意图；
图8示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在利用神经网络或者深度学习算法执行如基于三维点云的目标检测、建图、点云分割、场景流等各类数据处理任务时，需要预先获得具有一些特定特征的样本点云数据，并利用样本点云数据训练神经网络模型，使得神经网络模型能够学习到点云数据的特定特征，从而能够利用好的神经网络模型执行对应的数据处理任务。但对于三维点云数据而言，获取三维点云数据的激光雷达的安装姿态不同，不同位姿分别对应的三维点云数据之间就会有特征分布的差异。为了能够让神经网络模型能适应不同安装姿态的激光雷达，当前一般会采用不同安装姿态的激光雷达分别获取样本数据，并基于多个激光雷达获取的样本数据来训练模型，让神经网络模型能够充分学习到特征分布不同的三维点云数据分别对应的特征。但神经网络模型需要学习的特征越多，对应的算法也就越复杂，造成算法设计难度的大幅增加。
同时，由于算法的复杂度增加，还会导致基于神经网络模型执行数据处理任务时所需要消耗的计算资源的增加，因而导致了硬件成本的增加。
基于上述研究，本公开提供了一种点云数据的处理方法及装置，利用预先确定的第一变换矩阵，将目标雷达在第一安装姿态下采集的目标场景的第一点云数据，转换为标准姿态下的第二点云数据，并对第二点云数据执行检测任务，得到目标检测结果，从而能够将不同安装姿态下的点云数据都转换至标准安装姿态下执行检测任务，从而执行检测任务的算法只需要对标准安装姿态下的点云数据具有良好处理能力即可，降低算法的设计难度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种点云数据的处理方法进行详细介绍，本公开实施例所提供的点云数据的处理方法的执行主体一般为数据处理设备，该数据处理设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该点云数据的处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
本公开实施例所提供的点云数据的处理方法能够应用于多个领域，例如智能行驶领域、智能机器人、无人机、增强现实(Augmented Reality，AR)、虚拟现实(VirtualReality，VR)、海洋探测、3D打印等领域。下面以应用领域为智能行驶为例，对本公开实施例提供的点云数据的处理方法加以说明。
参见图1所示，为本公开实施例提供的点云数据的处理方法的流程图，所述方法包括步骤S101～S103，其中：
S101：获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据。
S102：基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据。
S103：对所述第二点云数据执行检测任务，得到目标检测结果。
本公开实施例利用预先确定的第一变换矩阵，将目标雷达在第一安装姿态下采集的目标场景的第一点云数据，转换为标准姿态下的第二点云数据，并对第二点云数据执行检测任务，得到目标检测结果，从而能够将不同安装姿态下的点云数据都转换至标准安装姿态下执行检测任务，从而执行检测任务的算法只需要对标准安装姿态下的点云数据具有良好处理能力即可，降低算法的设计难度。
同时，由于算法的复杂度更低，基于算法确定的神经网络结构也相应简单，进而神经网络的体积也相应更小，更适于部署在嵌入式设备中。
另外，算法简单的神经网络在执行任务处理时所需要消耗的计算资源也相应减少，降低硬件成本。
下面分别对上述S101～S103加以详细说明。
I：在上述S101中，以目标雷达为安装在智能行驶设备中的激光雷达为例，目标雷达有线或者无线连接数据处理设备。数据处理设备能够对目标雷达在其第一安装姿态下的第一点云数据进行后续的处理。
示例性的，目标雷达的第一安装姿态，是指目标雷达实际安装在智能行驶设备中时的安装姿态。
预设标准姿态，是指为目标雷达确定的在智能行驶设备中的基准安装姿态。
例如，目标雷达的检测中心位于智能行驶设备中的A位置，且目标雷达的检测轴线与预设的某个轴线L重合时，目标雷达处于预设标准姿态。
此时，以A位置为原点建立基准坐标系。基准坐标系的z轴例如为轴线L所在的直线，A位置所在的空间点通过该轴线L；x轴和y轴所在的平面为垂直于z轴的平面，且A位置所在的点位于该平面上。
目标雷达在实际安装时，位于智能行驶设备中的B位置(例如目标雷达的检测中心位于B位置)，则基于目标雷达在实际安装中的第一安装姿态建立雷达坐标系，雷达坐标系的原点为雷达的检测中心，z轴为雷达的检测轴线所在的直线，x轴和y轴所在的平面垂直于z轴，且B位置所在的点位于x轴和y轴所在的平面上。
由于目标雷达在实际中的第一安装姿态和预设标准姿态存在差异，因此，相对于预设标准姿态而言，目标雷达存存在一定角度的偏差和一定距离的位移。
该角度的偏差为0，位移也为0的时候，认为目标雷达在实际安装中的第一安装姿态和预设标准姿态一致。
示例性的，假设以水平方向作为预设的安装基准，以目标雷达位于预设安装位置时的检测中心为原点，以水平方向所在的直线作为z轴，以垂直于z轴的平面为x轴和y轴所在的平面，建立基准坐标系，则目标雷达的第一安装姿态例如可以通过目标雷达的检测轴线与x、y和z轴之间的夹角、以及目标雷达的检测中心相对于原点的位移来表征，例如可以表示为：(ρ,
Figure BDA0002597520130000091
θ,x0,y0,z0)。其中，ρ表示检测轴线和基准坐标系的x轴之间的夹角；
Figure BDA0002597520130000092
表示检测轴线和基准坐标系的y轴之间的夹角，θ表示检测轴线和基准坐标系的z轴之间的夹角，x0,y0,z0表示目标雷达在位于第一安装姿态时，检测中心在基准坐标系中的坐标值。
为了保证目标雷达所获取的第一点云数据的特征分布与标准安装姿态下获取的第二点云数据的特征分布尽可能接近，本公开另一实施例中，第一安装姿态对应的安装角度与预设标准姿态对应的标准角度之间的第一角度差小于预设的角度差阈值。
和/或，第一安装姿态与所述预设标准姿态之间的距离小于预设的距离阈值。
在一种可能的情况下，目标雷达在实际安装中的第一安装姿态下，检测中心和基准坐标系的圆心完全重合，则此时，第一安装姿态与所述预设标准姿态之间的距离等于0。
若目标雷达在实际安装中的第一安装姿态下，第一安装姿态对应的安装角度与预设标准姿态对应的标准角度之间的第一角度差等于0。
此处，角度差阈值例如可以表示为:(Δρ，
Figure BDA0002597520130000093
Δθ)，距离阈值例如可以表示为：(Δx,Δy,Δz)。
这样，在利用神经网络对第二点云数据执行检测任务的时候，通过对目标雷达的第一安装姿态进行一定的限定，从而保证了第二点云数据和训练神经网络的训练样本的特征分布尽量的接近，进而保证了神经网络所需要学习的特征不会过多，降低神经网络的设计难度，和训练得到的神经网络的复杂度，得到的神经网络的体积更小，更适于部署在嵌入式设备中，神经网络在执行检测任务时是需要的计算资源也就越少，降低硬件成本。
本公开实施例提供一种确定角度差阈值和/或距离阈值的具体方法，包括：基于对多个验证样本集分别进行检测得到的检测结果，确定所述角度差阈值和/或所述距离阈值，其中，每个验证样本集中包括多组验证数据；采集不同验证样本集的雷达的安装姿态不同。
在具体实施中，例如可以利用神经网络对多个验证样本集分别执行检测任务，得到多个验证样本集分别对应的检测结果；针对多个验证样本集中的每个验证样本集，每个验证样本集中包括了多组验证数据；其中同一验证样本集中的多组验证数据来源于在同一验证雷达。在获取验证样本集时，可以随机的确定验证雷达的安装姿态，然后在该安装姿态下利用验证雷达获取多组验证数据。然后使用验证雷达在不同的安装姿态下获取的多组验证数据，确定角度差阈值和/或距离阈值。
此处，获取不同验证数据集的验证雷达可以为同一种雷达，也可以是不同的雷达。
在一种的实施方式中，在目标雷达的型号、参数等数据确定的情况下，可以采用同样类型的雷达获取训练样本，同样，采用相同类型的雷达获取验证样本集。
在使用验证雷达在不同的安装姿态下获取的多组验证数据，确定角度差阈值的时候，例如可以根据神经网络每个验证样本集中的多组验证数据进行检测任务时分别对应的检测结果，确定与每个验证样本集对应的检测损失，然后基于多个验证样本集分别对应的检测损失，确定角度差阈值。
此处，以确定角度差阈值为例，例如可以从多个验证验证样本集中，确定检测损失小于一定损失阈值的多个验证样本集，将确定的多个验证样本集分别对应的第二角度差中的最大值，确定为角度差阈值；或者，将确定的多个验证样本集分别对应的第二角度差的平均值，作为角度差阈值。
在另一种可能的实施方式中，还可以预先确定多个验证区间，第i个验证区间例如可以表示为：
Figure BDA0002597520130000101
和/或：
Figure BDA0002597520130000102
仍然以确定角度差为例，在每个验证区间下获取多组验证样本集，然后利用预先训练的神经网络对每个验证区间下的多组验证样本集分别进行执行检测任务，并基于每个验证区间下的多组验证样本集分别对应的检测结果，确定每个验证区间分别对应的检测损失，并基于每个验证区间分别对应的验证损失，确定角度差阈值。
确定距离阈值的方式与确定角度差阈值的方式类似，在此不再赘述。
II：在上述S102中，第一变换矩阵，将第一点云数据从第一安装姿态下变换至预设标准姿态下的转换矩阵。
示例性，基于目标雷达的第一安装位置建立雷达坐标系，目标雷达的在第一安装姿态下的第一点云数据中，任一第一点云点的在基于目标雷达建立的雷达坐标系中的坐标值为：(x,y,z)，该第一点云点在基准坐标系中的坐标值为(x′,y′,z′)，则(x,y,z)和(x′,y′,z′)之间满足下述公式(1)：
Figure BDA0002597520130000111
其中，rij为旋转参数，tk为平移参数。
若目标雷达的第一安装位置和预设基准位置完全重合，则满足下述公式(2)：
Figure BDA0002597520130000112
也即x′＝x,y′＝y,z′＝z。
为了确定该第一变换矩阵，例如可以采用下述方式：
基于目标雷达在所述第一安装姿态下的实际检测数据、以及预先确定的所述的目标雷达在所述预设标准姿态下的标准检测数据，确定所述目标雷达在所述第一安装姿态下的第一变换矩阵。
示例性的，对目标雷达的标定过程，可以看作基于实际检测数据，和标准检测数据对第一变换矩阵进行求解的过程。其中实际检测数据包括了多个位置点分别在目标雷达获取的检测数据中的第一位置信息，也即上述(x,y,z)，且多个位置点预先标注了在基准坐标系中的第二位置信息，也即(x′,y′,z′)，则基于多个位置点分别对应的第一位置信息和第二位置信息，对第一变换矩阵进行联合求解，最终得到目标雷达在位于第一安装姿态下的第一变换矩阵。
在得到第一变换矩阵后，就能够基于该变换矩阵，基于上述公式(1)对目标雷达在其第一安装姿态下的第一点云数据进行转换处理，得到在预设标准姿态下的第二点云数据。
III：在上述S103中，在对第二点云数据执行检测任务时，例如可以利用神经网络对第二点云数据执行检测任务。其中，神经网络利用在预设标准姿态下的训练样本训练得到，其中，预设标准姿态下的训练样本例如可以下述方式获得：
利用样本雷达获取在所述样本雷达的第二安装姿态下的第三点云数据；基于所述样本雷达的第二变换矩阵，将所述第三点云数据转换为在所述预设标准姿态下的第四点云数据；将所述第四点云数据作为所述训练样本。
此处，样本雷达的第二变换矩阵，与目标雷达的第一变换矩阵的获取方式类似，在此不再赘述。
类似的，第二安装姿态对应的第二安装角度与所述预设标准姿态对应的标准角度之间的第二角度差小于预设的角度差阈值；
和/或，第二安装姿态与所述预设标准姿态之间的第二距离小于预设的距离阈值。
在确定了样本雷达的第二变换矩阵后，控制智能行驶装置行驶一定距离，并在智能行驶装置行驶过程中，第三点云数据；后基于该第二变换矩阵，将第三点云数据变换为在预设标准姿态下的第四点云数据，并基于该第四点云数据对待训练的神经网络进行训练。
此处，在一种可能的实施方式中，若对神经网络进行训练的过程为有监督训练，则在得到第四点云数据后，还可以对第四点云数据进行标注，得到第四点云数据的标注信息；该标注信息用于在对待训练的神经网络进行训练的过程中，获得神经网络的损失。然后基于损失调整待训练的神经网络的参数。经过对待训练的神经网络的参数的多轮调整，得到预先训练的神经网络。
在另一种可能的实施方式中，若对第三点云数据进行了标注，得到第三点云数据的标注信息，在将第三点云数据转换为第四点云数据的时候，也会响应将第三点云数据的标注信息，转换为与第四点云数据适配的标注信息。
参见图2所示，在本公开另一实施例中，还提供另一种对第二点云数据执行检测任务，得到目标检测结果的具体方法，包括：
S201：基于所述第二点云数据，生成所述第二点云数据对应的至少一个目标的稀疏矩阵；所述稀疏矩阵用于表征所述目标场景的不同位置处是否存在目标对象；
S202：基于所述至少一个稀疏矩阵、和所述第二点云数据，确定所述目标场景中包括的目标对象的三维检测数据；
S203：将所述三维检测数据作为所述目标检测结果。
在该实施例中，可以为获取到的第二点云数据生成对应的至少一个稀疏矩阵，该稀疏矩阵用于表征目标场景的不同位置处是否具有目标对象；这样，在基于稀疏矩阵和第二点云数据，确定目标对象的三维检测数据时，可以基于稀疏矩阵，确定存在对应的目标对象的目标位置，从而可以将与该目标位置对应的特征进行处理，将不同位置中除目标位置之外的其他位置对应的特征不进行处理，这样就减少了得到目标对象的三维检测数据的计算量，提高了检测效率。
针对上述S201，在获取到目标场景的第二点云数据之后，可以基于第二点云数据，生成第二点云数据对应的至少一个稀疏矩阵。其中，稀疏矩阵可以表征目标场景的不同位置处是否具有目标对象。
这里，该稀疏矩阵可以为包括0和1的矩阵，即该稀疏矩阵为由0或1作为矩阵元素值构成得到的。比如，可以将目标场景中存在目标对象的位置处对应的矩阵元素值设置为1，可以将目标场景中不存在目标对象的位置处对应的矩阵元素值设置为0。
一种可选实施方式中，基于第二点云数据，生成第二点云数据对应的至少一个稀疏矩阵，可以包括：基于第二点云数据，确定用于检测目标对象的神经网络中，每一层卷积模块分别对应的稀疏矩阵。
这里，该神经网络中可以包括多层卷积模块，每层卷积模块中可以包括一层卷积层。具体实施时，可以为每层卷积模块确定对应的稀疏矩阵，即为每层卷积层均确定对应的稀疏矩阵。或者，该神经网络中还可以包括多个网络模块block，每个网络模块中包括多层卷积层。具体实施时，可以为每个网络模块确定对应的稀疏矩阵，即为网络模块中包括的多层卷积层确定一个对应的稀疏矩阵。其中，用于检测目标对象的神经网络的结构可以根据需要进行设置，此处仅为示例性说明。
在确定已训练的用于检测目标对象的神经网络之后，可以基于第二点云数据，为神经网络中的每一层卷积模块确定对应的稀疏矩阵。
上述实施方式下，可以基于第二点云数据，为神经网络的每一层卷积模块确定对应的稀疏矩阵，使得每一层卷积模块可以基于稀疏矩阵对输入的特征图进行处理。
一种可选实施方式中，参见图3所示，基于第二点云数据，确定神经网络中每一层卷积模块对应的稀疏矩阵，可以包括：
S301：基于第二点云数据，生成初始稀疏矩阵。
此处，作为一可选实施方式，基于第二点云数据，生成初始稀疏矩阵，包括：
A1，确定第二点云数据对应的目标区域，并按照预设的栅格数量，将目标区域划分为多个栅格区域。
A2，基于第二点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值。
A3，基于每个栅格区域对应的矩阵元素值，生成第二点云数据对应的初始稀疏矩阵。
这里，可以基于第二点云数据，判断每个栅格区域中是否存在点云点，基于判断结果，确定每个栅格区域的矩阵元素值，比如，若栅格区域中存在点云点，则该栅格区域的矩阵元素值为1，表征该栅格区域位置处存在目标对象，进而基于各个栅格区域对应的矩阵元素值，生成了初始稀疏矩阵，为后续确定目标对象的三维检测数据提供了数据支持。
示例性的，第二点云数据对应的目标区域可以为：以激光雷达装置获取第二点云数据时的位置为起始位置，以激光雷达装置能够探测的最远距离为长度，确定得到的测量区域。其中，目标区域可以根据实际情况结合第二点云数据进行确定。
具体实施时，预设的栅格数量可以为N×M个，则可以将目标区域划分为N×M个栅格区域，N和M为正整数。其中，N和M的值可以根据实际需要进行设置。
具体实施时，第二点云数据中包括多个点云点的位置信息，可以基于每个点云点的位置信息，确定每个点云点所处的栅格区域，进而，可以针对每个栅格区域，在该栅格区域中存在对应的点云点时，则该栅格区域对应的矩阵元素值的可以为1；在该栅格区域中不存在对应的点云点时，则该栅格区域对应的矩阵元素值可以为0，故确定了每个栅格区域对应的矩阵元素值。
在确定了每个栅格区域对应的矩阵元素值之后，可以基于每个栅格区域对应的矩阵元素值，生成第二点云数据对应的初始稀疏矩阵，其中，该初始稀疏矩阵的行、列数与栅格数量对应，比如，若栅格数量为N×M个，则初始稀疏矩阵的行数为N，列数为M，即初始稀疏矩阵为N×M的矩阵。
参见图4所示，图中包括激光雷达装置41，以该激光雷达装置为中心，得到的目标区域42，并按照预设的栅格数量，将该目标区域划分为多个栅格区域，得到划分后的多个栅格区域421。再确定第二点云数据对应的多个点云点所处的栅格区域，将存在点云点的栅格区域(即图中存在黑色阴影的栅格区域)的矩阵元素值设置为1，将不存在点云点的栅格区域的矩阵元素值设置为0，得到了每个栅格区域的矩阵元素值。最后，基于每个栅格区域对应的矩阵元素值，生成第二点云数据对应的初始稀疏矩阵43。
承接上述S301，本公开实施例提供的基于第二点云数据，确定神经网络中每一层卷积模块对应的稀疏矩阵的方法还包括：
S302：基于初始稀疏矩阵，确定与神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵。
上述实施方式下，可以基于第二点云数据，生成初始稀疏矩阵，再基于初始稀疏矩阵，为神经网络的每一层卷积模块确定对应的稀疏矩阵，且每一层卷积模块对应的稀疏矩阵与输入至该层卷积模块的特征图的目标尺寸相匹配，使得每一层卷积模块可以基于稀疏矩阵对输入的特征图进行处理。
在得到了初始稀疏矩阵之后，可以基于初始稀疏矩阵，确定与神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵。
作为一可选实施方式，可以通过下述方式，确定与神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵：
方式一、基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为稀疏矩阵。
方式二、基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为稀疏矩阵。
方式三、基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将输入稀疏矩阵和输出稀疏矩阵进行融合，得到融合稀疏矩阵，将融合稀疏矩阵作为该层卷积模块对应的稀疏矩阵。
这里，稀疏矩阵可以为由输出稀疏矩阵得到的，也可以由输入稀疏矩阵得到的，或者，还可以为由输入稀疏矩阵和输出稀疏矩阵融合得到的。
上述实施方式中，设置多种方式，生成每一层卷积模块对应的稀疏矩阵，即稀疏矩阵可以为输入稀疏矩阵，也可以为输出稀疏矩阵，还可以为基于输入稀疏矩阵和输出稀疏矩阵生成的融合稀疏矩阵。
针对方式一，该方式是由输出稀疏矩阵得到稀疏矩阵。具体实施时，可以基于初始稀疏数据，确定神经网络中，每一层卷积模块对应的输出稀疏矩阵，该输出稀疏矩阵即为稀疏矩阵。其中，该输出稀疏矩阵可以用于表征神经网络每一层卷积模块的输出结果中，对应目标场景的不同位置处是否具有对应的目标对象的三维检测数据，比如，若神经网络每一层卷积模块的输出结果中，对应目标场景的位置A处具有对应的目标对象的三维检测数据时，则在稀疏矩阵中，与该位置A对应的位置处的矩阵值可以为1；若位置A处不具有对应的目标对象的三维检测数据时，则在稀疏矩阵中，与该位置A对应的位置处的矩阵值可以为0。
针对方式二，该方式是由输入稀疏矩阵得到稀疏矩阵。具体实施时，可以基于初始稀疏数据，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵，该输入稀疏矩阵即为稀疏矩阵。其中，输入稀疏矩阵可以为表征神经网络每一层卷积模块的输入数据中，对应目标场景的不同位置处是否具有对应的目标对象的三维检测数据。
针对方式三，可以通过方式一确定每一层卷积模块对应的输出稀疏矩阵，并通过方式二确定每一层卷积模块对应的输入稀疏矩阵，将每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵进行融合，得到融合稀疏矩阵，将融合稀疏矩阵作为该层卷积模块对应的稀疏矩阵。
在具体实施时，可以将输入稀疏矩阵和输出稀疏矩阵取交集，得到融合稀疏矩阵；也可以将输入稀疏矩阵和输出稀疏矩阵取并集，得到融合稀疏矩阵。比如，若输入稀疏矩阵为：
Figure BDA0002597520130000151
若输出稀疏矩阵为：
Figure BDA0002597520130000152
则将输入稀疏矩阵和输出稀疏矩阵取交集，得到的融合稀疏矩阵为：
Figure BDA0002597520130000153
则将输入稀疏矩阵和输出稀疏矩阵取并集，得到的融合稀疏矩阵为：
Figure BDA0002597520130000161
一种可选实施方式中，基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵，可以包括：
B1，将初始稀疏矩阵作为神经网络的第一层卷积模块对应的输入稀疏矩阵。
B2，基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为神经网络的卷积模块的层数。
这里，初始稀疏矩阵可以作为神经网络的第一层卷积模块对应的输入稀疏矩阵。第二层卷积模块对应的输入稀疏矩阵可以由第一卷积模块对应的输入稀疏矩阵得到，且第二层卷积模块对应的输入稀疏矩阵的行列数与输入至第二层卷积模块的特征图的目标尺寸一致。
示例性的，可以利用图像膨胀处理操作或图像腐蚀处理操作，对第一层卷积模块对应的输入稀疏矩阵进行处理，得到处理后的稀疏矩阵，将处理后的稀疏矩阵的行列数调整为与第二层卷积模块输入的特征图的目标尺寸匹配之后，得到第二层卷积模块的输入稀疏矩阵。依次类推，可以得到第一层卷积模块对应的输入稀疏矩阵、第二层卷积模块对应的输入稀疏矩阵、……、第n层卷积模块对应的输入稀疏矩阵(即神经网络最后一层卷积模块对应的输入稀疏矩阵)。
示例性的，可以预先确定膨胀处理范围，基于膨胀处理范围对输入稀疏矩阵进行图像膨胀处理，得到处理后的稀疏矩阵，其中，膨胀处理范围可以为基于目标对象的尺寸阈值确定的，也可以根据实际需要进行确定。
比如，若输入稀疏矩阵为：
Figure BDA0002597520130000162
则膨胀处理后的稀疏矩阵可以为：
Figure BDA0002597520130000171
其中，上述膨胀处理过程仅为示例性说明。
示例性的，输入稀疏矩阵的腐蚀处理过程为膨胀处理过程的逆过程，具体的，可以预先确定腐蚀处理范围，基于腐蚀处理范围对输入稀疏矩阵进行图像腐蚀处理，得到处理后的稀疏矩阵。其中，腐蚀处理范围可以为基于目标对象的尺寸阈值确定的，也可以根据实际需要进行确定。
比如，若输入稀疏矩阵为：
Figure BDA0002597520130000172
则腐蚀处理后的稀疏矩阵可以为：
Figure BDA0002597520130000173
其中，上述腐蚀处理过程仅为示例性说明。
在具体实施时，可以通过上采样或下采样的方式，将处理后的稀疏矩阵的行列数调整为与第二层卷积模块输入的特征图的目标尺寸匹配的矩阵，得到第二层卷积模块的输入稀疏矩阵，其中，对处理后的稀疏矩阵的行列数进行调整的过程有多种，此处仅为示例性说明。
在具体实施，还可以对稀疏矩阵的稀疏程度进行调整，比如，可以通过调整栅格的数量，对稀疏矩阵的稀疏程度进行调整；或者也可以通过腐蚀处理过程对稀疏矩阵的稀疏程度进行调整。其中，稀疏矩阵的稀疏程度为：稀疏矩阵中矩阵元素值为1的数量与稀疏矩阵中包括的全部矩阵元素值的总数的比值。
上述方式中，可以将初始稀疏矩阵作为第一层卷积模块对应的输入稀疏矩阵，并依次确定得到每一层卷积模块的输入稀疏矩阵，进而可以基于该输入稀疏矩阵确定稀疏矩阵，为后续基于每一层卷积模块的稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输出稀疏矩阵，可以包括：
C1，基于目标对象的尺寸阈值和初始稀疏矩阵，确定神经网络对应的输出稀疏矩阵。
C2，基于输出稀疏矩阵，生成第n层卷积模块对应的、与第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵。
C3，基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为神经网络的卷积模块的层数。
这里，可以先根据目标对象的尺寸阈值，确定膨胀处理范围，基于膨胀处理范围对初始稀疏矩阵进行膨胀处理，得到处理后的稀疏矩阵，该处理后的稀疏矩阵即为神经网络对应的输出稀疏矩阵。其中，膨胀处理过程可参考上述描述，此处不再进行赘述。
利用输出稀疏矩阵，确定神经网络第n层卷积模块(即神经网络最后一层卷积模块)的输出稀疏矩阵，依次类推，得到第n-1层卷积模块的输出稀疏矩阵、……、第二层卷积模块的输出稀疏矩阵、第一层卷积模块的输出稀疏矩阵。
示例性的，可以利用图像膨胀处理操作或图像腐蚀处理操作，对前一层卷积模块对应的输出稀疏矩阵进行处理，得到处理后的稀疏矩阵，将处理后的稀疏矩阵的行列数调整为与当前层卷积模块输入的特征图的目标尺寸匹配之后，得到当前层卷积模块的输出稀疏矩阵。其中，确定每一层卷积模块的输出稀疏矩阵的过程，可参考上述确定输入稀疏矩阵的过程，此处不再进行详细说明。
在神经网络的每一层卷积模块的稀疏矩阵是由输入稀疏矩阵和输出稀疏矩阵融合得到时，可以分别利用上述方法得到每一层卷积模块的输出稀疏矩阵和输入稀疏矩阵，将得到的输出稀疏矩阵和输入稀疏矩阵进行融合，得到每一卷积模块的稀疏矩阵。
上述方式中，可以基于初始稀疏矩阵，确定输出稀疏矩阵，利用输出稀疏矩阵依次确定第n层卷积模块的输出稀疏矩阵、…、第一层卷积模块的输出稀疏矩阵，进而可以基于每一层的输出稀疏矩阵确定稀疏矩阵，为后续基于每一层卷积模块的稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
针对S202：在具体实施时，可以基于至少一个稀疏矩阵、第二点云数据、和用于检测目标对象的神经网络，确定目标场景中包括的目标对象的三维检测数据。该三维检测数据包括目标对象的检测框的中心点的坐标、检测框的三维尺寸、检测框的朝向角、目标对象的类别、时间戳、以及检测框的置信度。
这里，目标对象的三维检测框的位置不能超出目标区域的位置，即若三维检测框的中心点坐标为(X，Y，Z)，尺寸为长L、宽W、高H时，则满足以下条件：0≤X-2/L，X+2/L<Nmax，0≤Y-W/2，Y+W/2<Mmax，其中，Nmax和Mmax是目标区域的长度阈值和宽度阈值。
一种可选实施方式中，基于至少一个稀疏矩阵、和第二点云数据，确定目标场景中包括的目标对象的三维检测数据，包括：
步骤一、基于第二点云数据，生成第二点云数据对应的目标点云特征图。
步骤二、基于目标点云特征图和至少一个稀疏矩阵，利用检测目标对象的神经网络，确定目标场景中包括的目标对象的三维检测数据，其中，神经网络中包括多层卷积模块。
在具体实施时，可以将第二点云数据输入至神经网络中，对第二点云数据进行预处理，生成第二点云数据对应的目标点云特征图，在利用目标点云特征图、至少一个稀疏矩阵、和神经网络，确定目标场景中包括的目标对象的三维检测数据。
步骤一中，基于第二点云数据，生成第二点云数据对应的目标点云特征图，可以包括：
针对每个栅格区域，基于位于栅格区域内的点云点的第二点云数据所指示的坐标信息，确定栅格区域对应的特征信息；其中，栅格区域为按照预设的栅格数量，将第二点云数据对应的目标区域划分生成的。
基于每个栅格区域对应的特征信息，生成第二点云数据对应的目标点云特征图。
针对每个栅格区域，若该栅格区域中存在点云点时，则将各个点云点的第二点云数据所指示的坐标信息，构成该栅格区域对应的特征信息；若该栅格区域中不存在点云点时，则该栅格区域的特征信息可以为0。
基于每个栅格区域对应的特征信息，生成了第二点云数据对应的目标点云特征图。其中，目标点云特征图的尺寸可以为N×M×C，目标点云特征图的尺寸N×M与第一层卷积模块的稀疏矩阵的尺寸相一致，目标点云特征图的C可以为各个栅格区域中包括的点云点的数量最大值，比如，若各个栅格区域中栅格区域A中包括的点云点的数量最多，比如，栅格区域中包括50个点云点，则C的值为50，即目标点云特征图中包括50个尺寸为N×M的特征图，每个特征图中包括至少一个点云点的坐标信息。
在上述实施方式下，基于每个栅格区域对应的特征信息，生成了第二点云数据对应的目标点云特征图，目标点云特征图中包括每个点云点的位置信息，进而基于目标点云特征图和至少一个稀疏矩阵，可以较准确的确定目标场景中包括的目标对象的三维检测数据。
步骤二中，可以基于目标点云特征图、至少一个稀疏矩阵、和神经网路，确定目标场景中包括的目标对象的三维检测数据。
具体实施时，可以通过下述两种方式，确定目标场景中包括的目标对象的三维检测数据：
方式一：基于目标点云特征图和至少一个稀疏矩阵，确定目标场景中包括的目标对象的三维检测数据，包括：
一、基于神经网络中第一层卷积模块对应的稀疏矩阵，确定目标点云特征图中的待卷积特征信息，利用第一层卷积模块，对目标点云特征图中的待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图。
二、基于神经网络中第k层卷积模块对应的稀疏矩阵，确定输入至第k层卷积模块的特征图中的待卷积特征信息，利用神经网络的第k层卷积模块，对第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为神经网络的卷积模块的层数。
三、基于神经网络中第n层卷积模块对应的稀疏矩阵，确定输入至第n层卷积模块的特征图中的待卷积特征信息，利用神经网络的第n层卷积模块，对第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到目标场景中包括的目标对象的三维检测数据。
上述实施方式中，第一层卷积模块中，可以利用第一层卷积模块的稀疏矩阵，确定输入至第一层卷积模块中的目标点云特征图中的待卷积特征信息。具体的，可以确定稀疏矩阵中矩阵值为1的目标位置，将目标点云特征图中与目标位置对应的位置的特征信息，确定为待卷积特征信息。
进而利用第一层卷积模块，对目标点云特征图中的待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图。在接着利用第二层卷积模块的稀疏矩阵，确定输入至第二层卷积模块的特征图中的待卷积信息，并利用第二层卷积模块对第一层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第三层卷积模块的特征图，依次类推，得到输入至第n层卷积模块(神经网络中最后一层卷积模块)的特征图，通过确定第n层卷积模块的待卷积信息，并对第n层卷积模块的待卷积信息进行卷积处理，得到目标场景中包括的目标对象的三维检测数据。
这里，可以基于每一层卷积模块的稀疏矩阵和输入的特征图，确定待卷积特征信息，对待卷积特征信息进行卷积处理，对特征图中除待卷积特征信息之外的其他特征信息不进行卷积处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
方式二，基于目标点云特征图和至少一个稀疏矩阵，确定目标场景中包括的目标对象的三维检测数据，包括：
一、针对神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的卷积向量，确定输入至下一层卷积模块的特征图。
二、基于最后一层卷积模块对应的稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的卷积向量，确定目标场景中包括的目标对象的三维检测数据。
上述实施方式中，还可以基于每一层卷积模块对应的目标输入矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量。比如，针对第一层卷积模块，可以确定第一层卷积模块的稀疏矩阵中矩阵值为1的目标位置，并确定目标点云特征图中与目标位置对应的位置的特征信息，提取与目标位置对应的特征信息，构成了第一层卷积模块对应的卷积向量。
进一步的，可以利用img2col和col2img技术，通过第一层卷积模块对对应的卷积向量进行矩阵乘法运算，得到输入至第二卷积模块的特征图。基于相同的处理过程，可以得到输入至最后一层卷积模块的特征图，基于最后一层卷积模块对应的稀疏矩阵和特征图，确定最后一层卷积模块对应的卷积向量，对最后一层卷积模块对应的卷积向量进行处理，确定目标场景中包括的目标对象的三维检测数据。
这里，可以基于每一层卷积模块的稀疏矩阵和输入的特征图，生成每一层卷积模块对应的卷积向量，该卷积向量中包括特征图中的待处理的特征信息，该待处理的特征信息为：与稀疏矩阵中指示的存在目标对象的三维检测数据的位置匹配的、特征图中的特征信息，对生成的卷积向量进行处理，而对特征图中除待处理的特征信息之外的其他特征信息不进行处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
参见图5所示，本公开实施例还提供一种智能行驶控制方法，包括：
S501：利用设置在行驶装置上的目标雷达采集点云数据；
S502：基于本公开任一实施例所述的点云数据的处理方法对所述点云数据进行检测处理，得到检测结果；
S503：基于所述检测结果，控制所述行驶装置。
本公开实施例提供的点云数据的处理方法，由于采用的神经网络的复杂度更低，对计算资源的需求量较少，因此更易于部署在终端设备中，且具有更高的检测精度。
在具体实施中，行驶装置例如但不限于下述任一种：自动驾驶车辆、装有高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)的车辆、或者机器人等。
控制行驶装置，例如包括控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与点云数据的处理方法对应的点云数据的处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述点云数据的处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图6所示，为本公开实施例提供的一种点云数据的处理装置的示意图，所述装置包括：获取模块61、转换模块62、检测模块63；其中，
获取模块61，用于获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据；
转换模块62，用于基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据；
检测模块63，对所述第二点云数据执行检测任务，得到目标检测结果。
一种可能的实施方式中，所述目标雷达在第一安装姿态时的第一安装角度与所述雷达在标准姿态时的标准角度之间的角度差小于预设的角度差阈值；和/或，第一安装姿态与所述预设标准姿态之间的距离差小于预设的距离阈值。
一种可能的实施方式中，还包括：第一确定模块64，用于采用下述方式确定所述角度差阈值和/或所述距离阈值；基于对多个验证样本集分别进行检测得到的检测结果，确定所述角度差阈值和/或所述距离阈值，其中，每个验证样本集中包括多组验证数据；采集不同验证样本集的雷达的安装姿态不同。
一种可能的实施方式中，还包括：第二确定模块65，用于采用下述方式确定所述第一变换矩阵：基于目标雷达在所述第一安装姿态下的实际检测数据、以及预先确定的所述的目标雷达在所述预设标准姿态下的标准检测数据，确定所述目标雷达在所述第一安装姿态下的第一变换矩阵。
一种可能的实施方式中，所述检测模块63，在对所述第二点云数据执行检测任务，得到目标检测结果时，用于：基于所述第二点云数据，生成所述第二点云数据对应的至少一个目标的稀疏矩阵；所述稀疏矩阵用于表征所述目标场景的不同位置处是否存在目标对象；基于所述至少一个稀疏矩阵、和所述第二点云数据，确定所述目标场景中包括的目标对象的三维检测数据；将所述三维检测数据作为所述目标检测结果。
一种可能的实施方式中，所述检测模块63，在基于所述第二点云数据，生成所述第二点云数据对应的至少一个目标的稀疏矩阵时，用于：基于所述第二点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的稀疏矩阵。
一种可能的实施方式中，所述检测模块63，在基于所述第二点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的稀疏矩阵时，用于：基于所述第二点云数据，生成初始稀疏矩阵；基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵。
一种可能的实施方式中，所述检测模块63，在基于所述第二点云数据，生成初始稀疏矩阵时，用于：确定所述第二点云数据对应的目标区域，并按照预设的栅格数量，将所述目标区域划分为多个栅格区域；基于所述第二点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值；基于每个栅格区域对应的矩阵元素值，生成所述第二点云数据对应的初始稀疏矩阵。
一种可能的实施方式中，所述检测模块63，在基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵时，用于：基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为所述稀疏矩阵；或者，基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为所述稀疏矩阵；或者，基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将所述输入稀疏矩阵和输出稀疏矩阵进行融合，得到融合稀疏矩阵，将所述融合稀疏矩阵作为该层卷积模块对应的稀疏矩阵。
一种可能的实施方式中，所述检测模块63，在基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输入稀疏矩阵是，用于：将所述初始稀疏矩阵作为所述神经网络的第一层卷积模块对应的输入稀疏矩阵；基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与所述第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为所述神经网络的卷积模块的层数。
一种可能的实施方式中，所述检测模块63，在基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输出稀疏矩阵时，用于：基于所述目标对象的尺寸阈值和所述初始稀疏矩阵，确定所述神经网络对应的输出稀疏矩阵；基于所述输出稀疏矩阵，生成第n层卷积模块对应的、与所述第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵；基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与所述第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为所述神经网络的卷积模块的层数。
一种可能的实施方式中，所述检测模块63，在基于所述至少一个稀疏矩阵、和所述第二点云数据，确定所述目标场景中包括的目标对象的三维检测数据时，用于：基于所述第二点云数据，生成所述第二点云数据对应的点云特征图；基于所述点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，其中，所述神经网络中包括多层卷积模块。
一种可能的实施方式中，所述检测模块63，在基于所述第二点云数据，生成所述第二点云数据对应的点云特征图时，用于：针对每个栅格区域，基于位于所述栅格区域内的点云点的第二点云数据所指示的坐标信息，确定所述栅格区域对应的特征信息；其中，所述栅格区域为按照预设的栅格数量，将所述第二点云数据对应的目标区域划分生成的；基于每个栅格区域对应的特征信息，生成所述第二点云数据对应的点云特征图。
一种可能的实施方式中，所述检测模块63，在基于所述点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据时，用于：基于所述神经网络中第一层卷积模块对应的稀疏矩阵，确定所述点云特征图中的待卷积特征信息，利用所述第一层卷积模块，对所述点云特征图中的所述待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图；基于所述神经网络中第k层卷积模块对应的稀疏矩阵，确定输入至所述第k层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第k层卷积模块，对所述第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为所述神经网络的卷积模块的层数；基于所述神经网络中第n层卷积模块对应的稀疏矩阵，确定输入至所述第n层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第n层卷积模块，对所述第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到所述目标场景中包括的目标对象的三维检测数据。
一种可能的实施方式中，所述检测模块63，在基于所述点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据时，用于：针对所述神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的所述卷积向量，确定输入至下一层卷积模块的特征图；基于最后一层卷积模块对应的稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的所述卷积向量，确定所述目标场景中包括的目标对象的三维检测数据。
参见图7所示，本公开实施例还提供一种智能行驶控制装置，包括：
采集模块71，用于利用设置在行驶装置上的目标雷达采集点云数据；
处理模块72，用于基于本公开任一实施例所述的点云数据的处理方法对所述点云数据进行检测处理，得到检测结果；
控制模块73，用于基于所述检测结果，控制所述行驶装置。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图8所示，为本公开实施例提供的计算机设备结构示意图，包括：
处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当计算机设备运行时，所述机器可读指令被所述处理器执行以实现下述步骤：
获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据；
基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据；
对所述第二点云数据执行检测任务，得到目标检测结果。
或者，所述机器可读指令被所述处理器执行以实现下述步骤：
利用设置在行驶装置上的目标雷达采集的点云数据；
基于本公开实施例任一项所述的点云数据的处理方法对所述点云数据进行检测处理，得到检测结果；
基于所述检测结果，控制所述行驶装置。
上述指令的具体执行过程可以参考本公开实施例中所述的点云数据的处理方法或智能行驶控制方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的点云数据的处理方法或智能行驶控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的点云数据的处理方法或智能行驶控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的点云数据的处理方法或智能行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种点云数据的处理方法，其特征在于，包括：
获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据；
基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据；
对所述第二点云数据执行检测任务，得到目标检测结果。
2.根据权利要求1所述的处理方法，其特征在于，所述目标雷达在第一安装姿态时的第一安装角度与所述雷达在标准姿态时的标准角度之间的角度差小于预设的角度差阈值；
和/或，第一安装姿态与所述预设标准姿态之间的距离差小于预设的距离阈值。
3.根据权利要求2所述的处理方法，其特征在于，采用下述方式确定所述角度差阈值和/或所述距离阈值；
基于对多个验证样本集分别进行检测得到的检测结果，确定所述角度差阈值和/或所述距离阈值，其中，每个验证样本集中包括多组验证数据；采集不同验证样本集的雷达的安装姿态不同。
4.根据权利要求1-3任一项所述的处理方法，其特征在于，采用下述方式确定所述第一变换矩阵：
基于目标雷达在所述第一安装姿态下的实际检测数据、以及预先确定的所述的目标雷达在所述预设标准姿态下的标准检测数据，确定所述目标雷达在所述第一安装姿态下的第一变换矩阵。
5.根据权利要求1-4任一项所述的处理方法，其特征在于，所述对所述第二点云数据执行检测任务，得到目标检测结果，包括：
基于所述第二点云数据，生成所述第二点云数据对应的至少一个目标的稀疏矩阵；所述稀疏矩阵用于表征所述目标场景的不同位置处是否存在目标对象；
基于所述至少一个稀疏矩阵、和所述第二点云数据，确定所述目标场景中包括的目标对象的三维检测数据；
将所述三维检测数据作为所述目标检测结果。
6.根据权利要求5所述的处理方法，其特征在于，所述基于所述第二点云数据，生成所述第二点云数据对应的至少一个目标的稀疏矩阵，包括：
基于所述第二点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的稀疏矩阵。
7.根据权利要求6所述的处理方法，其特征在于，所述基于所述第二点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的稀疏矩阵，包括：
基于所述第二点云数据，生成初始稀疏矩阵；
基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵。
8.根据权利要求7所述的处理方法，其特征在于，所述基于所述第二点云数据，生成初始稀疏矩阵，包括：
确定所述第二点云数据对应的目标区域，并按照预设的栅格数量，将所述目标区域划分为多个栅格区域；
基于所述第二点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值；
基于每个栅格区域对应的矩阵元素值，生成所述第二点云数据对应的初始稀疏矩阵。
9.根据权利要求7或8所述的处理方法，其特征在于，基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的稀疏矩阵，包括：
基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为所述稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为所述稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将所述输入稀疏矩阵和输出稀疏矩阵进行融合，得到融合稀疏矩阵，将所述融合稀疏矩阵作为该层卷积模块对应的稀疏矩阵。
10.根据权利要求9所述的处理方法，其特征在于，所述基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输入稀疏矩阵，包括：
将所述初始稀疏矩阵作为所述神经网络的第一层卷积模块对应的输入稀疏矩阵；
基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与所述第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为所述神经网络的卷积模块的层数。
11.根据权利要求9所述的处理方法，其特征在于，所述基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输出稀疏矩阵，包括：
基于所述目标对象的尺寸阈值和所述初始稀疏矩阵，确定所述神经网络对应的输出稀疏矩阵；
基于所述输出稀疏矩阵，生成第n层卷积模块对应的、与所述第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵；
基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与所述第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为所述神经网络的卷积模块的层数。
12.根据权利要求5-11任一项所述的处理方法，其特征在于，所述基于所述至少一个稀疏矩阵、和所述第二点云数据，确定所述目标场景中包括的目标对象的三维检测数据，包括：
基于所述第二点云数据，生成所述第二点云数据对应的点云特征图；
基于所述点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，其中，所述神经网络中包括多层卷积模块。
13.根据权利要求12所述的处理方法啊，其特征在于，所述基于所述第二点云数据，生成所述第二点云数据对应的点云特征图，包括：
针对每个栅格区域，基于位于所述栅格区域内的点云点的第二点云数据所指示的坐标信息，确定所述栅格区域对应的特征信息；其中，所述栅格区域为按照预设的栅格数量，将所述第二点云数据对应的目标区域划分生成的；
基于每个栅格区域对应的特征信息，生成所述第二点云数据对应的点云特征图。
14.根据权利要求12或13所述的处理方法，其特征在于，所述基于所述点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：
基于所述神经网络中第一层卷积模块对应的稀疏矩阵，确定所述点云特征图中的待卷积特征信息，利用所述第一层卷积模块，对所述点云特征图中的所述待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图；
基于所述神经网络中第k层卷积模块对应的稀疏矩阵，确定输入至所述第k层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第k层卷积模块，对所述第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为所述神经网络的卷积模块的层数；
基于所述神经网络中第n层卷积模块对应的稀疏矩阵，确定输入至所述第n层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第n层卷积模块，对所述第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到所述目标场景中包括的目标对象的三维检测数据。
15.根据权利要求12或13所述的处理方法，其特征在于，所述基于所述点云特征图和所述至少一个稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：
针对所述神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的所述卷积向量，确定输入至下一层卷积模块的特征图；
基于最后一层卷积模块对应的稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的所述卷积向量，确定所述目标场景中包括的目标对象的三维检测数据。
16.一种智能行驶控制方法，其特征在于，包括：
利用设置在行驶装置上的目标雷达采集点云数据；
基于权利要求1-15任一项所述的点云数据的处理方法对所述点云数据进行检测处理，得到检测结果；
基于所述检测结果，控制所述行驶装置。
17.一种点云数据的处理装置，其特征在于，包括：
获取模块，用于获取目标雷达在第一安装姿态下采集目标场景得到的第一点云数据；
转换模块，用于基于预先确定的第一变换矩阵，将所述第一点云数据转换为标准姿态下的第二点云数据；
检测模块，对所述第二点云数据执行检测任务，得到目标检测结果。
18.一种智能行驶控制装置，其特征在于，包括：
采集模块，用于利用设置在行驶装置上的目标雷达采集点云数据；
处理模块，用于基于权利要求1-15任一项所述的点云数据的处理方法对所述点云数据进行检测处理，得到检测结果；
控制模块，用于基于所述检测结果，控制所述行驶装置。
19.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至16任一项所述的方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至16任意一项所述的方法的步骤。
CN202010713992.8A 2020-07-22 2020-07-22 点云数据的处理方法、智能行驶控制方法及装置 Active CN113970922B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010713992.8A CN113970922B (zh) 2020-07-22 2020-07-22 点云数据的处理方法、智能行驶控制方法及装置
PCT/CN2021/102706 WO2022017131A1 (zh) 2020-07-22 2021-06-28 点云数据的处理方法、智能行驶控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713992.8A CN113970922B (zh) 2020-07-22 2020-07-22 点云数据的处理方法、智能行驶控制方法及装置

Publications (2)

Publication Number Publication Date
CN113970922A true CN113970922A (zh) 2022-01-25
CN113970922B CN113970922B (zh) 2024-06-14

Family

ID=79585077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713992.8A Active CN113970922B (zh) 2020-07-22 2020-07-22 点云数据的处理方法、智能行驶控制方法及装置

Country Status (2)

Country Link
CN (1) CN113970922B (zh)
WO (1) WO2022017131A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638953B (zh) * 2022-02-22 2023-12-22 深圳元戎启行科技有限公司 点云数据的分割方法、装置及计算机可读存储介质
CN114820465B (zh) * 2022-04-06 2024-04-26 合众新能源汽车股份有限公司 点云检测模型训练方法、装置、电子设备及存储介质
CN114821251B (zh) * 2022-04-28 2024-04-12 北京大学深圳研究生院 一种点云上采样网络的确定方法及确定装置
CN115147685B (zh) * 2022-07-20 2023-05-05 广西大学 一种甘蔗收获机运行状态的识别预测方法
CN114998331A (zh) * 2022-07-28 2022-09-02 深圳市信润富联数字科技有限公司 Led灯罩缺陷检测方法、装置、电子设备及存储介质
CN116030134B (zh) * 2023-02-14 2023-07-18 长沙智能驾驶研究院有限公司 定位方法、装置、设备、可读存储介质及程序产品
CN117392632B (zh) * 2023-12-11 2024-03-15 中交第二公路勘察设计研究院有限公司 一种道路要素变化监测方法及装置
CN118376290B (zh) * 2024-06-21 2024-09-27 浙江省白马湖实验室有限公司 一种基于推耙机点云配准的高斯预测煤堆体积计算方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256498A (ja) * 2007-04-04 2008-10-23 Nikon Corp 計測装置およびその計測方法
WO2018101707A1 (ko) * 2016-11-30 2018-06-07 현대엠엔소프트 주식회사 지엔에스에스 시스템의 위치결정 오차 보정 장치 및 방법
CN108562913A (zh) * 2018-04-19 2018-09-21 武汉大学 一种基于三维激光雷达的无人艇假目标检测方法
CN110059579A (zh) * 2019-03-27 2019-07-26 北京三快在线科技有限公司 用于活体检验的方法和装置，电子设备和存储介质
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data
CN110222626A (zh) * 2019-06-03 2019-09-10 宁波智能装备研究院有限公司 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN111191583A (zh) * 2019-12-30 2020-05-22 郑州科技学院 基于卷积神经网络的空间目标识别系统及方法
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256498A (ja) * 2007-04-04 2008-10-23 Nikon Corp 計測装置およびその計測方法
WO2018101707A1 (ko) * 2016-11-30 2018-06-07 현대엠엔소프트 주식회사 지엔에스에스 시스템의 위치결정 오차 보정 장치 및 방법
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data
CN108562913A (zh) * 2018-04-19 2018-09-21 武汉大学 一种基于三维激光雷达的无人艇假目标检测方法
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
CN110059579A (zh) * 2019-03-27 2019-07-26 北京三快在线科技有限公司 用于活体检验的方法和装置，电子设备和存储介质
CN110222626A (zh) * 2019-06-03 2019-09-10 宁波智能装备研究院有限公司 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN111191583A (zh) * 2019-12-30 2020-05-22 郑州科技学院 基于卷积神经网络的空间目标识别系统及方法

Also Published As

Publication number Publication date
CN113970922B (zh) 2024-06-14
WO2022017131A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
CN113970922A (zh) 点云数据的处理方法、智能行驶控制方法及装置
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
JP6364049B2 (ja) 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム
CN113050116B (zh) 机器人定位方法、装置、机器人和可读存储介质
CN111639663B (zh) 多传感器数据融合的方法
EP3822852B1 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
KR102695522B1 (ko) 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법
JP2019008571A (ja) 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN113313176A (zh) 一种基于动态图卷积神经网络的点云分析方法
CN115436920A (zh) 一种激光雷达标定方法及相关设备
CN115585813A (zh) 一种基于注意力机制的深度强化学习机器人导航方法
US12079970B2 (en) Methods and systems for semantic scene completion for sparse 3D data
Mharolkar et al. RGBDTCalibNet: End-to-end online extrinsic calibration between a 3D LiDAR, an RGB camera and a thermal camera
CN113012191B (zh) 一种基于点云多视角投影图的激光里程计算法
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN112747752B (zh) 基于激光里程计的车辆定位方法、装置、设备和存储介质
CN114462545A (zh) 一种基于语义slam的地图构建方法及装置
CN112433193A (zh) 一种基于多传感器的模位置定位方法及系统
CN111179359A (zh) 一种拍照系统的外参数的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059195

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant