CN112749594B - 信息补全方法、车道线识别方法、智能行驶方法及相关产品 - Google Patents

信息补全方法、车道线识别方法、智能行驶方法及相关产品 Download PDF

Info

Publication number
CN112749594B
CN112749594B CN201911050904.4A CN201911050904A CN112749594B CN 112749594 B CN112749594 B CN 112749594B CN 201911050904 A CN201911050904 A CN 201911050904A CN 112749594 B CN112749594 B CN 112749594B
Authority
CN
China
Prior art keywords
point cloud
cloud data
frame
target
intensity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911050904.4A
Other languages
English (en)
Other versions
CN112749594A (zh
Inventor
陈申周
刘余钱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN201911050904.4A priority Critical patent/CN112749594B/zh
Priority to PCT/CN2020/114032 priority patent/WO2021082745A1/zh
Priority to JP2021539461A priority patent/JP2022511990A/ja
Priority to KR1020217021148A priority patent/KR102428050B1/ko
Publication of CN112749594A publication Critical patent/CN112749594A/zh
Application granted granted Critical
Publication of CN112749594B publication Critical patent/CN112749594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请实施例公开了一种信息补全方法、车道线识别方法、智能行驶方法及相关产品，该信息补全方法包括：获取多帧点云数据，所述多帧点云数据中每帧点云数据包括深度信息和强度信息；根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据；其中，所述目标点云数据的深度信息比所述参考点云数据的深度信息稠密，且所述目标点云数据的强度信息比所述参考点云数据的强度信息稠密，所述参考点云数据为所述多帧点云数据中任意一帧点云数据。

Description

信息补全方法、车道线识别方法、智能行驶方法及相关产品
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种信息补全方法、车道线识别方法、智能行驶方法及相关产品。
背景技术
目前，在探测目标方面，使用激光雷达(Light Detection And Ranging，简称：LiDAR)向目标主动投射多行扫描线的脉冲激光，通过反向散射回波测量出目标。由于激光不属于可见光，即使在照明条件不好的情况下，LiDAR仍然运行良好，因此，激光雷达广泛应用到各个领域，例如，无人驾驶中，采用LiDAR来提取车道线。虽然，LiDAR不受光线影响，但由于其垂直分辨率和角度分辨率的限制，导致LiDAR的测量数据非常稀疏，为了充分利用LiDAR的测量数据，首先对测量数据中稀疏的深度信息，补全为稠密的深度信息。然而，LiDAR的测量数据中还包含有强度信息，但由于强度信息与目标的表面材质、激光的入射角方向等其他因素相关，导致无法对强度信息进行补全，所以目前对LiDAR的测量数据的利用率低；由于无法补全强度信息，仅利用补全后的深度信息进行车道线识别时，环境亮度会影响深度信息的获取，导致识别率低，鲁棒性差。
发明内容
本申请实施例提供了一种信息补全方法、车道线识别方法、智能行驶方法及相关产品，提高点云数据资源的利用率以及提高车道线的识别精度。
第一方面，本申请实施例提供一种信息补全方法，包括：
获取多帧点云数据，所述多帧点云数据中每帧点云数据包括深度信息和强度信息；
根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据；
其中，所述目标点云数据的深度信息比所述参考点云数据的深度信息稠密，且所述目标点云数据的强度信息比所述参考点云数据的强度信息稠密，所述参考点云数据为所述多帧点云数据中任意一帧点云数据。
在一些可能的实施方式中，所述根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据，包括：
对点云数据集合中每帧点云数据的深度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的深度图，所述点云数据集合由所述至少一帧点云数据和所述参考点云数据构成；
根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图；
根据与所述参考点云数据对应的目标深度图，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，所述根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图，包括：
获取所述至少一帧点云数据中每帧点云数据的第一雷达坐标系以及所述参考点云数据对应的参考雷达坐标系；
确定将各个第一雷达坐标系变换为所述参考雷达坐标系的各个第一变换矩阵；
根据每个第一变换矩阵对对应帧点云数据的深度图进行变换，得到第一深度图；
将所述至少一帧点云数据中每帧点云数据对应的第一深度图与所述参考点云数据的深度图进行叠加，得到与所述参考点云数据对应的目标深度图。
在一些可能的实施方式中，所述根据与所述参考点云数据对应的目标深度，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图，包括：
对所述点云数据集合中每帧点云数据的强度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的强度图；
对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，所述距离补偿用于消除距离对强度信息的影响；
根据与所述参考点云数据对应的目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，所述对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，包括：
根据激光雷达的雷达参数，得到距离补偿项；
根据所述距离补偿项，确定所述点云数据集合中每帧点云数据对应的第一强度图。
在一些可能的实施方式中，所述根据所述目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图，包括：
根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵；
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，所述角度补偿用于消除入射角度对强度信息的影响；
将所述至少一帧点云数据中每帧点云数据对应的第二强度图与所述参考点云数据对应的第二强度图进行叠加，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，所述根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵，包括：
根据与所述参考点云数据对应的目标深度图中的深度信息进行平面拟合，得到目标空间平面；
根据所述采集所述参考点云数据时激光雷达的入射光线与目标平面的法线之间的夹角，确定与所述参考点云数据对应的目标深度图对应的目标入射角矩阵，其中，与所述参考点云数据对应的目标深度图对应的目标入射角矩阵为所述参考点云数据的第一入射角矩阵；
根据所述至少一帧点云数据中每帧点云数据的第一变换矩阵对与所述参考点云数据对应的目标深度图对应的目标入射角矩阵进行反变换，得到所述至少一帧点云数据中每帧点云数据的第一入射角矩阵。
在一些可能的实施方式中，所述根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，包括：
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵、预设的约束系数，以及所述点云数据集合中每帧点云数据的第一强度图，确定所述点云数据集合中每帧点云数据对应的第二强度图。
在一些可能的实施方式中，所述方法还包括：
根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，所述根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图，包括：
根据与所述参考点云数据对应的目标深度图对应的目标入射角矩阵、预设的约束系数，对与所述参考点云数据对应的目标强度图进行处理，确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，所述信息补全方法采用神经网络执行；所述神经网络采用以下步骤进行训练：
对样本点云数据进行信息补全，输出补全后的样本点云数据；
根据所述补全后的样本点云数据，得到与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图；
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数。
在一些可能的实施方式中，所述根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数，包括：
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图，得到第一损失值、第二损失值和第三损失值；其中，所述第一损失值根据所述标注的目标深度图和所述预测的目标深度图确定；所述第二损失值根据所述标注的目标强度图和所述预测的目标强度图确定；所述第三损失值根据所述标注的原始强度图和所述预测的原始强度图确定；
对所述第一损失值、第二损失值和第三损失值进行加权处理，得到目标损失值；
根据所述目标损失值调整所述神经网络的网络参数。
第二方面，本申请实施例提供一种车道线识别方法，包括：
采集道路的点云数据；
采用如第一方面所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
根据所述目标强度图进行车道线识别，得到车道线识别结果。
第三方面，本申请实施例提供一种智能行驶方法，包括：
采集智能行驶设备的周边场景的点云数据；
利用如第一方面所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
根据所述目标强度图对所述周边场景中的目标对象进行识别；
根据识别结果，控制所述智能行驶设备行驶。
第四方面，本申请实施例提供一种信息补全装置，包括：
获取单元，用于获取多帧点云数据，所述多帧点云数据中每帧点云数据包括深度信息和强度信息；
补全单元，用于根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据；
其中，所述目标点云数据的深度信息比所述参考点云数据的深度信息稠密，且所述目标点云数据的强度信息比所述参考点云数据的强度信息稠密，所述参考点云数据为所述多帧点云数据中任意一帧点云数据。
在一些可能的实施方式中，所述补全单元，具体用于：
对点云数据集合中每帧点云数据的深度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的深度图，所述点云数据集合由所述至少一帧点云数据和所述参考点云数据构成；
根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图；
根据与所述参考点云数据对应的目标深度图，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图方面，所述补全单元，具体用于：
获取所述至少一帧点云数据中每帧点云数据的第一雷达坐标系以及所述参考点云数据对应的参考雷达坐标系；
确定将各个第一雷达坐标系变换为所述参考雷达坐标系的各个第一变换矩阵；
根据每个第一变换矩阵对对应帧点云数据的深度图进行变换，得到第一深度图；
将所述至少一帧点云数据中每帧点云数据对应的第一深度图与所述参考点云数据的深度图进行叠加，得到与所述参考点云数据对应的目标深度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标深度，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图方面，所述补全单元，具体用于：
对所述点云数据集合中每帧点云数据的强度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的强度图；
对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，所述距离补偿用于消除距离对强度信息的影响；
根据与所述参考点云数据对应的目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图方面，所述补全单元，具体用于：
根据激光雷达的雷达参数，得到距离补偿项；
根据所述距离补偿项，确定所述点云数据集合中每帧点云数据对应的第一强度图。
在一些可能的实施方式中，在根据所述目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图方面，所述补全单元，具体用于：
根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵；
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，所述角度补偿用于消除入射角度对强度信息的影响；
将所述至少一帧点云数据中每帧点云数据对应的第二强度图与所述参考点云数据对应的第二强度图进行叠加，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵方面，所述补全单元，具体用于：
根据与所述参考点云数据对应的目标深度图中的深度信息进行平面拟合，得到目标空间平面；
根据所述采集所述参考点云数据时激光雷达的入射光线与目标平面的法线之间的夹角，确定与所述参考点云数据对应的目标深度图对应的目标入射角矩阵，其中，与所述参考点云数据对应的目标深度图对应的目标入射角矩阵为所述参考点云数据的第一入射角矩阵；
根据所述至少一帧点云数据中每帧点云数据的第一变换矩阵对与所述参考点云数据对应的目标深度图对应的目标入射角矩阵进行反变换，得到所述至少一帧点云数据中每帧点云数据的第一入射角矩阵。
在一些可能的实施方式中，在根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图方面，所述补全单元，具体用于：
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵、预设的约束系数，以及所述点云数据集合中每帧点云数据的第一强度图，确定所述点云数据集合中每帧点云数据对应的第二强度图。
在一些可能的实施方式中，所述补全单元，还用于根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图方面，所述补全单元，具体用于：
根据与所述参考点云数据对应的目标深度图对应的目标入射角矩阵、预设的约束系数，对与所述参考点云数据对应的目标强度图进行处理，确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，所述信息补全装置通过神经网络对所述参考点云进行补全；所述信息补全装置还包括训练单元，所述训练单元，用于执行以下步骤训练所述神经网络：
对样本点云数据进行信息补全，输出补全后的样本点云数据；
根据所述补全后的样本点云数据，得到与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图；
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数。
在一些可能的实施方式中，在根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数方面，所述训练单元，具体用于：
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图，得到第一损失值、第二损失值和第三损失值；其中，所述第一损失值根据所述标注的目标深度图和所述预测的目标深度图确定；所述第二损失值根据所述标注的目标强度图和所述预测的目标强度图确定；所述第三损失值根据所述标注的原始强度图和所述预测的原始强度图确定；
对所述第一损失值、第二损失值和第三损失值进行加权处理，得到目标损失值；
根据所述目标损失值调整所述神经网络的网络参数。
第五方面，本申请实施例提供一种车道线识别装置，其特征在于，包括：
采集单元，用于采集道路的点云数据；
补全单元，用于采用如第一方面所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图
识别单元，用于根据所述目标强度图进行车道线识别，得到车道线识别结果。
第六方面，本申请实施例提供一种智能行驶设备，包括：
采集单元，用于采集周边场景的点云数据；
补全单元，用于利用如第一方面所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
识别单元，用于根据所述目标强度图对所述周边场景中的目标对象进行识别；
控制单元，用于根据识别结果控制行驶。
第七方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面、第二方面或者第三方面所述的方法中的步骤的指令。
第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面、第二方面或者第三方面所述的方法。
第九方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面、第二方面或者第三方面所述的方法。
实施本申请实施例，具有如下有益效果：
可以看出，在本申请实施例中，对点云数据中的深度信息和强度信息进行补全，从而将采集到的稀疏点云数据补全为稠密的点云数据，实现了对点云数据中的强度信息进行补全，提高了对点云数据资源的利用率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种信息补全方法的流程示意图；
图2为本申请实施例提供的另一种信息补全方法的流程示意图；
图3为本申请实施例提供的一种信息补全模型的结构图；
图4为本申请实施例提供的一种车道线识别方法的流程示意图；
图5为本申请实施例提供的一种智能行驶方法的流程示意图；
图6为本申请实施例提供的一种信息补全装置的结构示意图；
图7为本申请实施例提供的一种车道线识别装置的结构示意图；
图8为本申请实施例提供的一种智能行驶设备的结构示意图；
图9为本申请实施例提供的一种信息补全装置的功能单元组成框图；
图10为本申请实施例提供的一种车道线识别装置的功能单元组成框图；
图11为本申请实施例提供的一种智能行驶设备的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
LiDAR向目标(观测点)发射激光束，接收从目标反射回来的回波信号，将回波信号与发射信号进行比较，获得目标的点云数据，该点云数据中包含目标的深度信息(XYZ坐标信息)、回波次数、强度信息、RGB像素值、扫描角度、扫描方向等。由于LiDAR的垂直分辨率和角度分辨率的限制，导致点云数据非常稀疏。为了充分利用点云数据，首先将点云数据中稀疏的深度信息，补全为稠密的深度信息。然而，点云数据中还包含有强度信息，但由于强度信息与LiDAR的入射角、与目标的距离以及目标的表面材质等其他因素相关，导致无法补全强度信息，进而无法利用强度信息，导致对LiDAR的测量数据的利用率低。由于无法补全强度信息，故只能利用补全后的深度信息进行车道线识别时，然而，环境亮度会影响深度信息的获取，导致车道线的识别率低，鲁棒性差。为了解决以上缺陷，特提出本申请的技术方案，以实现同步补全点云数据的稀疏的深度信息和强度信息，并提高车道线识别的鲁棒性。
参阅图1，图1为本申请实施例提供的一种信息补全方法的流程示意图，该方法包括但不限于以下步骤：
101：获取多帧点云数据。
其中，该多帧点云数据可以为连续采集获取到的点云数据，即该多帧点云为相邻的点云数据，也可以是不连续采集的点云数据。本申请中以相邻的点云数据为例做具体说明。
此外，该帧点云数据中每帧点云数据包括深度信息和强度信息。
102：根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据。
该参考点云数据为多帧点云数据中任意一帧点云数据，该至少一帧点云数据为该多帧点云数据中除该参考点云数据之外的点云数据中的全部点云数据或者部分点云数据。
一般来说，该参考点云数据为处于该多帧点云数据中间位置的点云数据，从而使在该参考点云数据的前后具有相同数量的点云数据，以便在进行信息补全时，可以更好的将参考点云数据补全为信息稠密的目标点云数据。
其中，该目标点云数据的深度信息比该参考点云数据的深度信息稠密，且该目标点云数据的强度信息比该参考点云数据的强度信息稠密。
进一步地，该目标点云数据包括目标深度图和目标强度图。目标深度图中的深度信息比该参考点云数据对应的深度图中的深度信息稠密，且目标强度图中的强度信息比参考点云数据对应的强度图中的强度信息稠密。
下面详细叙述对参考点云数据进行深度信息和强度信息的补全过程。
参阅图2，图2为本申请实施例提供的另一种信息补全方法的流程示意图，该方法包括但不限于以下步骤：
201：对点云数据集合中每帧点云数据的深度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的深度图。
该点云数据集合由上述至少一帧点云数据和上述参考点云数据构成。
对该点云集合中的每帧点云数据进行重投影，得到每帧点云数据对应的深度图和强度图，重投影为现有技术，不再赘述。
202：根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图。
可选的，激光雷达在采集每帧点云数据时位置以及姿态会发生变化，因此，采集每帧点云数据时的雷达坐标系是不同的，故获取该至少一帧点云数据中每帧点云数据对应的第一雷达坐标系，以及获取该参考点云数据对应的参考雷达坐标系；获取将各个第一雷达坐标系变换为该参考雷达坐标系时对应的各个第一变换矩阵；根据每个第一变换矩阵对该至少一帧点云数据中与该第一变换矩阵对应帧点云数据的深度图进行变换，即将该帧点云数据的深度图变换到参考雷达坐标系下，得到该帧点云数据对应的第一深度图，进而可得到该至少一帧点云数据中每帧点云数据对应的第一深度图；然后，将该至少一帧点云数据中每帧点云数据对应的第一深度图与该参考点云数据对应的深度图进行叠加，得到与该参考点云对应的目标深度图。
需要说明的是，将该至少一帧点云数据中每帧点云数据的深度图与该参考点云数据的深度图进行叠加，得到新的深度图。如在对该至少一帧点云数据中第i帧点云数据的深度图进行叠加时，如最新的深度图中已包含该第i帧点云数据的深度图中一观测点的深度信息时，则忽略对该观测点的深度信息的叠加，如不包含该观测点的深度信息，则将该观测点的深度信息叠加到最新的深度图，得到当前最新的深度图，当对该至少一帧点云数据对应的所有深度图全部叠加完时，可得到与该参考点云数据对应的目标深度图。
203：根据与所述参考点云数据对应的目标深度图，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图。
可以看出，在本申请实施例中，对点云数据中的深度信息和强度信息进行补全，从而将采集到的稀疏点云数据补全为稠密的点云数据；由于同步对深度信息和强度信息进行补全，从而使补全过程中两个信息之间相互借鉴，进而提高信息补全的精确度，避免补全出错；而且，实现了对点云数据中的强度信息进行补全，提高了对点云数据资源的利用率。
在一些可能的实施方式中，可以对该点云集合中每帧点云数据对应的强度图进行距离补偿，得到与该点云集合中每帧点云数据对应的第一强度图；然后，对该点云集合中每帧点云数据对应的第一强度图进行角度补偿，得到该点云集合中每帧点云数据对应的第二强度图；最后，将该至少一帧点云数据对应的第二强度图与该参考点云数据对应的第二强度图进行叠加，得到与该参考点云数据对应的目标强度图。
其中，上述对每帧点云数据的强度图进行距离补偿和角度补偿，并无先后顺序。例如，可以先进行距离补偿，后进行角度补偿；也可以先进行角度补偿，后进行距离补偿，还可以同步进行角度补偿和距离补偿。
在一些可能的实施方式中，根据激光雷达的雷达参数，得到距离补偿项；根据距离补偿项g(D)，确定该点云数据集合中每帧点云数据对应的第一强度图Icom。其中，该距离补偿项g(D)以及第一强度图Icom满足公式(1)：
Figure GDA0003538281320000091
Iraw为该点云集合中的一帧点云数据的强度图，D为该帧点云数据的深度图，focal、K和Dref为激光雷达的固有参数。
由于，每个观测点(激光雷达光线所照射物体的表面)的强度信息与每个观测点与激光雷达的距离(深度信息)相关。因此，对每帧点云数据的强度图添加一个距离补偿项，即与该距离影响相反的参数，通过该距离补偿项来消除距离对强度信息的影响。例如，当每个观测点的强度信息与距离呈现正比例相关时，则通过反比例消除距离对每个观测点的强度信息的影响。故第一强度图中不同距离的观测点的强度信息与距离无关。
进一步地，在进行距离补偿，得到该点云数据集合中每帧点云数据对应的第一强度图后，则可根据参考点云数据对应的目标深度图和该点云数据集合中每帧点云数据对应的第一强度图，确定与该参考点云数据对应的目标强度图。
具体来讲，深度图中每个观测点的深度信息，即(X,Y,Z)坐标，表示该观测点的空间位置。故可在参考雷达坐标系下，对参考点云数据的目标深度图上的各个观测点进行平面拟合，得到目标空间平面以及该目标空间平面的朝向，基于该目标空间平面的朝向得到该目标空间平面的法向量
Figure GDA0003538281320000092
然后，根据该参考点云数据的目标深度图中每个观测点的深度坐标(X,Y,Z)与法向量
Figure GDA0003538281320000093
得到该参考点云数据的目标深度图中每个观测点的入射角，由此可得到与该参考点云数据的目标深度图对应的目标入射角矩阵vcurr，该目标入射角矩阵vcurr也就是参考点云数据的第一入射角矩阵。
举例来说，如观测点的深度信息为(x1,y1,z1)，法向量为
Figure GDA0003538281320000094
则该观测点的入射角为α，且
Figure GDA0003538281320000101
然后，根据该至少一帧点云数据中每帧点云数据的第一变换矩阵(即两个雷达坐标系之间的变换矩阵)对该目标入射角矩阵进行反变换。即使用与该第一变换矩阵对应的逆矩阵对该目标入射角矩阵进行反变换，得到与该帧点云数据对应的第一入射角矩阵，由此可以得到该点云集合中每帧点云数据的第一入射角矩阵。该第一入射角矩阵中的每个入射角为采集该点云数据集合中每帧点云数据时，激光雷达的入射光线与目标平面的法线之间的夹角，该目标平面为该帧点云数据对应的所有观测点所在的空间平面，例如上述的目标空间平面。
另外，每个观测点的强度信息还会受入射角的影响，即材质相同且与激光雷达距离相同的观测点，在入射角不同时，强度信息也会不同。
因此，使用该点云集合中每帧点云数据对应的第一入射角矩阵对该点云集合中每帧点云数据的第一强度图进行角度补偿，得到该点云集合中每帧点云数据的第二强度图，则该第二强度图中消除了角度(入射角)对强度信息的影响。
具体来说，通过该点云集合中每帧点云数据的第一入射角矩阵、预设的约束系数，对该点云数据集合中每帧点云数据的第一强度图进行角度补偿，得到该点云数据集合中每帧点云数据的第二强度图。其中，该第二强度图满足公式(2)：
Figure GDA0003538281320000102
Inorm为点云数据集合中的一帧点云数据的第二强度图，Icom为该帧点云数据对应的第一强度图，veach为该帧点云数据对应的第一入射角矩阵，c和η为预设的约束系数。
由于，每个观测点对应的强度信息与入射角的余弦值相关。因此，通过与该余弦值相逆的方式对每个观测点的强度信息进行补偿，从而消除了入射角对每个观测点的强度信息的影响，故第二强度图中每个观测点对应的强度信息仅和该观测点的表面材质相关，不再受距离和角度的影响。即每个观测点的强度信息仅与该观测点的反射率相关。
进一步地，在得到每帧点云数据对应的第二强度图后，将该至少一帧点云数据中每帧点云数据对应的第二强度图与参考点云数据对应的第二强度图进行叠加，得到与该参考点云数据对应的目标强度图。
同样，将该至少一帧点云数据中每帧点云数据的第二强度图与该参考点云数据对应的第二强度图进行叠加，得到最新的强度图。如在对该至少一帧点云数据中第i帧点云数据的第二强度图进行叠加时，该最新的强度图中已包含该第第i帧点云数据的第二强度图中一观测点的强度信息，则忽略对该观测点的强度信息的叠加，如不包含该观测点的强度信息，则将该观测点的强度信息叠加到该最新的强度图，得到当前最新的强度图，当对该至少一帧点云数据对应的所有第二强度图全部叠加完时，得到与该参考点云数据对应的目标强度图Icurr。
可以理解的是，该目标强度图Icurr中的观测点只要表面材质相同，无论观测点与激光雷达的距离是多少、入射角是多少，其对应的强度信息相同。但是，在实际采集时，不同距离、不同入射角的观测点的强度信息不同。所以，其对应的强度信息不同，如果强度图可以直接叠加，则在叠加后的强度图中材质相同的观测点，但是如果与激光雷达之间的距离不同、入射角不同，两者对应的强度信息是不同的，由此得到真实强度图。因此，在得到目标强度图Icurr后，对目标强度图Icurr进行反归一化处理，即根据上述的目标入射角矩阵以及预设的约束系数对该目标强度图Icurr进行反归一化处理，得到与该参考点云数据对应的原始强度图Ireal，该原始强度图Ireal相当于将该至少一帧点云数据中每帧点云数据的强度图与该参考点云数据的强度图直接叠加，得到的强度图。其中，该原始强度图Ireal满足公式(3)：
Ireal＝Icurr*cosc(vcurr)/η (3)；
其中，vcurr为目标入射角矩阵，Icurr为目标强度图，c和η为预设的约束系数。
可选的，在得到该原始强度图Ireal后，可对该原始强度图Ireal进行可视化展示，以显示对点云数据的强度信息直接进行补全后的补全结果，实现强度信息的补全。
在一些可能的实现方式中，上述对参考点云数据的信息补全是采用神经网络执行的，该神经网络是采用以下步骤进行训练得到的：
步骤a、对样本点云数据进行信息补全，输出补全后的样本点云数据；
步骤b、根据所述补全后的样本点云数据，得到与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图；
步骤c、根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数。
具体来说，首先要获取样本数据进行深度信息以及强度信息的补全结果，得到与该样本点云数据对应的目标深度图、目标强度图以及原始强度图，即标注的目标深度图、标注的目标强度图和标注的原始强度图(监督标签)，其中，补全结果可以采用其他的方法实现；然后，将该样本点云数据输入到初始的神经网络，得到补全后的目标深度图、目标强度图以及原始强度图，即预测的目标深度图、预测的目标强度图和预测的原始强度图(预测结果)；根据该预测结果与监督标签，得到目标损失值，即根据与该补全后的目标深度图对应的第一损失值(根据所述标注的目标深度图和所述预测的目标深度图确定)、与目标强度图对应的第二损失值(根据所述标注的目标强度图和所述预测的目标强度图确定)以及与该原始强度图对应的第三损失值(根据所述标注的原始强度图和所述预测的原始强度图确定)，得到目标损失值。其中，该目标损失值满足公式(4)：
Figure GDA0003538281320000111
其中，LDepth为第一损失值，
Figure GDA0003538281320000112
为第二损失值，
Figure GDA0003538281320000113
为第三损失值，α和β为预设权重系数。
通过梯度下降法以及该目标损失对该初始的神经网络进行训练，得到上述的神经网络。
在一些可能的实施方式中，本公开实施例提供的神经网络的结构可以采用图3所示的信息补全模型。该信息补全模型为多任务学习模型结构，该信息补全模型包括预测网络块和反归一化网络块，其中：
该预测网络块包括编码网络块、卷积网络块、解码网络块。该编码网络由四个残差网络组成，卷积网络块由卷积层和膨胀网络组成，该解码网络块由五个转置卷积网络组成。
其中，该预测网络块，用于通过编码网络块、卷积网络块以及解码网络块对输入的样本点云数据进行信息补全，得到与样本点云数据对应的预测目标深度图
Figure GDA0003538281320000114
和预测目标强度图
Figure GDA0003538281320000115
反归一化网络块，用于对预测目标强度图
Figure GDA0003538281320000116
进行反归一化处理，得到预测初始强度图
Figure GDA0003538281320000117
然后，基于样本点云数据的监督信息，即目标深度图、中间强度图和目标强度图计算出样本点云数据对应的第一损失值、第二损失值和第三损失值，并对第一损失值、第二损失值和第三损失值进行加权处理，得到目标损失值，基于目标损失值对信息补全模型进行优化训练。
可以看出，通过补全模型，对点云数据中的深度信息和强度信息进行补全，从而将采集到的稀疏点云数据补全为稠密的点云数据；由于同步对深度信息和强度信息进行补全，从而使补全过程中两个信息之间相互借鉴，进而提高信息补全的精确度，避免补全出错；而且，实现了对点云数据中的强度信息进行补全，提高了对点云数据资源的利用率。
参阅图4，图4为本申请实施例提供的一种车道线识别方法的流程示意图，该方法包括但不限于以下步骤：
401：采集道路的点云数据。
其中，可通过激光雷达采集道路的点云数据。
402：对所述点云数据进行补全，得到与所述点云数据对应的目标强度图。
其中，采用上述的信息补全方法对该点云数据进行信息补全，得到与该点云数据对应的目标强度图，该目标强度图为消除距离以及入射角对强度信息影响的目标强度图，具体补全过程可参见203中所述内容，不再叙述。
403：根据所述目标强度图进行车道线识别，得到车道线识别结果。
由于该目标强度图中的强度信息消除了距离以及入射角的影响。因此，该目标强度图中观测点的强度信息仅与该观测点的表面材质相关，也就是说该目标强度图中观测点的强度信息反映了该观测点对应的材质的表面反射率。故可确定该目标强度中强度信息(表面反射率)与车道线的强度信息(表面反射率)对应的观测点全部为车道线上的点，即可通过该目标强度图识别出车道线。
可以看出，在本申请实施例中，利用补全后的目标强度图进行车道线识别。由于激光不属于可见光波段，因此，即使在黑暗或者恶劣环境下，仍然可以获取到强度信息稠密的目标强度图，进而提高了车道线识别的稳定性和成功率。
图5为本申请实施例提供的一种智能行驶方法的流程示意图，该方法包括但不限于以下步骤：
501：采集智能行驶设备的周边场景的点云数据。
其中，该智能行驶设备可以为自动驾驶车辆、安装有高级驾驶辅助系统(AdvancedDriving Assistant System,ADAS)的车辆、智能机器人，等等。
502：对所述点云数据进行补全，得到与所述点云数据对应的目标强度图。
采用上述的信息补全方法对该点云数据的强度信息进行补全，得到消除距离和入射角影响的目标强度图，具体补全过程可参见203中所述内容，不再叙述。
503：根据所述目标强度图对所述周边场景中的目标对象进行识别。
其中，该目标对象可以为车道线、各种信号灯、交通牌、障碍物、行人或者其他智能行驶设备，以及行驶时所能遇到的各种物体。
具体来说，获取该目标强度图中各个观测点的强度信息，即各个观测点的表面反射率，然后，将各个观测点的表面反射率与各种物体所对应的表面反射率进行比对，从而确定各个观测点的物体类型，从而识别出该周边场景中的目标对象。
504：根据识别结果，控制所述智能行驶设备行驶。
可选的，根据识别出的该周边场景中的目标对象，进行路径规划，按照规划好的行驶路径自动控制智能设备的行驶；也可以输出提示信息，通过该提示信息提示该智能行驶设备的操作员根据识别出的目标对象控制该智能设备的行驶。
可以看出，在本申请实施方案中，对采集到的点云数据进行补全，得到目标强度图，由于激光不属于可见光波段，因此，即使在黑暗或者恶劣环境下，仍然可以获取到强度信息稠密的目标强度图；而且，该目标强度图观测点的反射率不受距离和入射角度的影响，根据该目标强度图对目标对象进行识别，可提高对目标对象的识别成功率。因此，无论在任何环境条件下，都可以准确的获取到智能行驶设备周围的环境布局，根据该环境布局控制智能行驶设备的型设计，进而提高智能行驶设备行驶的安全性。
图6为本申请实施例提供的一种信息补全装置600的结构示意图。信息补全装置600包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序不同于上述一个或多个应用程序，且上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
获取多帧点云数据，所述多帧点云数据中每帧点云数据包括深度信息和强度信息；
根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据；
其中，所述目标点云数据的深度信息比所述参考点云数据的深度信息稠密，且所述目标点云数据的强度信息比所述参考点云数据的强度信息稠密，所述参考点云数据为所述多帧点云数据中任意一帧点云数据。
在一些可能的实施方式中，在根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据方面，上述程序具体用于执行以下步骤的指令：
对点云数据集合中每帧点云数据的深度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的深度图，所述点云数据集合由所述至少一帧点云数据和所述参考点云数据构成；
根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图；
根据与所述参考点云数据对应的目标深度图，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图方面，上述程序具体用于执行以下步骤的指令：
获取所述至少一帧点云数据中每帧点云数据的第一雷达坐标系以及所述参考点云数据对应的参考雷达坐标系；
确定将各个第一雷达坐标系变换为所述参考雷达坐标系的各个第一变换矩阵；
根据每个第一变换矩阵对对应帧点云数据的深度图进行变换，得到第一深度图；
将所述至少一帧点云数据中每帧点云数据对应的第一深度图与所述参考点云数据的深度图进行叠加，得到与所述参考点云数据对应的目标深度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标深度，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图方面，上述程序具体用于执行以下步骤的指令：
对所述点云数据集合中每帧点云数据的强度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的强度图；
对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，所述距离补偿用于消除距离对强度信息的影响；
根据与所述参考点云数据对应的目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图方面，上述程序具体用于执行以下步骤的指令：
根据激光雷达的雷达参数，得到距离补偿项；
根据所述距离补偿项，确定所述点云数据集合中每帧点云数据对应的第一强度图。
在一些可能的实施方式中，在根据所述目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图方面，上述程序包括具体执行以下步骤的指令：
根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵；
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，所述角度补偿用于消除入射角度对强度信息的影响；
将所述至少一帧点云数据中每帧点云数据对应的第二强度图与所述参考点云数据对应的第二强度图进行叠加，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵方面，上述程序具体用于执行以下步骤的指令：
根据与所述参考点云数据对应的目标深度图中的深度信息进行平面拟合，得到目标空间平面；
根据所述采集所述参考点云数据时激光雷达的入射光线与目标平面的法线之间的夹角，确定与所述参考点云数据对应的目标深度图对应的目标入射角矩阵，其中，与所述参考点云数据对应的目标深度图对应的目标入射角矩阵为所述参考点云数据的第一入射角矩阵；
根据所述至少一帧点云数据中每帧点云数据的第一变换矩阵对与所述参考点云数据对应的目标深度图对应的目标入射角矩阵进行反变换，得到所述至少一帧点云数据中每帧点云数据的第一入射角矩阵。
在一些可能的实施方式中，在根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图方面，上述程序具体用于执行以下步骤的指令：
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵、预设的约束系数，以及所述点云数据集合中每帧点云数据的第一强度图，确定所述点云数据集合中每帧点云数据对应的第二强度图。
在一些可能的实施方式中，上述程序还用于执行以下步骤的指令：
根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图方面，上述程序具体用于执行以下步骤的指令：
根据与所述参考点云数据对应的目标深度图对应的目标入射角矩阵、预设的约束系数，对与所述参考点云数据对应的目标强度图进行处理，确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，信息补全装置通过神经网络对所述参考点云进行补全；上述程序还用于执行以下步骤的指令：
对样本点云数据进行信息补全，输出补全后的样本点云数据；
根据所述补全后的样本点云数据，得到与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图；
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数。
在一些可能的实施方式中，在根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数方面，上述程序具体用于执行以下步骤的指令：
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图，得到第一损失值、第二损失值和第三损失值；其中，所述第一损失值根据所述标注的目标深度图和所述预测的目标深度图确定；所述第二损失值根据所述标注的目标强度图和所述预测的目标强度图确定；所述第三损失值根据所述标注的原始强度图和所述预测的原始强度图确定；
对所述第一损失值、第二损失值和第三损失值进行加权处理，得到目标损失值；
根据所述目标损失值调整所述神经网络的网络参数。
图7为本申请实施例提供的一种车道线识别装置700的结构示意图。车道线识别装置700包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序不同于上述一个或多个应用程序，且上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
采集道路的点云数据；
对所述点云数据进行补全，得到与所述点云数据对应的目标强度图；
根据所述目标强度图进行车道线识别，得到车道线识别结果。
图8为本申请实施例提供的一种智能行驶设备800的结构示意图。智能行驶设备800包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序不同于上述一个或多个应用程序，且上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
采集周边场景的点云数据；
对所述点云数据进行补全，得到与所述点云数据对应的目标强度图；
根据所述目标强度图对所述周边场景中的目标对象进行识别；
根据识别结果控制行驶。
图9为本申请实施例提供的一种信息补全装置的功能单元组成框图。信息补全装置900包括：获取单元910、补全单元920，其中：
获取单元910，用于获取多帧点云数据，所述多帧点云数据中每帧点云数据包括深度信息和强度信息；
补全单元920，用于根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据；
其中，所述目标点云数据的深度信息比所述参考点云数据的深度信息稠密，且所述目标点云数据的强度信息比所述参考点云数据的强度信息稠密，所述参考点云数据为所述多帧点云数据中任意一帧点云数据。
在一些可能的实施方式中，补全单元920，具体用于：
对点云数据集合中每帧点云数据的深度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的深度图，所述点云数据集合由所述至少一帧点云数据和所述参考点云数据构成；
根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图；
根据与所述参考点云数据对应的目标深度图，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图方面，补全单元920，具体用于：
获取所述至少一帧点云数据中每帧点云数据的第一雷达坐标系以及所述参考点云数据对应的参考雷达坐标系；
确定将各个第一雷达坐标系变换为所述参考雷达坐标系的各个第一变换矩阵；
根据每个第一变换矩阵对对应帧点云数据的深度图进行变换，得到第一深度图；
将所述至少一帧点云数据中每帧点云数据对应的第一深度图与所述参考点云数据的深度图进行叠加，得到与所述参考点云数据对应的目标深度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标深度，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图方面，补全单元920，具体用于：
对所述点云数据集合中每帧点云数据的强度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的强度图；
对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，所述距离补偿用于消除距离对强度信息的影响；
根据与所述参考点云数据对应的目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图方面，补全单元920，具体用于：
根据激光雷达的雷达参数，得到距离补偿项；
根据所述距离补偿项，确定所述点云数据集合中每帧点云数据对应的第一强度图。
在一些可能的实施方式中，在根据所述目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图方面，补全单元920，具体用于：
根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵；
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，所述角度补偿用于消除入射角度对强度信息的影响；
将所述至少一帧点云数据中每帧点云数据对应的第二强度图与所述参考点云数据对应的第二强度图进行叠加，得到与所述参考点云数据对应的目标强度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵方面，补全单元920，具体用于：
根据与所述参考点云数据对应的目标深度图中的深度信息进行平面拟合，得到目标空间平面；
根据所述采集所述参考点云数据时激光雷达的入射光线与目标平面的法线之间的夹角，确定与所述参考点云数据对应的目标深度图对应的目标入射角矩阵，其中，与所述参考点云数据对应的目标深度图对应的目标入射角矩阵为所述参考点云数据的第一入射角矩阵；
根据所述至少一帧点云数据中每帧点云数据的第一变换矩阵对与所述参考点云数据对应的目标深度图对应的目标入射角矩阵进行反变换，得到所述至少一帧点云数据中每帧点云数据的第一入射角矩阵。
在一些可能的实施方式中，在根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图方面，补全单元920，具体用于：
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵、预设的约束系数，以及所述点云数据集合中每帧点云数据的第一强度图，确定所述点云数据集合中每帧点云数据对应的第二强度图。
在一些可能的实施方式中，补全单元920，还用于根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，在根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图方面，补全单元920，具体用于：
根据与所述参考点云数据对应的目标深度图对应的目标入射角矩阵、预设的约束系数，对与所述参考点云数据对应的目标强度图进行处理，确定与所述参考点云数据对应的原始强度图。
在一些可能的实施方式中，所述信息补全装置通过神经网络对所述参考点云进行补全；信息补全装置900还包括训练单元930，训练单元930，用于执行以下步骤训练所述神经网络：
对样本点云数据进行信息补全，输出补全后的样本点云数据；
根据所述补全后的样本点云数据，得到与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图；
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数。
在一些可能的实施方式中，在根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数方面，训练单元930，具体用于：
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图，得到第一损失值、第二损失值和第三损失值；其中，所述第一损失值根据所述标注的目标深度图和所述预测的目标深度图确定；所述第二损失值根据所述标注的目标强度图和所述预测的目标强度图确定；所述第三损失值根据所述标注的原始强度图和所述预测的原始强度图确定；
对所述第一损失值、第二损失值和第三损失值进行加权处理，得到目标损失值；
根据所述目标损失值调整所述神经网络的网络参数。
其中，训练单元930并不是信息补全装置所必须的。
图10为本申请实施例提供的一种车道线识别装置的功能单元组成框图。车道线识别装置1000包括：采集单元1100、补全单元1200、识别单元1300，其中：
采集单元1100，用于采集道路的点云数据；
补全单元1200，用于采用如第一方面所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图
识别单元1300，用于根据所述目标强度图进行车道线识别，得到车道线识别结果。
图11为本申请实施例提供的一种智能行驶设备的功能单元组成框图。智能行驶设备1100包括：采集单元1110、补全单元1120、识别单元1130、控制单元1140，其中：
采集单元1110，用于采集周边场景的点云数据；
补全单元1120，用于利用如第一方面所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
识别单元1130，用于根据所述目标强度图对所述周边场景中的目标对象进行识别；
控制单元1140，用于根据识别结果控制行驶。
本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的信息补全方法的部分或全部步骤、车道线识别方法的部分或全部步骤，或者智能行驶方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的信息补全方法的部分或全部步骤、车道线识别方法的部分或全部步骤，或者智能行驶方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (28)

1.一种信息补全方法，其特征在于，包括：
获取多帧点云数据，所述多帧点云数据中每帧点云数据包括深度信息和强度信息；
根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据，具体包括：对点云数据集合中每帧点云数据的深度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的深度图，所述点云数据集合由所述至少一帧点云数据和所述参考点云数据构成；根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图；根据与所述参考点云数据对应的目标深度图，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图；
其中，所述目标点云数据的深度信息比所述参考点云数据的深度信息稠密，且所述目标点云数据的强度信息比所述参考点云数据的强度信息稠密，所述参考点云数据为所述多帧点云数据中任意一帧点云数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图，包括：
获取所述至少一帧点云数据中每帧点云数据的第一雷达坐标系以及所述参考点云数据对应的参考雷达坐标系；
确定将各个第一雷达坐标系变换为所述参考雷达坐标系的各个第一变换矩阵；
根据每个第一变换矩阵对对应帧点云数据的深度图进行变换，得到第一深度图；
将所述至少一帧点云数据中每帧点云数据对应的第一深度图与所述参考点云数据的深度图进行叠加，得到与所述参考点云数据对应的目标深度图。
3.根据权利要求1或2所述的方法，其特征在于，所述根据与所述参考点云数据对应的目标深度，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图，包括：
对所述点云数据集合中每帧点云数据的强度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的强度图；
对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，所述距离补偿用于消除距离对强度信息的影响；
根据与所述参考点云数据对应的目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图。
4.根据权利要求3所述的方法，其特征在于，所述对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，包括：
根据激光雷达的雷达参数，得到距离补偿项；
根据所述距离补偿项，确定所述点云数据集合中每帧点云数据对应的第一强度图。
5.根据权利要求4所述的方法，其特征在于，所述根据与所述参考点云数据对应的目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图，包括：
根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵；
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，所述角度补偿用于消除入射角度对强度信息的影响；
将所述至少一帧点云数据中每帧点云数据对应的第二强度图与所述参考点云数据对应的第二强度图进行叠加，得到与所述参考点云数据对应的目标强度图。
6.根据权利要求5所述的方法，其特征在于，所述根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵，包括：
根据与所述参考点云数据对应的目标深度图中的深度信息进行平面拟合，得到目标空间平面；
根据采集所述参考点云数据时激光雷达的入射光线与目标平面的法线之间的夹角，确定与所述参考点云数据对应的目标深度图对应的目标入射角矩阵，其中，与所述参考点云数据对应的目标深度图对应的目标入射角矩阵为所述参考点云数据的第一入射角矩阵；
根据所述至少一帧点云数据中每帧点云数据的第一变换矩阵对与所述参考点云数据对应的目标深度图对应的目标入射角矩阵进行反变换，得到所述至少一帧点云数据中每帧点云数据的第一入射角矩阵。
7.根据权利要求6所述的方法，其特征在于，所述根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，包括：
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵、预设的约束系数，以及所述点云数据集合中每帧点云数据的第一强度图，确定所述点云数据集合中每帧点云数据对应的第二强度图。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图。
9.根据权利要求8所述的方法，其特征在于，所述根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图，包括：
根据与所述参考点云数据对应的目标深度图对应的目标入射角矩阵、预设的约束系数，对与所述参考点云数据对应的目标强度图进行处理，确定与所述参考点云数据对应的原始强度图。
10.根据权利要求1所述的方法，其特征在于，所述信息补全方法采用神经网络执行；所述神经网络采用以下步骤进行训练：
对样本点云数据进行信息补全，输出补全后的样本点云数据；
根据所述补全后的样本点云数据，得到与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图；
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数。
11.根据权利要求10所述的方法，其特征在于，所述根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数，包括：
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图，得到第一损失值、第二损失值和第三损失值；其中，所述第一损失值根据所述标注的目标深度图和所述预测的目标深度图确定；所述第二损失值根据所述标注的目标强度图和所述预测的目标强度图确定；所述第三损失值根据所述标注的原始强度图和所述预测的原始强度图确定；
对所述第一损失值、第二损失值和第三损失值进行加权处理，得到目标损失值；
根据所述目标损失值调整所述神经网络的网络参数。
12.一种车道线识别方法，其特征在于，包括：
采集道路的点云数据；
采用权利要求1-11中任一项所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
根据所述目标强度图进行车道线识别，得到车道线识别结果。
13.一种智能行驶方法，其特征在于，包括：
采集智能行驶设备的周边场景的点云数据；
利用权利要求1-11中任一项所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
根据所述目标强度图对所述周边场景中的目标对象进行识别；
根据识别结果，控制所述智能行驶设备行驶。
14.一种信息补全装置，其特征在于，包括：
获取单元，用于获取多帧点云数据，所述多帧点云数据中每帧点云数据包括深度信息和强度信息；
补全单元，用于根据所述多帧点云数据中除参考点云数据之外的至少一帧点云数据的深度信息和强度信息，对参考点云数据进行补全，得到与所述参考点云数据对应的目标点云数据，具体用于：对点云数据集合中每帧点云数据的深度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的深度图，所述点云数据集合由所述至少一帧点云数据和所述参考点云数据构成；根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图；根据与所述参考点云数据对应的目标深度图，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图；
其中，所述目标点云数据的深度信息比所述参考点云数据的深度信息稠密，且所述目标点云数据的强度信息比所述参考点云数据的强度信息稠密，所述参考点云数据为所述多帧点云数据中任意一帧点云数据。
15.根据权利要求14所述的装置，其特征在于，在根据所述点云数据集合中每帧点云数据对应的深度图，对所述参考点云数据进行深度信息补全，得到与所述参考点云数据对应的目标深度图方面，所述补全单元，具体用于：
获取所述至少一帧点云数据中每帧点云数据的第一雷达坐标系以及所述参考点云数据对应的参考雷达坐标系；
确定将各个第一雷达坐标系变换为所述参考雷达坐标系的各个第一变换矩阵；
根据每个第一变换矩阵对对应帧点云数据的深度图进行变换，得到第一深度图；
将所述至少一帧点云数据中每帧点云数据对应的第一深度图与所述参考点云数据的深度图进行叠加，得到与所述参考点云数据对应的目标深度图。
16.根据权利要求15所述的装置，其特征在于，在根据与所述参考点云数据对应的目标深度，对所述参考点云数据进行强度信息补全，得到与所述参考点云数据对应的目标强度图方面，所述补全单元，具体用于：
对所述点云数据集合中每帧点云数据的强度信息进行重投影，得到所述点云数据集合中每帧点云数据对应的强度图；
对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图，所述距离补偿用于消除距离对强度信息的影响；
根据与所述参考点云数据对应的目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图。
17.根据权利要求16所述的装置，其特征在于，在对所述点云数据集合中每帧点云数据对应的强度图进行距离补偿，得到所述点云数据集合中每帧点云数据对应的第一强度图方面，所述补全单元，具体用于：
根据激光雷达的雷达参数，得到距离补偿项；
根据所述距离补偿项，确定所述点云数据集合中每帧点云数据对应的第一强度图。
18.根据权利要求17所述的装置，其特征在于，在根据所述目标深度图和所述点云数据集合中每帧点云数据对应的第一强度图，确定与所述参考点云数据对应的目标强度图方面，所述补全单元，具体用于：
根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵；
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图，所述角度补偿用于消除入射角度对强度信息的影响；
将所述至少一帧点云数据中每帧点云数据对应的第二强度图与所述参考点云数据对应的第二强度图进行叠加，得到与所述参考点云数据对应的目标强度图。
19.根据权利要求18所述的装置，其特征在于，在根据与所述参考点云数据对应的目标深度图，得到所述点云数据集合中每帧点云数据对应的第一入射角矩阵方面，所述补全单元，具体用于：
根据与所述参考点云数据对应的目标深度图中的深度信息进行平面拟合，得到目标空间平面；
根据采集所述参考点云数据时激光雷达的入射光线与目标平面的法线之间的夹角，确定与所述参考点云数据对应的目标深度图对应的目标入射角矩阵，其中，与所述参考点云数据对应的目标深度图对应的目标入射角矩阵为所述参考点云数据的第一入射角矩阵；
根据所述至少一帧点云数据中每帧点云数据的第一变换矩阵对与所述参考点云数据对应的目标深度图对应的目标入射角矩阵进行反变换，得到所述至少一帧点云数据中每帧点云数据的第一入射角矩阵。
20.根据权利要求19所述的装置，其特征在于，在根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵，对所述点云数据集合中每帧点云数据对应的第一强度图进行角度补偿，得到所述点云数据集合中每帧点云数据对应的第二强度图方面，所述补全单元，具体用于：
根据所述点云数据集合中每帧点云数据对应的第一入射角矩阵、预设的约束系数，以及所述点云数据集合中每帧点云数据的第一强度图，确定所述点云数据集合中每帧点云数据对应的第二强度图。
21.根据权利要求20所述的装置，其特征在于，所述补全单元，还用于根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图。
22.根据权利要求21所述的装置，其特征在于，在根据与所述参考点云数据对应的目标强度图确定与所述参考点云数据对应的原始强度图方面，所述补全单元，具体用于：
根据与所述参考点云数据对应的目标深度图对应的目标入射角矩阵、预设的约束系数，对与所述参考点云数据对应的目标强度图进行处理，确定与所述参考点云数据对应的原始强度图。
23.根据权利要求14所述的装置，其特征在于，所述信息补全装置通过神经网络对所述参考点云进行补全；所述信息补全装置还包括训练单元，所述训练单元，用于执行以下步骤训练所述神经网络：
对样本点云数据进行信息补全，输出补全后的样本点云数据；
根据所述补全后的样本点云数据，得到与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图；
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数。
24.根据权利要求23所述的装置，其特征在于，在根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图调整所述神经网络的网络参数方面，所述训练单元，具体用于：
根据所述样本点云数据的标注的目标深度图、标注的目标强度图和标注的原始强度图，以及与所述样本点云数据的预测的目标深度图、预测的目标强度图和预测的原始强度图，得到第一损失值、第二损失值和第三损失值；其中，所述第一损失值根据所述标注的目标深度图和所述预测的目标深度图确定；所述第二损失值根据所述标注的目标强度图和所述预测的目标强度图确定；所述第三损失值根据所述标注的原始强度图和所述预测的原始强度图确定；
对所述第一损失值、第二损失值和第三损失值进行加权处理，得到目标损失值；
根据所述目标损失值调整所述神经网络的网络参数。
25.一种车道线识别装置，其特征在于，包括：
采集单元，用于采集道路的点云数据；
补全单元，用于采用权利要求1-11中任一项所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
识别单元，用于根据所述目标强度图进行车道线识别，得到车道线识别结果。
26.一种智能行驶设备，其特征在于，包括：
采集单元，用于采集周边场景的点云数据；
补全单元，用于利用权利要求1-11中任一项所述的信息补全方法，补全所述点云数据，得到与所述点云数据对应的目标强度图；
识别单元，用于根据所述目标强度图对所述周边场景中的目标对象进行识别；
控制单元，用于根据识别结果控制行驶。
27.一种电子装置，其特征在于，包括处理器、存储器，其中，所述存储器用于存储计算机可读指令，所述处理器用于调用所述存储器中存储的指令，以执行权利要求1-11中任一项所述的方法、权利要求12所述的方法或权利要求13所述的方法。
28.一种计算机可读存储介质，其特征在于，其用于存储计算机程序，其中，当所述计算机程序被处理器执行时，所述处理器实现如权利要求1-11中任一项所述的方法、权利要求12所述的方法或权利要求13所述的方法。
CN201911050904.4A 2019-10-31 2019-10-31 信息补全方法、车道线识别方法、智能行驶方法及相关产品 Active CN112749594B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911050904.4A CN112749594B (zh) 2019-10-31 2019-10-31 信息补全方法、车道线识别方法、智能行驶方法及相关产品
PCT/CN2020/114032 WO2021082745A1 (zh) 2019-10-31 2020-09-08 信息补全方法、车道线识别方法、智能行驶方法及相关产品
JP2021539461A JP2022511990A (ja) 2019-10-31 2020-09-08 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品
KR1020217021148A KR102428050B1 (ko) 2019-10-31 2020-09-08 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911050904.4A CN112749594B (zh) 2019-10-31 2019-10-31 信息补全方法、车道线识别方法、智能行驶方法及相关产品

Publications (2)

Publication Number Publication Date
CN112749594A CN112749594A (zh) 2021-05-04
CN112749594B true CN112749594B (zh) 2022-04-22

Family

ID=75641251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911050904.4A Active CN112749594B (zh) 2019-10-31 2019-10-31 信息补全方法、车道线识别方法、智能行驶方法及相关产品

Country Status (4)

Country Link
JP (1) JP2022511990A (zh)
KR (1) KR102428050B1 (zh)
CN (1) CN112749594B (zh)
WO (1) WO2021082745A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592932A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 深度补全网络的训练方法、装置、电子设备及存储介质
CN113850914A (zh) * 2021-08-13 2021-12-28 江苏瑞沃建设集团有限公司 一种线激光三维扫描点云数据的矩阵换方法
CN113706676B (zh) * 2021-08-26 2024-01-16 京东鲲鹏(江苏)科技有限公司 用于点云数据的模型自监督训练方法和装置
CN114119889B (zh) * 2021-11-12 2024-04-09 杭州师范大学 基于跨模态融合的360度环境深度补全和地图重建方法
CN115905434B (zh) * 2022-10-26 2023-10-13 南京航空航天大学 一种基于学习插值预测的道路网轨迹补全方法
CN116047537B (zh) * 2022-12-05 2023-12-26 北京中科东信科技有限公司 基于激光雷达的道路信息生成方法及系统
CN116299300B (zh) * 2023-05-15 2023-08-08 北京集度科技有限公司 可行驶区域的确定方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780590A (zh) * 2017-01-03 2017-05-31 成都通甲优博科技有限责任公司 一种深度图的获取方法及系统
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108898669A (zh) * 2018-07-17 2018-11-27 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6411942B2 (ja) * 2015-04-23 2018-10-24 株式会社デンソー 物体認識装置
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN108230379B (zh) * 2017-12-29 2020-12-04 百度在线网络技术（北京）有限公司 用于融合点云数据的方法和装置
KR102042343B1 (ko) * 2018-04-13 2019-11-07 경북대학교 산학협력단 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법
CN109325972B (zh) * 2018-07-25 2020-10-27 深圳市商汤科技有限公司 激光雷达稀疏深度图的处理方法、装置、设备及介质
CN109613557B (zh) * 2018-11-28 2022-04-29 南京莱斯信息技术股份有限公司 一种补全激光雷达三维点云目标的系统及方法
CN109900298B (zh) * 2019-03-01 2023-06-30 武汉光庭科技有限公司 一种车辆定位校准方法及系统
CN110232315A (zh) * 2019-04-29 2019-09-13 华为技术有限公司 目标检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780590A (zh) * 2017-01-03 2017-05-31 成都通甲优博科技有限责任公司 一种深度图的获取方法及系统
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108898669A (zh) * 2018-07-17 2018-11-27 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dense point-cloud representation of a scene using monocular vision;Yakov Diskin等;《Journal of Electronic Imaging》;20150430;第1-25页 *
基于深度图像的点云配准技术研究;张宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315(第3期);第1-57页 *

Also Published As

Publication number Publication date
JP2022511990A (ja) 2022-02-01
KR20210093351A (ko) 2021-07-27
CN112749594A (zh) 2021-05-04
KR102428050B1 (ko) 2022-08-01
WO2021082745A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN112749594B (zh) 信息补全方法、车道线识别方法、智能行驶方法及相关产品
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN110059608B (zh) 一种物体检测方法、装置、电子设备和存储介质
CN111201451A (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN112184589B (zh) 一种基于语义分割的点云强度补全方法及系统
CN110084895B (zh) 对点云数据进行标注的方法和设备
WO2020094033A1 (en) Method and system for converting point cloud data for use with 2d convolutional neural networks
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN111967373B (zh) 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法
CN113095154A (zh) 基于毫米波雷达与单目相机的三维目标检测系统及方法
CN111144315A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN115861601B (zh) 一种多传感器融合感知方法及装置
CN117036607A (zh) 基于隐式神经渲染的自动驾驶场景数据生成方法及系统
Ahmed et al. Lane marking detection using LiDAR sensor
CN115731545A (zh) 一种基于融合感知的电缆隧道巡检方法及装置
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN115327529A (zh) 一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法
CN114972945A (zh) 多机位信息融合的车辆识别方法、系统、设备及存储介质
CN114359891A (zh) 一种三维车辆检测方法、系统、装置及介质
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN112651405B (zh) 目标检测方法及装置
WO2024045942A1 (zh) 环境信息感知方法、装置、系统、计算机设备及存储介质
KR102661954B1 (ko) 이미지 처리 방법 및 이를 수행하는 장치들
Hellinckx Lane Marking Detection Using LiDAR Sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant