CN115457358A - 一种图像与点云的融合的处理方法、装置和无人车 - Google Patents

一种图像与点云的融合的处理方法、装置和无人车 Download PDF

Info

Publication number
CN115457358A
CN115457358A CN202211039050.1A CN202211039050A CN115457358A CN 115457358 A CN115457358 A CN 115457358A CN 202211039050 A CN202211039050 A CN 202211039050A CN 115457358 A CN115457358 A CN 115457358A
Authority
CN
China
Prior art keywords
point cloud
image
obstacle
acquiring
unmanned vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211039050.1A
Other languages
English (en)
Inventor
刘明
廖毅雄
王鲁佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingshuiwan Shenzhen Automatic Driving Intelligence Research Center LP
Shenzhen Yiqing Innovation Technology Co ltd
Original Assignee
Qingshuiwan Shenzhen Automatic Driving Intelligence Research Center LP
Shenzhen Yiqing Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingshuiwan Shenzhen Automatic Driving Intelligence Research Center LP, Shenzhen Yiqing Innovation Technology Co ltd filed Critical Qingshuiwan Shenzhen Automatic Driving Intelligence Research Center LP
Priority to CN202211039050.1A priority Critical patent/CN115457358A/zh
Publication of CN115457358A publication Critical patent/CN115457358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶领域，特别涉及一种图像与点云的融合的处理方法，应用于无人车，所述无人车设有激光雷达和车载摄像头，方法包括：根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像；获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓；将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云；计算所述投影点云与所述二维轮廓的重合度；当所述重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。本发明能够解决点云稀疏无法检测的情况，提高类别判断的精度，减少漏捡的情况发生，提高无人车周边环境的感知能力，减少无人车盲区。

Description

一种图像与点云的融合的处理方法、装置和无人车
技术领域
本发明涉及自动驾驶领域，特别涉及一种图像与点云的融合的处理方法、装置和无人车。
背景技术
无人驾驶技术依赖于自动驾驶车辆对周围障碍物的检测，一般采用激光雷达搭配传统方法、深度学习方法进行障碍物感知。激光雷达获取点云，计算点云与检测框的重合度可以赋予障碍物类别，但高线束的激光雷达价格昂贵，因此为了降低成本有时会采用低线束的激光雷达，导致自动驾驶车辆在障碍物感知时会出现无法检测、赋予的类别错误或漏检等情况。
在实现本发明实施例的过程中，发明人发现：用低线束激光雷达获取的点云较少且稀疏，另外点云的一些特性没有像图像中包含丰富的语义信息，因此仅依靠激光雷达进行障碍物检测存在局限性。
发明内容
本发明实施方式主要解决障碍物感知时点云稀疏无法检测、提高类别判断精度以及漏检的技术问题。
鉴于上述问题，本发明实施例提供了一种图像与点云的融合的处理方法、装置及无人车，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供一种图像与点云的融合的处理方法，应用于无人车，所述方法包括：根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像；获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓；将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云；计算所述投影点云与所述二维轮廓的重合度；当所述重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。
可选的，所述获取所述图像中障碍物的检测信息，包括：通过实例分割网络获取所述图像中所述障碍物的检测信息，其中，所述实例分割网络由卷积神经网络加入金字塔网络FPN和Head网络构成。
可选的，所述通过实例分割网络获取所述图像中所述障碍物的检测信息，包括：通过所述金字塔网络FPN对高层特征图进行上采样，并将所述上采样的结果与低层特征图进行自顶向下连接，以进行多尺度预测；其中，在进行所述多尺度预测时通过所述Head网络对障碍物进行实例掩码预测。
可选的，所述获取所述障碍物对应的所述原始点云在所述图像中的投影点云，包括：根据所述原始点云获取地面点云和非地面点云；去除所述地面点云，将所述非地面点云保留并作为障碍物点云；将所述障碍物点云投影到所述图像中，得到投影点云。
可选的，将所述障碍物点云投影到所述图像中，得到投影点云，包括：根据标定相机的内外参及雷达外参矩阵得到相关参数；根据所述相关参数确定雷达坐标系和相机坐标系的映射关系；基于所述映射关系将所述障碍物点云映射到图像中，获取所述障碍物投影点云。
根据本发明实施例的另一个方面，提供一种图像与点云的融合的处理装置，所述图像与点云的融合的处理装置包括：原始信息获取模块，根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像；检测信息获取模块，获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓；投影点云获取模块，将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云；重合度计算模块，计算所述投影点云与所述二维轮廓的重合度；语义赋予模块，用于当所述重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。
根据本发明实施例的又一个方面，提供一种无人车，所述无人车包括：激光雷达；车载摄像头；至少一个处理器，以及存储器，所述存储器、所述激光雷达、所述车载摄像头分别与所述处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
区别于相关技术的情况，本发明实施例提供了一种图像与点云的融合的处理方法、装置及无人车，根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像；获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓；将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云；计算所述投影点云与所述二维轮廓的重合度；当所述重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。可以解决点云稀疏无法检测的情况，提高类别判断的精度，减少漏捡的情况发生，提高无人车周边环境的感知能力，减少无人车盲区。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种图像与点云的融合的处理方法的流程图；
图2是本发明实施例提供的实例分割网络输出检测信息的示意图；
图3是本发明实施例提供的根据原始点云获取投影点云的方法流程图；
图4是本发明实施例提供的根据障碍物点云获取投影点云的方法流程图；
图5是本发明实施例提供的一种图像与点云的融合的处理装置的结构示意图；
图6是本发明实施例提供的投影点云获取模块的结构示意图；
图7是本发明实施例提供的一种无人车的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。
本发明实施例提供一种图像与点云的融合的处理方法，应用于无人车，请参阅图1，图1是本发明实施例提供的一种图像与点云的融合的处理方法的流程图，包括：
S11、根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像。
其中，所述激光雷达对所述无人车当前位置的环境进行连续扫描及采集获得所述原始点云。所述车载摄像头的探测角度具体可以为120度，若运用云眼摄像头，则所述探测角度具体可以为180度。所述雷达分为顶雷达和前雷达，所述顶雷达安装在车顶，所述探测角度具体可以为360度，所述前雷达安装在车前灯下方的位置，所述探测角度具体可以为270度。所述激光雷达和所述车载摄像头可以根据实际情况进行选取，所述探测角度与所述激光雷达、车载摄像头的产品参数有关，本公开对此不作具体限定。
S12、获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓。请参阅图2，所述二维轮廓为所述障碍物的边缘连接起来形成的一个整体，不同类别中不同的障碍物在所述二维轮廓内被赋予不同颜色，例如：普通级轿车A的二维轮廓内为红色，普通级轿车B的二维轮廓内为黄色；所述检测框为所述障碍物外面的矩形包围框；所述障碍物包括但不限于遮挡型障碍物和小目标障碍物，所述遮挡型障碍物为所述图像特征显露不完全的障碍物，例如：一辆车只露出车头，剩下部分被遮挡，所述小目标障碍物的定义各不相同，例如：所述障碍物尺寸的长宽是原图像尺寸的0.1或者尺寸小于32×32像素的障碍物都可定义为所述小目标障碍物，本公开对此不作具体限定；所述类别信息包括类别及置信度，所述置信度为输出类别的可信程度，所述实例分割网络可能将所述障碍物识别成多种类别，此时输出置信度最高的类别，例如：所述实例分割网络将一障碍物识别为车或者石头，所述障碍物为车的置信度为0.97，所述障碍物为石头的置信度为0.74，则输出所述障碍物的类别为车，并在输出所述障碍物的类别为车的基础上输出置信度0.97。
其中，所述获取所述图像中障碍物的检测信息包括：通过实例分割网络获取所述图像中所述障碍物的检测信息，所述实例分割网络由卷积神经网络加入金字塔网络FPN和Head网络构成。所述通过实例分割网络获取所述图像中所述障碍物的检测信息包括：通过所述金字塔网络FPN对高层特征图进行上采样，并将所述上采样的结果与低层特征图进行自顶向下连接，以进行多尺度预测；其中，在进行所述多尺度预测时通过所述Head网络对障碍物进行实例掩码预测。所述障碍物的检测框、类别信息和二维轮廓通过所述实例分割网络同时输出。
所述卷积神经网络的主干网络是在深度学习中用于提取特征的神经网络，所述主干网络采用检测网络yolox，并将backbone CSPDarkenet作为特征提取器对所述图像进行特征提取，所述特征提取器具有较少的计算量和参数量，能提高模型运行速度。所述特征提取分为低层特征提取和高层语义特征提取，高层语义特征提取通常关注语义层次的特征，如识别任务中的人类识别、图像分类等，低层特征提取通常关注图像的颜色、纹理、形状等一般特征，因此得到多个尺寸的特征层，每个尺寸对应一个分辨率，即得到多个不同分辨率的特征层，所述特征层可视化获取高层特征图和低层特征图，低层特征图具有细节特征，高层特征图具有语义信息。所述卷积神经网络提取的不同特征层由低到高尺寸逐渐减小，自然形成了特征金字塔，所述特征层由低到高所提取的信息丰富程度不同，特征层越高提取的语义信息越多，特征层由低到高分辨率逐渐减小，感受野逐渐增大，所述低层特征虽然可以检测所述小目标障碍物，但是低层特征的语义信息较少，导致检测准确性较低，所述高层特征具有强的语义信息，可以用于分类，但所述高层特征层的感受野太大，难以识别到所述小目标障碍物。
所述FPN网络在所述特征金字塔的基础上进行所述多尺度预测，从而提高对所述小目标障碍物的检测精度。所述上采样为增大所述高层特征图的尺寸，所述多尺度预测即所述高层特征图向低层特征图进行融合，将高层特征图上采样到和低层特征图一样的尺寸，然后进行相加拼接，将多个阶段的特征图融合在一起，既能提取所述高层特征图的语义特征，又能提取所述低层特征图的二维轮廓特征。
所述Head网络是一种将融合的信息转化成最终预测结果的神经网络。所述实例掩码预测为所述实例分割的重点，根据实例的位置和大小为实例中的每个像素分配类别，从而将实例分割很好地转换为可分类的类别问题。所述融合的信息输入到所述Head网络进行类别信息分析和实例掩码预测，获取置信度不同的多种掩码信息，筛选并去掉较低置信度的多余掩码信息，保留最高置信度的掩码信息以及类别信息，不同类别中不同的实例用不同颜色赋予二维轮廓特征，并且用文字对应到相应的类别名称，将所述二维轮廓特征映射回原图像上，输出带有彩色掩码信息以及类别信息的图像。
S13、将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云。所述方法将所述障碍物点云从激光雷达坐标系转换到相机坐标系，所述相机坐标系为所述车载摄像头的坐标系。请结合图3，所述将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云，包括：
S131、根据所述原始点云获取地面点云和非地面点云。所述障碍物感知通常只对路面上的障碍物感兴趣，地面点云易对障碍物聚类产生影响，因此在障碍物聚类之前通常将地面点云和非地面点云进行分离。所述障碍物聚类为将特征形态的相同或近似的障碍物划在一个概念下，特征形态不同的障碍物划在不同概念下，例如：根据原始点云将所述图像中的障碍物分为车和人，车和人的特征形态不同，因此属于不同概念，所述车具体可以为小轿车、大卡车、三轮车等。
S132、去除所述地面点云，将所述非地面点云保留并作为障碍物点云。所述去除地面点云可以使计算量减少，排除干扰。
S133、将所述障碍物点云投影到所述图像中，得到投影点云。所述障碍物点云在所述激光雷达坐标系，所述相机获取的图像上的障碍物在所述相机坐标系，将所述点云数据与所述图像融合需要将数据转换到同一个坐标系中，请结合图4，所述将所述障碍物点云投影到所述图像中，得到投影点云，包括：
S1331、根据标定相机的内外参及雷达外参矩阵得到相关参数。所述相机的内参矩阵是与自身特性相关的参数，决定了所述障碍物的实际位置在成像平面上的投影位置，例如：相机的焦距、像素大小等；所述相机的外参矩阵是从世界坐标系到相机坐标系的变换，涉及所述相机在物理空间的位姿，例如：安装高度、旋转方向等；所述雷达的外参矩阵是雷达坐标系相对于相机坐标系的相对变换关系。所述相机的内参标定是为了消除所述相机拍照时产生的畸变，使得图像上测得的长宽是正常的、正确的。所述相机、雷达的外参标定主要与相机、雷达的相对位置有关，因相机与雷达安装位置的差异导致获取的数据有偏移，通过标定外参进行坐标转换可以减小差异，将数据转换到同一个坐标系。
S1332、根据所述相关参数确定雷达坐标系和相机坐标系的映射关系。所述雷达坐标系的坐标为三维坐标，所述相机坐标系的坐标为二维坐标，将所述三维坐标转换为所述二维坐标时有一定的转换规则，所述转换规则即为所述映射关系。
S1333、基于所述映射关系将所述障碍物点云映射到图像中，获取所述障碍物投影点云。其中，所述获取所述障碍物投影点云包括：将点云由激光雷达坐标系转换到相机坐标系，再由相机坐标系转换到像素坐标系得到投影点云。
S14、计算所述投影点云与所述二维轮廓的重合度。根据所述投影点云与所述二维轮廓在像素坐标系中的位置计算两者的重合度。
现有技术采用输出的检测框与投影点云进行重合度计算，所述检测框引入背景信息或所述遮挡型障碍物的检测框不完整都可能导致点云投影到图像上的点被赋予错误的语义信息，而所述实例分割网络能输出精细二维轮廓，不会引入多余的背景信息，例如：若所述障碍物为遮挡型障碍物，且所述遮挡型障碍物为车头，则可以根据所述实例分割网络输出的精细二维轮廓及所述遮挡型障碍物的点云在图像上的投影点云输出所述障碍物的类别为车，因此所述位置重合度计算能提高遮挡型障碍物和小目标障碍物的检测精度。
S15、当所述位置重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。所述预设阈值可根据实际情况或人为自行设置，具体可以为0.9，例如：所述实例分割网络输出所述障碍物的类别为树，且所述障碍物投影点云与所述二维轮廓的位置重合度为0.93，所述位置重合度大于预设阈值0.9，赋予所述障碍物的类别为树。若投影点云不在二维轮廓中，则所述投影点云与所述二维轮廓的重合度为0，代表两者不匹配，所述投影点云对应的障碍物与所述二维轮廓对应的障碍物不是同一个障碍物。
在本发明实施例中，对所述激光雷达获取的原始点云进行地面点云去除，非地面点云作为障碍物点云投影到图像上得到障碍物投影点云，同时所述车载摄像头获取的图像已经通过实例分割网络输出图像上障碍物的检测框、相应的二维轮廓及类别信息，计算所述障碍物投影点云与所述二维轮廓的重合度，若所述重合度大于预设阈值则根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。通过上述方法，本发明实施例将图像中的语义信息与点云感知的结果进行融合，能够解决点云稀疏无法检测的情况，提高类别判断的精度，减少漏捡的情况发生，提高无人车周边环境的感知能力，减少无人车盲区。
请参阅图5，本发明实施例提供一种图像与点云的融合的处理装置200，该装置200包括：
原始信息获取模块21，用于根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像。其中，所述激光雷达对所述无人车当前位置的环境进行连续扫描及采集获得所述原始点云。所述激光雷达和所述车载摄像头可以根据实际情况进行选取，所述探测角度与所述激光雷达、车载摄像头的产品参数有关，本公开对此不作具体限定。
检测信息获取模块22，用于获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓。通过实例分割网络获取所述图像中所述障碍物的检测信息，其中，所述实例分割网络由卷积神经网络加入金字塔网络FPN和Head网络构成。所述障碍物包括但不限于遮挡型障碍物和小目标障碍物。所述检测信息获取模块22包括：实例分割单元，所述实例分割单元包括：通过所述金字塔网络FPN对高层特征图进行上采样，并将所述上采样的结果与低层特征图进行自顶向下连接，以进行多尺度预测；其中，在进行所述多尺度预测时通过所述Head网络对障碍物进行实例掩码预测。
投影点云获取模块23，用于将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云。所述模块将所述障碍物点云从激光雷达坐标系转换到相机坐标系。请参阅图6，所述投影点云获取模块23包括：点云获取单元231，根据所述原始点云获取地面点云和非地面点云。点云去除单元232，去除所述地面点云，将所述非地面点云保留并作为障碍物点云。投影点云获取单元233，用于将所述障碍物点云投影到所述图像中，得到投影点云。所述投影点云获取单元233包括：根据标定相机的内外参及雷达外参矩阵得到相关参数；根据所述相关参数确定雷达坐标系和相机坐标系的映射关系；基于所述映射关系将所述障碍物点云映射到图像中，获取所述障碍物投影点云。
重合度计算模块24，用于计算所述投影点云与所述二维轮廓的重合度。根据所述投影点云与所述二维轮廓在像素坐标系中的位置计算两者的重合度。
语义赋予模块25，用于当所述位置重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。
需要说明的是，上述图像与点云的融合的处理装置可执行本发明实施例所提供的图像与点云的融合的处理方法，未在图像与点云的融合的处理装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的图像与点云的融合的处理方法。
在本发明实施例中，对所述激光雷达获取的原始点云进行地面点云去除，非地面点云作为障碍物点云投影到图像上得到障碍物投影点云，同时所述车载摄像头获取的图像已经通过实例分割网络输出图像上障碍物的检测框、相应的二维轮廓及类别信息，计算所述障碍物投影点云与所述二维轮廓的重合度，若所述重合度大于预设阈值则根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。通过上述装置，本发明实施例将图像中的语义信息与点云感知的结果进行融合，能够解决点云稀疏无法检测的情况，提高类别判断的精度，减少漏捡的情况发生，提高无人车周边环境的感知能力，减少无人车盲区。
本发明实施例还提供一种无人车，请参阅图7，其示出了能够执行图1、图3、图4所述图像与点云的融合的处理方法的无人车的硬件结构。
所述无人车300包括：激光雷达31；车载摄像头32；至少一个处理器33，以及存储器34，所述存储器34、所述激光雷达31、所述车载摄像头32分别与所述处理器33通信连接，所述存储器34存储有可被所述至少一个处理器33执行的指令，所述指令被所述至少一个处理器33执行，以使所述至少一个处理器33能够执行上述实施例中所述的图像与点云的融合的处理方法。
处理器33和存储器34可以通过总线或其他方式连接，图6中以通过总线连接为例，存储器34作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器33通过运行存储在存储器34中的非易失性软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述实施例中所述的图像与点云的融合的处理方法。
存储器34可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储无人车使用所创建的数据等。此外，存储器34可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器34可选包括相对于处理器33远程设置的存储器34。这些远程存储器34可以通过网络连接至无人车300。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器34中，当被所述一个或者多个处理器33执行时，执行上述任意实施例中的图像与点云的融合的处理方法，例如，执行图1、图3和图4中的方法步骤。
上述产品可执行本发明实施例所提供的图像与点云的融合的处理方法，具备执行所述图像与点云的融合的处理方法相应的功能模块。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的图像与点云的融合的处理方法。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种图像与点云的融合的处理方法，应用于无人车，所述无人车设有激光雷达和车载摄像头，其特征在于，所述方法包括：
根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像；
获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓；
将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云；
计算所述投影点云与所述二维轮廓的重合度；
当所述重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。
2.根据权利要求1所述的方法，其特征在于，所述获取所述图像中障碍物的检测信息，包括：
通过实例分割网络获取所述图像中所述障碍物的检测信息，其中，所述实例分割网络由卷积神经网络加入金字塔网络FPN和Head网络构成。
3.根据权利要求2所述的方法，其特征在于，所述通过实例分割网络获取所述图像中所述障碍物的检测信息，包括：
通过所述金字塔网络FPN对高层特征图进行上采样，并将所述上采样的结果与低层特征图进行自顶向下连接，以进行多尺度预测；其中，在进行所述多尺度预测时通过所述Head网络对障碍物进行实例掩码预测。
4.根据权利要求1所述的方法，其特征在于，所述获取所述障碍物对应的所述原始点云在所述图像中的投影点云，包括：
根据所述原始点云获取地面点云和非地面点云；
去除所述地面点云，将所述非地面点云保留并作为障碍物点云；
将所述障碍物点云投影到所述图像中，得到投影点云。
5.根据权利要求4所述的方法，其特征在于，所述将所述障碍物点云投影到所述图像中，得到投影点云，包括：
根据标定相机的内外参及雷达外参矩阵得到相关参数；
根据所述相关参数确定雷达坐标系和相机坐标系的映射关系；
基于所述映射关系将所述障碍物点云映射到图像中，获取所述投影点云。
6.一种图像与点云的融合的处理装置，应用于无人车，所述无人车设有激光雷达和车载摄像头，其特征在于，所述图像与点云的融合的处理装置包括：
原始信息获取模块，用于根据所述无人车当前的位置，通过所述激光雷达获取原始点云，并通过所述车载摄像头获取图像；
检测信息获取模块，用于获取所述图像中障碍物的检测信息，所述检测信息包括检测框、类别信息和二维轮廓；
投影点云获取模块，用于将所述障碍物对应的所述原始点云投影到所述图像中，得到投影点云；
重合度计算模块，用于计算所述投影点云与所述二维轮廓的重合度；
语义赋予模块，用于当所述重合度大于预设阈值时，根据所述二维轮廓关联的所述类别信息确定所述障碍物的类别。
7.根据权利要求6所述的图像与点云的融合的处理装置，其特征在于，所述检测信息获取模块包括：
实例分割单元，通过实例分割网络获取所述图像中所述障碍物的检测信息，其中，所述实例分割网络由卷积神经网络加入金字塔网络FPN和Head网络构成。
8.根据权利要求7所述的图像与点云的融合的处理装置，其特征在于，所述实例分割单元还用于：
通过所述金字塔网络FPN对高层特征图进行上采样，并将所述上采样的结果与低层特征图进行自顶向下连接，以进行多尺度预测；其中，在进行所述多尺度预测时通过所述Head网络对障碍物进行实例掩码预测。
9.根据权利要求6所述的图像与点云的融合的处理装置，其特征在于，所述投影点云获取模块包括：
点云获取单元，用于根据所述原始点云获取地面点云和非地面点云；
点云去除单元，用于去除所述地面点云，将所述非地面点云保留并作为障碍物点云；
投影点云获取单元，用于将所述障碍物点云投影到所述图像中，得到投影点云。
10.根据权利要求9所述的图像与点云的融合的处理装置，其特征在于，所述投影点云获取单元具体用于：
根据标定相机的内外参及雷达外参矩阵得到相关参数；
根据所述相关参数确定雷达坐标系和相机坐标系的映射关系；
基于所述映射关系将所述障碍物点云映射到图像中，获取所述障碍物投影点云。
11.一种无人车，其特征在于，所述无人车包括：
激光雷达；
车载摄像头；
至少一个处理器，以及存储器，所述存储器、所述激光雷达、所述车载摄像头分别与所述处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的方法。
CN202211039050.1A 2022-08-29 2022-08-29 一种图像与点云的融合的处理方法、装置和无人车 Pending CN115457358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211039050.1A CN115457358A (zh) 2022-08-29 2022-08-29 一种图像与点云的融合的处理方法、装置和无人车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211039050.1A CN115457358A (zh) 2022-08-29 2022-08-29 一种图像与点云的融合的处理方法、装置和无人车

Publications (1)

Publication Number Publication Date
CN115457358A true CN115457358A (zh) 2022-12-09

Family

ID=84300497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211039050.1A Pending CN115457358A (zh) 2022-08-29 2022-08-29 一种图像与点云的融合的处理方法、装置和无人车

Country Status (1)

Country Link
CN (1) CN115457358A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116202424A (zh) * 2023-04-28 2023-06-02 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障系统
CN116755441A (zh) * 2023-06-19 2023-09-15 国广顺能(上海)能源科技有限公司 移动机器人的避障方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116202424A (zh) * 2023-04-28 2023-06-02 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障系统
CN116202424B (zh) * 2023-04-28 2023-08-04 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障系统
CN116755441A (zh) * 2023-06-19 2023-09-15 国广顺能(上海)能源科技有限公司 移动机器人的避障方法、装置、设备及介质
CN116755441B (zh) * 2023-06-19 2024-03-12 国广顺能(上海)能源科技有限公司 移动机器人的避障方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CN112581612B (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
CN110619750B (zh) 面向违停车辆的智能航拍识别方法及系统
CN110148144A (zh) 点云数据的分割方法和装置、存储介质、电子装置
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN115457358A (zh) 一种图像与点云的融合的处理方法、装置和无人车
CN112740225B (zh) 一种路面要素确定方法及装置
CN112287860A (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
CN110544211A (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
CN112666553B (zh) 一种基于毫米波雷达的道路积水识别方法及设备
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN116413725A (zh) 一种基于摄像头与毫米波雷达数据融合的障碍物检测方法
CN114814827A (zh) 基于4d毫米波雷达与视觉融合的行人分类方法及系统
Chiu et al. Real-time traffic light detection on resource-limited mobile platform
CN113219472B (zh) 一种测距系统和方法
CN110544232A (zh) 一种镜头付着物的检测系统、终端和存储介质
CN114445793A (zh) 一种基于人工智能和计算机视觉的智能驾驶辅助系统
JP7407427B2 (ja) 情報処理方法、及び、情報処理システム
CN117671644A (zh) 标识牌检测方法、装置以及车辆
KR102540624B1 (ko) 항공 라이다를 이용한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination