CN110458112A - 车辆检测方法、装置、计算机设备和可读存储介质 - Google Patents

车辆检测方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN110458112A
CN110458112A CN201910747899.6A CN201910747899A CN110458112A CN 110458112 A CN110458112 A CN 110458112A CN 201910747899 A CN201910747899 A CN 201910747899A CN 110458112 A CN110458112 A CN 110458112A
Authority
CN
China
Prior art keywords
image
point cloud
voxel
feature
rgb image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910747899.6A
Other languages
English (en)
Other versions
CN110458112B (zh
Inventor
周康明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201910747899.6A priority Critical patent/CN110458112B/zh
Publication of CN110458112A publication Critical patent/CN110458112A/zh
Application granted granted Critical
Publication of CN110458112B publication Critical patent/CN110458112B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种车辆检测方法、装置、计算机设备和可读存储介质，该方法包括分别获取待进行车辆检测的RGB图像及与RGB图像对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素；分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征；将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征；将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆，该方法相比于单独使用RGB图像的特征或3D点云图像的体素的特征对目标车辆进行检测的方法，提高了对3D点云图像中目标车辆进行检测的精度。

Description

车辆检测方法、装置、计算机设备和可读存储介质
技术领域
本申请涉及计算机视觉领域，特别是涉及一种车辆检测方法、装置、计算机设备和可读存储介质。
背景技术
图像的语义分割是指给定图像，将图像中属于同一类别物体的像素点分别进行归类。在车辆检测任务中，先对待检测区域的图像进行语义分割再进行车辆的检测，有助于提高对车辆的检测精度。
传统技术中，在车辆检测任务中，对待检测区域图像的语义分割大多是单独针对RGB图像进行的，虽然RGB图像分辨率高并且色彩信息丰富，但对检测车辆的精确位置帮助非常有限；另外，还有一些技术专注于对激光雷达产生的3D点云图像进行语义分割，3D点云图像可以提供准确的深度信息，但对远处目标以及小目标(点稀疏)无法提供足够数据，因而导致对待检测区域图像的语义分割精度不佳，无法准确地对待检测区域的车辆进行检测。
因此，传统的对车辆检测的方法，存在无法对待检测区域的车辆进行准确检测的问题。
发明内容
基于此，有必要针对传统的对车辆检测的方法，存在无法对待检测区域的车辆进行准确检测的问题，提供一种车辆检测方法、装置、计算机设备和可读存储介质。
第一方面，本发明实施例提供一种车辆检测方法，所述方法包括：
分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；
分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；
将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；
将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。
在其中一个实施例中，所述将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆，包括：
将所述处理后的图像特征输入所述语义分割模型，对所述3D点云图像进行语义分割，得到所述3D点云图像中各体素对应的分数；
根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆。
在其中一个实施例中，所述根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆，包括：
将所述各体素对应的分数与预设分数进行比较，将大于所述预设分数所对应的点确定为属于所述3D点云图像中目标车辆的点；
根据所述属于所述3D点云图像中目标车辆的点，检测出所述3D点云图像中的目标车辆。
在其中一个实施例中，所述将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征，包括：
利用所述RGB图像与所述3D点云图像的体素的坐标投射矩阵，将所述3D点云图像的体素中至少包括一个点的体素的中心坐标映射到所述RGB图像；
将映射到所述RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。
在其中一个实施例中，所述分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征，包括：
利用预设的二维卷积神经网络，对所述RGB图像进行特征提取，得到所述RGB图像的特征；
利用预设的三维卷积神经网络，对所述3D点云图像的体素进行特征提取，得到所述3D点云图像的体素的特征。
在其中一个实施例中，所述体素化所述3D点云图像，得到所述3D点云图像的体素，包括：
按照预设的体素划分个数和预设的体素体积，对所述3D点云图像进行体素化，得到所述3D点云图像的体素。
在其中一个实施例中，所述方法还包括：
分别获取待进行车辆检测的样本RGB图像及与所述样本RGB图像对应的样本3D点云图像，并体素化所述样本3D点云图像，得到所述样本3D点云图像的体素；
分别对所述样本RGB图像和所述样本3D点云图像的体素进行特征提取，得到所述样本RGB图像的特征和所述样本3D点云图像的体素的特征；
将所述样本3D点云图像的体素的特征映射到所述样本RGB图像上，将映射到所述样本RGB图像上的样本3D点云图像的体素的特征与所述样本RGB图像的特征进行拼接处理，得到处理后的样本图像特征；
以所述处理后的样本图像特征作为预设的语义分割模型的输入，以所述样本3D点云图像中目标车辆的标记结果作为输出，对所述预设的语义分割模型进行训练，得到所述语义分割模型。
第二方面，本发明实施例提供一种车辆检测装置，所述装置包括：
获取模块，用于分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；
特征提取模块，用于分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；
特征拼接模块，用于将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；
检测模块，用于将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。
第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；
分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；
将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；
将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；
分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；
将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；
将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。
上述实施例提供的车辆检测方法、装置、设备和介质中，计算机设备分别获取待进行车辆检测的RGB图像及与RGB图像对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素；分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征；将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征；将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆，在该方法中，由于输入语义分割模型的图像特征是计算机设备将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理得到的处理后的图像特征，处理后的图像特征充分融合利用了RGB图像的特征和3D点云图像的体素的特征，能够对3D点云图像实现更精确的语义分割，使用该方法相比于单独使用RGB图像的特征或3D点云图像的体素的特征对目标车辆进行检测的方法，提高了对3D点云图像中目标车辆进行检测的精度。
附图说明
图1为一个实施例提供的计算机设备的内部结构示意图；
图2为一个实施例提供的车辆检测方法的流程示意图；
图3为一个实施例提供的对3D点云图像语义分割的流程示意图；
图4为另一个实施例提供的车辆检测方法的流程示意图；
图5为另一个实施例提供的车辆检测方法的流程示意图；
图6为另一个实施例提供的车辆检测方法的流程示意图；
图7为另一个实施例提供的车辆检测方法的流程示意图；
图8为另一个实施例提供的车辆检测方法的流程示意图；
图9为一个实施例提供的车辆检测装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的车辆检测方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。
需要说明的是，本申请实施例提供的车辆检测方法，其执行主体可以是车辆检测装置，该车辆检测装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为一个实施例提供的车辆检测方法的流程示意图。图3为一个实施例提供的对3D点云图像语义分割的流程示意图。本实施例涉及的是计算机设备分别获取待进行车辆检测的RGB图像及对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素，根据RGB图像的特征和3D点云图像的体素的特征，检测出3D点云图像中的目标车辆的具体实现过程。如图2所示，该方法可以包括：
S201，分别获取待进行车辆检测的RGB图像及对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素。
具体的，计算机设备通过安装在车辆上的摄像头获取待进行车辆检测的RGB图像，以及通过位于车顶的激光雷达对车辆周围环境进行扫描，获取上述RGB图像对应的3D点云图像，并体素化得到的3D点云图像，得到3D点云图像的体素。其中，体素化是指将3D点云图像转换成最接近该3D点云图像的体素表示形式，产生体数据集，得到的体数据集不仅包含3D点云图像的表面信息，而且能描述3D点云图像的内部属性。需要说明的是，RGB是具有红(R)、绿(G)、蓝(B)三个颜色通道的色彩模式，RGB属于基色颜色空间。可选的，计算机设备可以通过安装在车辆上的光学摄像头获取车辆的RGB图像，也可以通过安装在车辆上的其他摄像头获取车辆的RGB图像，例如，声波摄像头。可选的，位于车顶的激光雷达可以为360度环绕雷达(16线，32线和64线)，与可以为iBeo和velodyne的正向雷达(4线和8线)。可选的，计算机设备可以使用基于八叉树的体素化方法，体素化3D点云图像，得到3D点云图像的体素。
S202，分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征。
具体的，计算机设备分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征。可选的，计算机设备可以利用预设的卷积神经网络分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征。可选的，RGB图像的特征可以为RGB图像的局部特征，也可以为RGB图像的全局特征，对应地，3D点云图像的体素的特征可以为3D点云图像的局部特征，也可以为3D点云图像的全局特征，其中，全局特征可以包括但不限于图像的颜色特征、纹理特征和形状特征，局部特征主要是图像中线条交叉以及明暗变化的结构所对应的特征，包括但不限于图像的斑点特征和角点特征。
S203，将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征。
具体的，计算机设备将上述3D点云图像的体素的特征映射到上述RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征。可选的，计算机设备可以根据3D点云图像的体素的中心坐标与RGB图像坐标的对应关系，将3D点云图像的体素的特征映射到RGB图像上。可选的，作为其中一种实施方式，本申请是将3D点云图像中的每个非空体素映射在所述RGB图像上的坐标位置处所对应的RGB图像的特征，对应拼接到3D点云图像中对应的体素特征上；即将3D点云图像的体素中至少包括一个点的体素(即非空体素)的中心坐标映射到RGB图像中，得到位于RGB图像上的映射坐标，每个非空体素的中心坐标映射后，均对应一个映射坐标；获取映射坐标处的RGB图像的特征，并将其拼接到3D点云图像中与映射坐标对应的中心坐标所在的体素的特征上。可选的，计算机设备也可以将投射到RGB图像上的3D点云图像的体素的特征与RGB图像对应区域的RGB图像的特征进行拼接，得到对应区域的处理后的图像特征。
S204，将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆。
具体的，如图3所示，计算机设备将上述得到的处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆。其中，语义分割模型用于对上述3D点云图像进行语义分割，得到语义分割结果。可选的，语义分割模型可以为全卷积的语义分割网络，其中，全卷积的语义分割网络由三层的3D卷积神经网络组成，前两层的参数为：卷积核大小为3X3X3，步长为1，0填充，输出通道为64，用于充分融合来自RGB图像以及3D点云图像的特征，第三层的卷积核大小为1X1X1，步长为1，0填充，输出通道为2，用于给出针对3D点云图像的语义分割结果。可选的，得到的语义分割结果可以为0或1，0表示3D点云图像中该点对应的点不属于目标车辆的点，1表示3D点云图像中该点对应的点属于目标车辆的点，计算机设备可以根据得到的语义分割结果检测出3D点云图像中的目标车辆。
在本实施例中，由于输入语义分割模型的图像特征是计算机设备将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理得到的处理后的图像特征，处理后的图像特征充分融合利用了RGB图像的特征和3D点云图像的体素的特征，能够对3D点云图像实现更精确的语义分割，使用该方法相比于单独使用RGB图像的特征或3D点云图像的体素的特征对目标车辆进行检测的方法，提高了对3D点云图像中目标车辆进行检测的精度。
图4为另一个实施例提供的车辆检测方法的流程示意图。本实施例涉及的是计算机设备将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆的具体实现过程。如图4所示，在上述实施例的基础上，作为一种可选的实施方式，上述S204，包括：
S401，将处理后的图像特征输入语义分割模型，对3D点云图像进行语义分割，得到3D点云图像中各体素对应的分数。
具体的，计算机设备将上述处理后的图像特征输入语义分割模型，对3D点云图像进行语义分割，得到3D点云图像中各体素对应的分数。可选的，3D点云图像中各体素对应的分数可以为0.7，也可以为0.4。
S402，根据各体素对应的分数，检测出3D点云图像中的目标车辆。
具体的，计算机设备根据3D点云图像中各体素对应的分数，检测出3D点云图像中的目标车辆。可选的，计算机设备可以将各体素对应的分数与预设的分数进行比较，将大于预设分数所对应的点确定为属于3D点云图像中目标车辆的点，根据确定出的属于3D点云图像中目标车辆的点，检测出3D点云图像中的目标车辆。可选的，预设的分数可以为0.6，例如，得到的3D点云图像某体素对应的分数为0.8，大于该预设的分数，则计算机设备将该体素所对应的点确定为属于3D点云图像中目标车辆的点。
在本实施例中，计算机设将处理后的图像特征输入语义分割模型，对3D点云图像进行语义分割，得到3D点云图像中各体素对应的分数，该过程十分简单，计算量也比较小，提高了得到3D点云图像中各体素对应的分数的效率，而对3D点云图像中的目标车辆的检测，是根据各体素对应的分数进行的检测，由于得到3D点云图像中各体素对应的分数的效率得到了提高，进而提高了检测出3D点云图像中的目标车辆的效率。
图5为另一个实施例提供的车辆检测方法的流程示意图。本实施例涉及的是计算机设备根据3D点云图像的体素的特征和RGB图像的特征，得到处理后的图像特征的具体实现过程。如图5所示，在上述实施例的基础上，作为一种可选的实施方式，上述S203，包括：
S501，利用RGB图像与3D点云图像的体素的坐标投射矩阵，将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像。
具体的，计算机设备利用RGB图像与3D点云图像的体素的坐标投射矩阵，将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像。其中，投射矩阵可由上述安装在车辆上的摄像头的摆放位置以及摄像头内参计算得到。示例性地，如RGB图像与3D点云图像的体素的坐标投射矩阵Pr，3D点云图像的体素中至少包括一个点的体素的中心坐标为Pold，则计算机设备可以根据公式Pnew＝Pold×Pr，将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像。可选的，计算机设备可以按照预设的体素划分个数和预设的体素体积，对3D点云图像进行体素化，得到3D点云图像的体素，然后利用RGB图像与3D点云图像的体素的坐标投射矩阵，将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像。
S502，将映射到RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。
具体的，计算机设备将映射到RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。示例性地，计算机设备可以根据得到3D点云图像的体素中至少包括一个点的体素的中心坐标投射到RGB图像上对应的新坐标Pnew(u,z)，然后对u/8,z/8取整，取RGB图像的特征中对应位置的3D点云图像的体素的特征，得到映射到RGB图像上的所有体素的特征，将得到的所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。需要说明的是，将得到的所有体素的特征与对应位置的RGB图像的特征进行拼接处理是在深度方向进行的拼接处理，其中，深度方向垂直于RGB图像所对应的平面，例如，若得到的所有体素的特征为128维，对应位置的RGB图像的特征为128维，则将得到的所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征为256维。
在本实施例中，计算机设备利用RGB图像与3D点云图像的体素的坐标投射矩阵，将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像，将映射到RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征，由于将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像的处理过程十分简单，因此提高了将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像的处理效率，而处理后的图像特征是将映射到RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理得到的，进而提高了得到处理后的图像特征的效率。
在上述将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理的场景中，需要首先对RGB图像和3D点云图像的体素进行特征提取。图6为另一个实施例提供的车辆检测方法的流程示意图。本实施例涉及的是计算机设备得到RGB图像的特征和3D点云图像的体素的特征的具体实现过程。如图6所示，在上述实施例的基础上，作为一种可选的实施方式，上述S202，包括：
S601，利用预设的二维卷积神经网络，对RGB图像进行特征提取，得到RGB图像的特征。
具体的，计算机设备利用预设的二维卷积神经网络，对RGB图像进行特征提取，得到RGB图像的特征。可选的，计算机设备可以利用V-net神经网络，对RGB图像进行特征提取，得到RGB图像的特征。可选的，RGB图像的特征可以为RGB图像的颜色特征、纹理特征和形状特征，也可以为RGB图像中线条交叉以及明暗变化的结构所对应的特征，例如，RGB图像的斑点特征和角点特征。
S602，利用预设的三维卷积神经网络，对3D点云图像的体素进行特征提取，得到3D点云图像的体素的特征。
具体的，计算机设备利用预设的三维卷积神经网络，对3D点云图像的体素进行特征提取，得到3D点云图像的体素的特征。可选的，计算机设备可以利用U-net神经网络，对3D点云图像的体素进行特征提取，得到3D点云图像的体素的特征。可选的，3D点云图像的体素特征可以为3D点云图像的体素的颜色特征、纹理特征和形状特征，也可以为3D点云图像的体素中线条交叉以及明暗变化的结构所对应的特征，例如，3D点云图像的体素的斑点特征和角点特征。
在本实施例中，计算机设备利用预设的二维卷积神经网络对RGB图像进行特征提取，得到RGB图像的特征，利用预设的三维卷积神经网络对3D点云图像的体素进行特征提取，得到3D点云图像的体素的特征过程十分简单，提高了得到RGB图像的特征以及3D点云图像的体素的特征的效率；另外，利用预设的二维卷积神经网络对RGB图像进行特征提取，利用预设的三维卷积神经网络对3D点云图像的体素进行特征提取，提高了得到RGB图像的特征和3D点云图像的体素的特征的准确度。
在上述将处理后的图像特征输入语义分割模型的场景中，需要首先对预设的语义分割模型进行训练，得到语义分割模型。图7为另一个实施例提供的车辆检测方法的流程示意图。本实施例涉及的是计算机设备对预设的语义分割模型进行训练，得到语义分割模型的具体实现过程。如图7所示，在上述实施例的基础上，作为一种可选的实施方式，上述方法还包括：
S701，分别获取待进行车辆检测的样本RGB图像及与所述样本RGB图像对应的样本3D点云图像，并体素化样本3D点云图像，得到样本3D点云图像的体素。
具体的，计算机设备分别获取待进行车辆检测的样本RGB图像及样本RGB图像对应的样本3D点云图像，并体素化样本3D点云图像，得到样本3D点云图像的体素。可选的，计算机设备可以从已有的图像数据库中获取待进行车辆检测的样本RGB图像和样本3D点云图像，也可以通过安装在车辆上的摄像头实时地获取待进行车辆检测的样本RGB图像，以及通过位于车顶的激光雷达对车辆周围环境进行扫描，实时地获取样本RGB图像对应的样本3D点云图像。可选的，计算机设备可以按照预设的体素划分个数和预设的体素体积，对样本3D点云图像进行体素化，得到样本3D点云图像的体素。
S702，分别对样本RGB图像和样本3D点云图像的体素进行特征提取，得到样本RGB图像的特征和样本3D点云图像的体素的特征。
具体的，计算机设备分别对样本RGB图像和样本3D点云图像的体素进行特征提取，得到样本RGB图像的特征和样本3D点云图像的体素的特征。可选的，计算机设备可以利用预设的二维卷积神经网络，对样本RGB图像进行特征提取，得到RGB图像的特征，利用预设的三维卷积神经网络，对样本3D点云图像的体素进行特征提取，得到3D点云图像的体素的特征。
S703，将样本3D点云图像的体素的特征映射到样本RGB图像上，将映射到样本RGB图像上的样本3D点云图像的体素的特征与样本RGB图像的特征进行拼接处理，得到处理后的样本图像特征。
具体的，计算机设备将样本3D点云图像的体素的特征映射到样本RGB图像上，将映射到样本RGB图像上的样本3D点云图像的体素的特征与样本RGB图像的特征进行拼接处理，得到处理后的样本图像特征。可选的，计算机设备可以利用样本RGB图像与样本3D点云图像的体素的坐标投射矩阵，将样本3D点云图像的体素中至少包括一个点的体素的中心坐标映射到样本RGB图像上。
S704，以处理后的样本图像特征作为预设的语义分割模型的输入，以样本3D点云图像中目标车辆的标记结果作为输出，对预设的语义分割模型进行训练，得到语义分割模型。
具体的，计算机设备以处理后的样本图像特征作为预设的语义分割模型的输入，以样本3D点云图像中目标车辆的标记结果作为输出，对预设的语义分割模型进行训练，得到语义分割模型。可选的，计算机设备可以将样本3D点云图像中目标车辆的标记结果与预先对样本3D点云图像中目标车辆的标记结果进行比较，根据比较结果对预设的语义分割模型进行训练，得到语义分割模型。
在本实施例中，计算机设备输入预设的语义分割模型的处理后的样本图像特征是将映射到样本RGB图像上的样本3D点云图像的体素的特征与样本RGB图像的特征进行拼接处理得到的，这样可以使预设的语义分割模型充分学习样本RGB图像的特征以及样本3D点云图像的体素的特征，能够更加准确地对3D点云图像进行分割，提高了得到的语义分割模型的准确度。
为了便于本领域技术人员的理解，以下对本申请提供的车辆检测方法进行详细介绍，如图8所示，该方法可以包括：
S801，分别获取待进行车辆检测的RGB图像及与RGB图像对应的3D点云图像；
S802，按照预设的体素划分个数和预设的体素体积，对3D点云图像进行体素化，得到3D点云图像的体素；
S803，利用预设的二维卷积神经网络，对RGB图像进行特征提取，得到RGB图像的特征；
S804，利用预设的三维卷积神经网络，对3D点云图像的体素进行特征提取，得到3D点云图像的体素的特征；
S805，利用RGB图像与3D点云图像的体素的坐标投射矩阵，将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像；
S806，将映射到RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征；
S807，将处理后的图像特征输入语义分割模型，对3D点云图像进行语义分割，得到3D点云图像中各体素对应的分数；
S808，将各体素对应的分数与预设分数进行比较，将大于预设分数所对应的点确定为属于3D点云图像中目标车辆的点；
S809，根据属于3D点云图像中目标车辆的点，检测出3D点云图像中的目标车辆。
需要说明的是，针对上述S801-S809中的描述可以参见上述实施例中相关的描述，且其效果类似，本实施例在此不再赘述。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例提供的车辆检测装置结构示意图。如图9所示，该装置可以包括：获取模块10、特征提取模块11、特征拼接模块12和检测模块13。
具体的，获取模块10，用于分别获取待进行车辆检测的RGB图像及与RGB图像对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素；
特征提取模块11，用于分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征；
特征拼接模块12，用于将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征；
检测模块13，用于将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆。
本实施例提供的车辆检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述检测模块13包括：分割单元和检测单元。
具体的，分割单元，用于将处理后的图像特征输入语义分割模型，对3D点云图像进行语义分割，得到3D点云图像中各体素对应的分数；
检测单元，用于根据各体素对应的分数，检测出3D点云图像中的目标车辆。
本实施例提供的车辆检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述检测单元，具体用于将各体素对应的分数与预设分数进行比较，将大于预设分数所对应的点确定为属于3D点云图像中目标车辆的点；根据属于3D点云图像中目标车辆的点，检测出3D点云图像中的目标车辆。
本实施例提供的车辆检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述特征拼接模块12包括：映射单元和拼接单元。
具体的，映射单元，用于利用RGB图像与3D点云图像的体素的坐标投射矩阵，将3D点云图像的体素中至少包括一个点的体素的中心坐标映射到RGB图像；
拼接单元，用于将映射到RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。
本实施例提供的车辆检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述特征提取模块11包括：第一提取单元和第二提取单元。
具体的，第一提取单元，用于利用预设的二维卷积神经网络，对RGB图像进行特征提取，得到RGB图像的特征；
第二提取单元，用于利用预设的三维卷积神经网络，对3D点云图像的体素进行特征提取，得到3D点云图像的体素的特征。
本实施例提供的车辆检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述获取模块10具体用于按照预设的体素划分个数和预设的体素体积，对3D点云图像进行体素化，得到3D点云图像的体素。
本实施例提供的车辆检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述装置还包括：样本获取模块、样本特征提取模块、样本特征拼接模块和训练模块。
具体的，样本获取模块，用于分别获取待进行车辆检测的样本RGB图像及与样本RGB图像对应的样本3D点云图像，并体素化样本3D点云图像，得到样本3D点云图像的体素；
样本特征提取模块，用于分别对样本RGB图像和样本3D点云图像的体素进行特征提取，得到样本RGB图像的特征和样本3D点云图像的体素的特征；
样本特征拼接模块，用于将样本3D点云图像的体素的特征映射到样本RGB图像上，将映射到样本RGB图像上的样本3D点云图像的体素的特征与样本RGB图像的特征进行拼接处理，得到处理后的样本图像特征；
训练模块，用于以处理后的样本图像特征作为预设的语义分割模型的输入，以样本3D点云图像中目标车辆的标记结果作为输出，对预设的语义分割模型进行训练，得到语义分割模型。
本实施例提供的车辆检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于车辆检测装置的具体限定可以参见上文中对于车辆检测方法的限定，在此不再赘述。上述车辆检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
分别获取待进行车辆检测的RGB图像及与RGB图像对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素；
分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征；
将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征；
将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆。
上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
分别获取待进行车辆检测的RGB图像及与RGB图像对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素；
分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征；
将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征；
将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆。
上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆检测方法，其特征在于，所述方法包括：
分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；
分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；
将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；
将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。
2.根据权利要求1所述的方法，其特征在于，所述将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆，包括：
将所述处理后的图像特征输入所述语义分割模型，对所述3D点云图像进行语义分割，得到所述3D点云图像中各体素对应的分数；
根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆。
3.根据权利要求2所述的方法，其特征在于，所述根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆，包括：
将所述各体素对应的分数与预设分数进行比较，将大于所述预设分数所对应的点确定为属于所述3D点云图像中目标车辆的点；
根据所述属于所述3D点云图像中目标车辆的点，检测出所述3D点云图像中的目标车辆。
4.根据权利要求1所述的方法，其特征在于，所述将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征，包括：
利用所述RGB图像与所述3D点云图像的体素的坐标投射矩阵，将所述3D点云图像的体素中至少包括一个点的体素的中心坐标映射到所述RGB图像；
将映射到所述RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。
5.根据权利要求4所述的方法，其特征在于，所述分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征，包括：
利用预设的二维卷积神经网络，对所述RGB图像进行特征提取，得到所述RGB图像的特征；
利用预设的三维卷积神经网络，对所述3D点云图像的体素进行特征提取，得到所述3D点云图像的体素的特征。
6.根据权利要求1所述的方法，其特征在于，所述体素化所述3D点云图像，得到所述3D点云图像的体素，包括：
按照预设的体素划分个数和预设的体素体积，对所述3D点云图像进行体素化，得到所述3D点云图像的体素。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
分别获取待进行车辆检测的样本RGB图像及与所述样本RGB图像对应的样本3D点云图像，并体素化所述样本3D点云图像，得到所述样本3D点云图像的体素；
分别对所述样本RGB图像和所述样本3D点云图像的体素进行特征提取，得到所述样本RGB图像的特征和所述样本3D点云图像的体素的特征；
将所述样本3D点云图像的体素的特征映射到所述样本RGB图像上，将映射到所述样本RGB图像上的样本3D点云图像的体素的特征与所述样本RGB图像的特征进行拼接处理，得到处理后的样本图像特征；
以所述处理后的样本图像特征作为预设的语义分割模型的输入，以所述样本3D点云图像中目标车辆的标记结果作为输出，对所述预设的语义分割模型进行训练，得到所述语义分割模型。
8.一种车辆检测装置，其特征在于，所述装置包括：
获取模块，用于分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；
特征提取模块，用于分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；
特征拼接模块，用于将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；
检测模块，用于将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
CN201910747899.6A 2019-08-14 2019-08-14 车辆检测方法、装置、计算机设备和可读存储介质 Expired - Fee Related CN110458112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910747899.6A CN110458112B (zh) 2019-08-14 2019-08-14 车辆检测方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910747899.6A CN110458112B (zh) 2019-08-14 2019-08-14 车辆检测方法、装置、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN110458112A true CN110458112A (zh) 2019-11-15
CN110458112B CN110458112B (zh) 2020-11-20

Family

ID=68486379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747899.6A Expired - Fee Related CN110458112B (zh) 2019-08-14 2019-08-14 车辆检测方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110458112B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879994A (zh) * 2019-12-02 2020-03-13 中国科学院自动化研究所 基于形状注意力机制的三维目测检测方法、系统、装置
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111369542A (zh) * 2020-03-06 2020-07-03 上海联影智能医疗科技有限公司 血管标记方法、图像处理系统和存储介质
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质
CN112927234A (zh) * 2021-02-25 2021-06-08 中国工商银行股份有限公司 点云语义分割方法、装置、电子设备和可读存储介质
CN113283268A (zh) * 2020-02-19 2021-08-20 百度在线网络技术（北京）有限公司 图像处理的方法及装置
CN113427973A (zh) * 2021-08-11 2021-09-24 浙江吉利控股集团有限公司 车载空调控制方法、装置、汽车及存储介质
CN113678136A (zh) * 2019-12-30 2021-11-19 深圳元戎启行科技有限公司 基于无人驾驶技术的障碍物检测方法、装置和计算机设备
CN113706503A (zh) * 2021-08-26 2021-11-26 东风柳州汽车有限公司 整车点云图像分析方法、装置、设备及存储介质
CN114397638A (zh) * 2022-01-22 2022-04-26 深圳市神州云海智能科技有限公司 一种激光雷达数据中动态数据的过滤方法及系统
WO2022206974A1 (zh) * 2021-01-01 2022-10-06 许军 一种基于路侧感知单元的静态和非静态物体点云识别方法
EP4287119A1 (en) * 2022-05-31 2023-12-06 Xiaomi EV Technology Co., Ltd. Method and apparatus for sensing object, vehicle, electronic device and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129727A1 (en) * 2006-12-04 2008-06-05 Electronics And Telecommunications Research Institute System and method for generating curvature adapted isosurface based on delaunay triangulation
CN109145680A (zh) * 2017-06-16 2019-01-04 百度在线网络技术（北京）有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN109948448A (zh) * 2019-02-20 2019-06-28 苏州风图智能科技有限公司 用于3d障碍物的检测方法、装置、系统及计算机存储介质
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
US20190235043A1 (en) * 2016-06-03 2019-08-01 Raytheon Company System and method for multi-sensor multi-target 3d fusion using an unbiased measurement space

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129727A1 (en) * 2006-12-04 2008-06-05 Electronics And Telecommunications Research Institute System and method for generating curvature adapted isosurface based on delaunay triangulation
US20190235043A1 (en) * 2016-06-03 2019-08-01 Raytheon Company System and method for multi-sensor multi-target 3d fusion using an unbiased measurement space
CN109145680A (zh) * 2017-06-16 2019-01-04 百度在线网络技术（北京）有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109948448A (zh) * 2019-02-20 2019-06-28 苏州风图智能科技有限公司 用于3d障碍物的检测方法、装置、系统及计算机存储介质
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879994A (zh) * 2019-12-02 2020-03-13 中国科学院自动化研究所 基于形状注意力机制的三维目测检测方法、系统、装置
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN113678136A (zh) * 2019-12-30 2021-11-19 深圳元戎启行科技有限公司 基于无人驾驶技术的障碍物检测方法、装置和计算机设备
CN113283268A (zh) * 2020-02-19 2021-08-20 百度在线网络技术（北京）有限公司 图像处理的方法及装置
CN111369542A (zh) * 2020-03-06 2020-07-03 上海联影智能医疗科技有限公司 血管标记方法、图像处理系统和存储介质
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质
WO2022206974A1 (zh) * 2021-01-01 2022-10-06 许军 一种基于路侧感知单元的静态和非静态物体点云识别方法
CN112927234A (zh) * 2021-02-25 2021-06-08 中国工商银行股份有限公司 点云语义分割方法、装置、电子设备和可读存储介质
CN113427973A (zh) * 2021-08-11 2021-09-24 浙江吉利控股集团有限公司 车载空调控制方法、装置、汽车及存储介质
CN113706503A (zh) * 2021-08-26 2021-11-26 东风柳州汽车有限公司 整车点云图像分析方法、装置、设备及存储介质
CN113706503B (zh) * 2021-08-26 2024-01-30 东风柳州汽车有限公司 整车点云图像分析方法、装置、设备及存储介质
CN114397638A (zh) * 2022-01-22 2022-04-26 深圳市神州云海智能科技有限公司 一种激光雷达数据中动态数据的过滤方法及系统
EP4287119A1 (en) * 2022-05-31 2023-12-06 Xiaomi EV Technology Co., Ltd. Method and apparatus for sensing object, vehicle, electronic device and storage medium

Also Published As

Publication number Publication date
CN110458112B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN110458112A (zh) 车辆检测方法、装置、计算机设备和可读存储介质
Brachmann et al. Visual camera re-localization from RGB and RGB-D images using DSAC
EP3506161A1 (en) Method and apparatus for recovering point cloud data
US11461964B2 (en) Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
KR101171264B1 (ko) 증강현실기법을 이용한 건축 구조물 정보 제공 장치, 건축 구조물 디스플레이 장치 및 이를 이용한 건축 구조물 유지 보수 방법
US20200364509A1 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
US9754165B2 (en) Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data
CN108074267B (zh) 交点检测装置及方法、摄像头校正系统及方法及记录介质
US10726580B2 (en) Method and device for calibration
US10460208B1 (en) System and method for generating large simulation data sets for testing an autonomous driver
CN106897648A (zh) 识别二维码位置的方法及其系统
WO2018155590A1 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
CN106062824A (zh) 边缘检测装置、边缘检测方法和程序
CN109977952A (zh) 基于局部最大值的候选目标检测方法
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN109740487A (zh) 点云标注方法、装置、计算机设备和存储介质
CN112907451A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113160330A (zh) 基于端到端的相机与激光雷达标定方法、系统及介质
KR20220043458A (ko) 설명가능인공지능 및 포인트클라우드 기반 3차원 터널시설물 안전점검 자동화 시스템
CN116912195A (zh) 旋转目标检测方法、系统、电子设备及存储介质
CN116665170A (zh) 目标检测模型的训练及目标检测方法、装置、设备和介质
US20220301176A1 (en) Object detection method, object detection device, terminal device, and medium
CN115830073A (zh) 地图要素重建方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Vehicle detection method, device, computer equipment and readable storage medium

Effective date of registration: 20220211

Granted publication date: 20201120

Pledgee: Shanghai Bianwei Network Technology Co.,Ltd.

Pledgor: SHANGHAI EYE CONTROL TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000023

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201120