CN109271880B - 车辆检测方法、装置、计算机设备和存储介质 - Google Patents

车辆检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109271880B
CN109271880B CN201810982467.9A CN201810982467A CN109271880B CN 109271880 B CN109271880 B CN 109271880B CN 201810982467 A CN201810982467 A CN 201810982467A CN 109271880 B CN109271880 B CN 109271880B
Authority
CN
China
Prior art keywords
data
historical
vehicle detection
frame
candidate area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810982467.9A
Other languages
English (en)
Other versions
CN109271880A (zh
Inventor
刘明
陈正勇
廖青海
王鲁佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiqing Innovation Technology Co ltd
Original Assignee
Shenzhen Yiqing Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiqing Innovation Technology Co ltd filed Critical Shenzhen Yiqing Innovation Technology Co ltd
Priority to CN201810982467.9A priority Critical patent/CN109271880B/zh
Publication of CN109271880A publication Critical patent/CN109271880A/zh
Application granted granted Critical
Publication of CN109271880B publication Critical patent/CN109271880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车辆检测方法、装置、计算机设备和存储介质。所述方法包括：获取当前帧数据，当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；对3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合；将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。采用本方法能够提高车辆自动检测效率。

Description

车辆检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及车辆检测技术领域，特别是涉及一种车辆检测方法、装置、计算机设备和存储介质。
背景技术
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。由于在汽车半自动、自动驾驶领域中的关键作用，多年来车辆自动检测一直是计算机视觉领域的热门研究课题。
车辆检测通常是基于采集的3D点云数据为基础进行数据处理得到车辆检测结果，然而，传统方法中需要基于整个3D点云进行数据处理，处理的数据量很大，导致车辆检测的效率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高车辆自动检测效率的车辆检测方法、装置、计算机设备和存储介质。
一种车辆检测方法，所述方法包括：
获取当前帧数据，所述当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；
对所述3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；
分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合；
将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
在其中一个实施例中，所述分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合的步骤之前，包括：
获取历史帧数据对应的候选区域图像集合；
计算当前时刻与所述历史帧数据对应的历史时刻之间运动主体的相对位移；
所述分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合的步骤，包括：
根据历史帧数据对应的候选区域图像集合及所述相对位移分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合。
在其中一个实施例中，采集的所述当前帧数据还包括惯性测量单元采集的数据，所述惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据，所述计算当前时刻与所述历史帧数据对应的历史时刻之间运动主体的相对位移，包括：
将所述历史帧数据对应的历史时刻作为初始时刻，对所述当前加速度数据进行积分，得到当前速度；
对所述当前速度进行积分得到相对位移。
在其中一个实施例中，所述车辆检测模型采用卷积神经网络训练得到，所述卷积神经网络包括卷积层、池化层、全连接层；
所述将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果，包括：
将所述候选区域图像集合中各个候选区域图像及所述反射率数据作为所述卷积层的输入，所述卷积层用于对所述各个候选区域图像及所述反射率数据进行卷积运算得到第一特征矩阵；
将所述第一特征矩阵作为池化层的输入，所述池化层用于将第一特征矩阵中的每个向量中最大的权重进行投影得到归一化的第二特征矩阵；
将所述第二特征矩阵作为全连接层的输入，所述全连接层用于根据所述第二特征矩阵进行分类计算和回归计算得到车辆检测结果。
在其中一个实施例中，所述车辆检测模型的生成步骤包括：
获取已经标注的多帧历史数据作为样本集，所述样本集中各帧历史数据均包括已经时间同步的3D点云数据以及摄像头图像；
分别对各帧历史数据对应的3D点云数据进行多视角投影，分别得到每一帧历史数据对应的各个不同视角的2D深度图像及各个2D深度图对应的反射率数据；
分别对各帧历史数据对应的摄像头图像及各个不同视角的2D深度图像选取候选区域，得到所述各帧历史数据对应的候选区域图像集合；
依次将各帧历史数据对应的候选区域图像集合及反射率数据输入到卷积神经网络中对所述卷积神经网络进行训练，直到所述样本集中各帧历史数据训练完毕，得到训练好的车辆检测模型。
一种车辆检测装置，所述装置包括：
当前帧数据接收模块，用于获取当前帧数据，所述当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；
投影模块，用于对所述3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；
候选区域选取模块，用于分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合；
车辆检测结果获取模块，用于将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
在其中一个实施例中，所述装置还包括：
相对位移计算模块，用于获取历史帧数据对应的候选区域图像集合，计算当前时刻与所述历史帧数据对应的历史时刻之间运动主体的相对位移；
候选区域选取模块用于根据历史帧数据对应的候选区域图像集合及所述相对位移分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合。
在其中一个实施例中，采集的所述当前帧数据还包括惯性测量单元采集的数据，所述惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据；相对位移计算模块用于将所述历史帧数据对应的历史时刻作为初始时刻，对所述当前加速度数据进行积分，得到当前速度，对所述当前速度进行积分得到相对位移。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取当前帧数据，所述当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；
对所述3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；
分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合；
将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取当前帧数据，所述当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；
对所述3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；
分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合；
将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
上述车辆检测方法、装置、计算机设备和存储介质，首先获取当前帧数据，所述当前帧数据包括已经时间同步的3D点云数据以及摄像头图像，对所述3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据，然后分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合，最后将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的卷积神经网络中，得到车辆检测结果，在本申请中，由于只对候选区域进行车辆检测，因此大大减少了计算量，提高了车辆检测的效率。
附图说明
图1为一个实施例中车辆检测方法的应用环境图；
图2A为一个实施例中车辆检测方法的流程示意图；
图2B为一个实施例中异构传感器触发关系示意图；图3为另一个实施例中车辆检测方法的流程示意图；
图4为一个实施例中通过车辆检测模型得到车辆检测结果的流程示意图；
图5为一个实施例中车辆检测模型的生成步骤的流程示意图；
图6为一个实施例中车辆检测装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的车辆检测方法，可以应用于如图1所示的应用环境中，在该应用环境中，运动主体为自主驾驶车。其中，自主驾驶车的车顶安装有异构传感器，该自主驾驶车的车内设有可用于车辆检测的计算机设备，该自主驾驶车运载异构传感器在结构化场景中运动，车内的计算机设备实时接收已经同步的异构传感器输出的数据，包括已经同步的3D点云，黑白和彩色图像，位置和加速度，通过已预训练的卷积神经网络，得到车辆检测与识别结果。
在一个实施例中，如图2所示，提供了一种车辆检测方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤S202，获取当前帧数据，当前帧数据包括已经时间同步的3D点云数据以及摄像头图像。
在本实施例中，可通过异构传感器采集当前帧数据，然后计算机设备获取异构传感器采集的当前帧数据。其中，异构传感器指的集GPS时钟模块、雷达模块、IMU(Inertialmeasurement unit，惯性测量单元)模块、视觉模块以及微处理器模块为一体的传感器。其中，视觉模块可以由一个或者多个摄像头组成，GPS时钟模块提供全局时间轴，所有信号都带有时间戳，并以GPS时间轴为基准，GPS时钟模块集成了GPS接收和硬件触发功能，它接收GPS卫星信号，并对三个传感器模块分别进行触发。其触发频率关系为：
fIMU＝mfcamera,fcamera＝nfLidar
其中，fcamera是视觉模块的触发频率，fLidar是激光雷达的触发频率，fIMU是IMU模块的触发频率，m和n取大于1的整数。触发时间关系如图3所示。触发信号在时间上对齐，即某个时间点对三个传感器同时触发，然后按照各自固定频率对三个传感器分别触发，每隔一段时间，就会再次出现两个或者三个传感器同步触发的情况，此时间间隔由和控制，用户可进行调节。
具体地，在车辆移动过程中，异构传感器通过雷达模块、IMU模块、视觉模块采集数据后，输出给微处理器，由微处理器对已经同步的采集信号进行时间和空间上的校准，其输出包括已经同步的摄像头图像，3D点云数据，当前位置和加速度，传感器的内外参数等。进一步，异构传感器将输出的数据传输至车辆内部的计算机设备。在本实施例中，用异构传感器采集当前帧数据，由于异构传感器可对当前帧数据进行时间和空间上的校准，不仅降低了车辆检测识别的计算难度，而且能够保证车辆检测识别的准确度。
步骤S204，对3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据。
在本实施例中，计算机设备接收到当前帧数据后，对当前帧数据中的3D点云数据进行多视角投影，其中，多视角投影指的是把3D点云数据投影到三维空间坐标系的三个平面上，得到每一个平面对应的二维的数据，即2D深度图像。例如投影到XOY平面，则所有点的x,y坐标构成一幅2D深度图像。投影之后的2D深度图像在另一个坐标轴上的值即是该点的反射强度(或者深度信息)，例如，XOY平面的深度即z轴坐标值。
步骤S206，分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合。
具体地，候选区域指的是可能出现车辆的区域，候选区域集合指的当前帧数据所对应的所有候选区域图像所组成的集合。在本实施例中，计算机设备分别对当前帧数据所对应的摄像头图像及所有的2D深度图像选取候选区域，从而得到当前帧数据对应的候选区域集合。
在一个实施例中，计算机设备可根据历史帧数据对应的历史时刻所接收到的帧数据对应的候选区域图像集合及当前时刻与历史帧数据对应的历史时刻之间计算机设备所在车辆的相对位移分别对对当前帧数据所对应的摄像头图像及所有的2D深度图像选取候选区域，得到当前帧数据对应的候选区域集合。
步骤S208，将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
具体地，车辆检测结果包括车辆区域以及背景，车辆区域即出现车辆，背景区域即无车辆出现。在本实施例中，计算机设备将得到的候选区域图像中各个候选区域图像及反射率数据输入到已经通过机器学习训练好的卷积神经网络中，最终输出车辆检测结果。在一个实施例中，卷积神经网络包括多个卷积层(convolution)，多个池化层(pooling)和全连接层(FC)，通过机器学习的方式训练得到。
上述车辆检测方法中，计算机设备首先获取当前帧数据，当前帧数据包括已经时间同步的3D点云数据以及摄像头图像，对3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据，然后分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合，最后将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的卷积神经网络中，得到车辆检测结果，在本申请中，由于只对候选区域进行车辆检测，因此大大减少了计算量，提高了车辆检测的效率。
进一步，由于输入卷积神经网络的数据多样化，使得最后的检测结果相较于传统技术准确性更高。
在一个实施例中，如图3所示，上述车辆检测方法包括以下步骤：
步骤S302，获取当前帧数据，当前帧数据包括已经时间同步的3D点云数据以及摄像头图像。
步骤S304，对3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据。
步骤S306，获取历史帧数据对应的候选区域图像集合。
具体地，历史帧数据指的是某一历史时刻异构传感器采集的一帧数据，同样包括已经时间同步的3D点云数据以及摄像头图像等数据，其中历史时刻比如可以是上一时刻，即当前帧数据对应的上一帧数据对应的采集时刻。在一个实施例中，计算机设备的内存中保存有所有历史帧数据对应的候选区域图像集合，计算机设备可直接从本地进行查找获取任意一帧历史数据对应的候选区域图像集合；在另一个实施例中，所有历史帧数据对应的候选区域图像集合均保存在远程服务器中，计算机设备通过网络从远程服务器获取任意历史帧数据对应的候选区域图像集合。
步骤S308，计算当前时刻与历史帧数据对应的历史时刻之间运动主体的相对位移。
具体地，运动主体指的是可以自主运动的物体，包括但不限于自主驾驶车、自主驾驶船等等，当前时刻指的是当前帧数据对应的采集时刻。在一个实施例中，采集的当前帧数据还包括惯性测量单元(Inertial measurement unit，IMU)采集的数据，惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据，在本实施例中，计算当前时刻与历史帧数据对应的历史时刻之间主体的相对位移包括：将历史帧数据对应的历史时刻作为初始时刻，对当前加速度数据进行积分，得到当前速度；对当前速度进行积分得到相对位移。
其中，对当前加速度数据进行积分，得到当前速度可参照以下公式：
Figure BDA0001778912540000101
其中，t为历史帧数据对应的历史时刻到当前时刻之间的时间差，a为当前时刻的加速度。
对当前速度进行积分得到相对位移，可参照以下公式：
Figure BDA0001778912540000102
步骤S310，根据历史帧数据对应的候选区域图像集合及相对位移分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合。
具体地，在当前帧数据对应的摄像头图像及各个不同视角对应的2D深度图像中获取历史帧数据对应的候选区域图像集合中各个候选区域图像对应的窗口位置，将窗口位置往运动主体行驶时的反方向移动与运动主体的相对位移同样的距离即为当前帧数据对应的候选区域，选取当前帧数据对应的候选区域即得到当前帧数据对应的候选区域图像集合。
举例来说，历史帧数据包括A、B、C、D四个图像，该四个图像对应的候选区域对应的窗口位置分别为a、b、c、d，A、B、C、D四个图像在当前帧数据中对应的图像分别为A1、B1、C1、D1(其中，对应指的是图像的具有时间上具有递进关系的图像，如历史帧数据中的摄像头图像在当前帧数据中对应的图像同样为摄像头图像)，在A1、B1、C1、D1找窗口位置a、b、c、d，将该窗口位置往运动主体行驶时的反方向移动与运动主体的相对位移同样的距离即为当前帧数据对应的候选区域，选取当前帧数据对应的候选区域即得到当前帧数据对应的候选区域图像集合。
步骤S312，将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
在本实施例中，通过获取历史帧数据对应的候选区域图像集合，计算当前时刻与历史帧数据对应的历史时刻之间运动主体的相对位移，根据历史帧数据对应的候选区域图像集合及相对位移分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合，可提高候选区域选取的准确性。
在一个实施例中，如图4所示，车辆检测模型采用卷积神经网络训练得到，卷积神经网络包括卷积层、池化层、全连接层，将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果，包括：
步骤S402，将候选区域图像集合中各个候选区域图像及反射率数据作为卷积层的输入，卷积层用于对各个候选区域图像及反射率数据进行卷积运算得到第一特征矩阵。
其中，车辆检测模型采用卷积神经网络模型进行训练得到，车辆检测模型包括至少一层卷积层、至少一层池化层和至少一层全连接层。卷积层对输入的各个候选区域图像及反射率数据进行卷积运算得到第一特征矩阵，卷积运算是指利用卷积核进行乘积的运算。经过卷积核卷积可以降低特征维度，不同的卷积窗口具有不同的表达能力。其中，卷积窗口的大小是根据输入向量的纬度(embedding size)和滤波宽度(filter width)决定的，滤波宽度是由实验调整得到的，在一个实施例中，滤波宽度分别选择3，4，5，6，7，8几个值，假设输入向量的纬度为128维，那么卷积窗口可以分别选择128*3，128*4，128*5，128*6，128*7，128*8。其中，一个卷积核对应一个输出，比如，如果卷积层中有10个卷积核，经过10个卷积核的作用将会得到10个输出，即得到10维的第一特征矩阵。
步骤S404，将第一特征矩阵作为池化层的输入，池化层用于将第一特征矩阵中的每个向量中最大的权重进行投影得到归一化的第二特征矩阵。
其中，将卷积层输出的第一特征矩阵作为池化层的输入。在一个实施例中，池化层采用最大池化层(max-pooling)，即用于将卷积层得到的每个向量中的能量最大的元素(即权重最大元素)投影到下一层的输入。第一特征矩阵是由多个向量组成的，将每个向量中最大的权重进行投影得到归一化的第二特征矩阵。另外，为了池化层过多容易产生过拟合，可以选择以一定概率去掉一些神经元，比如，以p1(0.5)的概率去掉一些神经元。
步骤S406，将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算和回归计算得到车辆检测结果。
其中，全连接层即车辆检测模型的输出层，全连接层即车辆检测模型的输出层，该输出层可以进行分类计算和回归计算，分类计算指的是根据第二特征矩阵进行分类计算得到各个分类对应的概率值，概率值用于衡量各个分类所占的比例，将概率值大的分类作为检测结果对应的分类。分类至少包括车辆和背景。回归计算用于对当检测结果对应的分类为车辆时，对车辆进行定位，相当于用一个矩形框来框住车辆。
在一个实施例中，如图5所示，车辆检测模型的生成步骤包括：
步骤S502，获取已经标注的多帧历史数据作为样本集，样本集中各帧历史数据均包括已经时间同步的3D点云数据以及摄像头图像。
具体地，多帧历史数据可从历史各个时刻采集的帧数据中进行选取，这些帧数据可保存在远程服务器上，也可保存在本地。在一个实施例中，选取的多帧历史数据例如可以是某一个历史时间段(例如一个月)内采集的每一帧数据。已经标注，指的是样本集中各帧历史数据为车辆检测结果已经确定的数据。这些历史帧数据可事先通过人工进行检测识别，以得到车辆检测结果。
步骤S504，分别对各帧历史数据对应的3D点云数据进行多视角投影，得到各帧历史数据对应的各个不同视角的2D深度图像及各个2D深度图对应的反射率数据。
其中，多视角投影指的是把3D点云数据投影到三维空间坐标系的三个平面上，得到每一个平面对应的二维的数据，即2D深度图像。反射率数据指的是投影之后的2D深度图像上各个点在另一个坐标轴上的值，如XOY平面上各个点的反射率数据即该点的z轴坐标值。
步骤S506，分别对各帧历史数据对应的摄像头图像及各个不同视角的2D深度图像选取候选区域，得到各帧历史数据对应的候选区域图像集合。
其中，候选区域指的是可能出现车辆的区域。候选区域图像集合指的是历史帧数据对应的所有候选区域图像所组成的集合。每一帧历史数据对应一个候选区域集合。
步骤S508，依次将各帧历史数据对应的候选区域图像集合及反射率数据输入到卷积神经网络中对卷积神经网络进行训练，直到样本集中各帧历史数据训练完毕，得到训练好的车辆检测模型。
具体地，将历史帧数据对应的候选区域图像集合及反射率数据作为卷积神经网络的输入，将该帧历史数据对应的车辆检测结果作为卷积神经网络的期望输出，对卷积神经网络进行训练，使得卷积神经网络的实际输出与期望输出一致，最终得到训练好的车辆检测模型。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种车辆检测装置600，装置包括：
当前帧数据接收模块602，用于获取当前帧数据，当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；
投影模块604，用于对3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；
候选区域选取模块606，用于分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合；
车辆检测结果获取模块608，用于将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
在一个实施例中，上述装置还包括：
相对位移计算模块，用于获取历史帧数据对应的候选区域图像集合，计算当前时刻与历史帧数据对应的历史时刻之间运动主体的相对位移；
候选区域选取模块用于根据历史帧数据对应的候选区域图像集合及相对位移分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合。
在一个实施例中，采集的当前帧数据还包括惯性测量单元采集的数据，惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据；相对位移计算模块用于将历史帧数据对应的历史时刻作为初始时刻，对当前加速度数据进行积分，得到当前速度，对当前速度进行积分得到相对位移。
在一个实施例中，车辆检测模型采用卷积神经网络训练得到，卷积神经网络包括卷积层、池化层、全连接层，车辆检测结果获取模块608将候选区域图像集合中各个候选区域图像及反射率数据作为卷积层的输入，卷积层用于对各个候选区域图像及反射率数据进行卷积运算得到第一特征矩阵，将第一特征矩阵作为池化层的输入，池化层用于将第一特征矩阵中的每个向量中最大的权重进行投影得到归一化的第二特征矩阵，将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算和回归计算得到车辆检测结果。
在一个实施例中，上述装置还包括：训练模块，用于获取已经标注的多帧历史数据作为样本集，样本集中各帧历史数据均包括已经时间同步的3D点云数据以及摄像头图像，分别对各帧历史数据对应的3D点云数据进行多视角投影，分别得到每一帧历史数据对应的各个不同视角的2D深度图像及各个2D深度图对应的反射率数据，分别对各帧历史数据对应的摄像头图像及各个不同视角的2D深度图像选取候选区域，得到各帧历史数据对应的候选区域图像集合，依次将各帧历史数据对应的候选区域图像集合及反射率数据输入到卷积神经网络中对卷积神经网络进行训练，直到样本集中各帧历史数据训练完毕，得到训练好的车辆检测模型。
关于车辆检测装置的具体限定可以参见上文中对于车辆检测方法的限定，在此不再赘述。上述车辆检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储历史帧数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆检测方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取当前帧数据，当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；对3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合；将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
在一个实施例中，分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合的步骤之前，处理器执行计算机程序时还实现以下步骤：获取历史帧数据对应的候选区域图像集合；计算当前时刻与历史帧数据对应的历史时刻之间运动主体的相对位移；分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合的步骤，包括：根据历史帧数据对应的候选区域图像集合及相对位移分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合。
在一个实施例中，采集的当前帧数据还包括惯性测量单元采集的数据，惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据；计算当前时刻与历史帧数据对应的历史时刻之间运动主体的相对位移，包括：将历史帧数据对应的历史时刻作为初始时刻，对当前加速度数据进行积分，得到当前速度；对当前速度进行积分得到相对位移。
在一个实施例中，车辆检测模型采用卷积神经网络训练得到，卷积神经网络包括卷积层、池化层、全连接层；将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果，包括：将候选区域图像集合中各个候选区域图像及反射率数据作为卷积层的输入，卷积层用于对各个候选区域图像及反射率数据进行卷积运算得到第一特征矩阵；将第一特征矩阵作为池化层的输入，池化层用于将第一特征矩阵中的每个向量中最大的权重进行投影得到归一化的第二特征矩阵；将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算和回归计算得到车辆检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取已经标注的多帧历史数据作为样本集，样本集中各帧历史数据均包括已经时间同步的3D点云数据以及摄像头图像；分别对各帧历史数据对应的3D点云数据进行多视角投影，分别得到每一帧历史数据对应的各个不同视角的2D深度图像及各个2D深度图对应的反射率数据；分别对各帧历史数据对应的摄像头图像及各个不同视角的2D深度图像选取候选区域，得到各帧历史数据对应的候选区域图像集合；依次将各帧历史数据对应的候选区域图像集合及反射率数据输入到卷积神经网络中对卷积神经网络进行训练，直到样本集中各帧历史数据训练完毕，得到训练好的车辆检测模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取当前帧数据，当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；对3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图对应的反射率数据；分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合；将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
在一个实施例中，分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合的步骤之前，计算机程序被处理器执行时还实现以下步骤：获取历史帧数据对应的候选区域图像集合；计算当前时刻与历史帧数据对应的历史时刻之间运动主体的相对位移；分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合的步骤，包括：根据历史帧数据对应的候选区域图像集合及相对位移分别对摄像头图像及各个不同视角对应的2D深度图像选取候选区域，得到当前帧数据对应的候选区域图像集合。
在一个实施例中，采集的当前帧数据还包括惯性测量单元采集的数据，惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据；采集的当前帧数据还包括已经时间同步的当前加速度数据，计算当前时刻与历史帧数据对应的历史时刻之间运动主体的相对位移，包括：将历史帧数据对应的历史时刻作为初始时刻，对当前加速度数据进行积分，得到当前速度；对当前速度进行积分得到相对位移。
在一个实施例中，车辆检测模型采用卷积神经网络训练得到，卷积神经网络包括卷积层、池化层、全连接层；将候选区域图像集合中各个候选区域图像及反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果，包括：将候选区域图像集合中各个候选区域图像及反射率数据作为卷积层的输入，卷积层用于对各个候选区域图像及反射率数据进行卷积运算得到第一特征矩阵；将第一特征矩阵作为池化层的输入，池化层用于将第一特征矩阵中的每个向量中最大的权重进行投影得到归一化的第二特征矩阵；将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算和回归计算得到车辆检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取已经标注的多帧历史数据作为样本集，样本集中各帧历史数据均包括已经时间同步的3D点云数据以及摄像头图像；分别对各帧历史数据对应的3D点云数据进行多视角投影，分别得到每一帧历史数据对应的各个不同视角的2D深度图像及各个2D深度图对应的反射率数据；分别对各帧历史数据对应的摄像头图像及各个不同视角的2D深度图像选取候选区域，得到各帧历史数据对应的候选区域图像集合；依次将各帧历史数据对应的候选区域图像集合及反射率数据输入到卷积神经网络中对卷积神经网络进行训练，直到样本集中各帧历史数据训练完毕，得到训练好的车辆检测模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆检测方法，所述方法包括：
获取当前帧数据，所述当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；所述当前帧数据，是通过异构传感器采集后输出给微处理器，由所述微处理器对已经同步的采集信号进行时间和空间上的校准后得到；
对所述3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图像对应的反射率数据；所述多视角投影，是指把所述3D点云数据投影到三维空间坐标系的三个平面上，得到每一个平面对应的二维的数据；所述反射率数据，是指2D深度图像上各个点在另一个坐标轴上的值；所述另一个坐标轴，是指所述三维空间坐标系中，除位于2D深度图像所在平面上的坐标轴以外的坐标轴；
获取历史帧数据对应的候选区域图像集合；所述历史帧数据，是指某一历史时刻异构传感器采集的一帧数据；
计算当前时刻与所述历史帧数据对应的历史时刻之间运动主体的相对位移；
根据所述历史帧数据对应的候选区域图像集合及所述相对位移，分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合；
将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
2.根据权利要求1所述的方法，其特征在于，采集的所述当前帧数据还包括惯性测量单元采集的数据，所述惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据，所述计算当前时刻与所述历史帧数据对应的历史时刻之间运动主体的相对位移，包括：
将所述历史帧数据对应的历史时刻作为初始时刻，对所述当前加速度数据进行积分，得到当前速度；
对所述当前速度进行积分得到相对位移。
3.根据权利要求1所述的方法，其特征在于，所述车辆检测模型采用卷积神经网络训练得到，所述卷积神经网络包括卷积层、池化层、全连接层；
所述将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果，包括：
将所述候选区域图像集合中各个候选区域图像及所述反射率数据作为所述卷积层的输入，所述卷积层用于对所述各个候选区域图像及所述反射率数据进行卷积运算得到第一特征矩阵；
将所述第一特征矩阵作为池化层的输入，所述池化层用于将第一特征矩阵中的每个向量中最大的权重进行投影得到归一化的第二特征矩阵；
将所述第二特征矩阵作为全连接层的输入，所述全连接层用于根据所述第二特征矩阵进行分类计算和回归计算得到车辆检测结果。
4.根据权利要求1所述的方法，其特征在于，所述车辆检测模型的生成步骤包括：
获取已经标注的多帧历史数据作为样本集，所述样本集中各帧历史数据均包括已经时间同步的3D点云数据以及摄像头图像；
分别对各帧历史数据对应的3D点云数据进行多视角投影，分别得到每一帧历史数据对应的各个不同视角的2D深度图像及各个2D深度图对应的反射率数据；
分别对各帧历史数据对应的摄像头图像及各个不同视角的2D深度图像选取候选区域，得到所述各帧历史数据对应的候选区域图像集合；
依次将各帧历史数据对应的候选区域图像集合及反射率数据输入到卷积神经网络中对所述卷积神经网络进行训练，直到所述样本集中各帧历史数据训练完毕，得到训练好的车辆检测模型。
5.一种车辆检测装置，其特征在于，所述装置包括：
当前帧数据接收模块，用于获取当前帧数据，所述当前帧数据包括已经时间同步的3D点云数据以及摄像头图像；所述当前帧数据，是通过异构传感器采集后输出给微处理器，由所述微处理器对已经同步的采集信号进行时间和空间上的校准后得到；
投影模块，用于对所述3D点云数据进行多视角投影，得到各个不同视角对应的2D深度图像及各个2D深度图像对应的反射率数据；所述多视角投影，是指把所述3D点云数据投影到三维空间坐标系的三个平面上，得到每一个平面对应的二维的数据；所述反射率数据，是指2D深度图像上各个点在另一个坐标轴上的值；所述另一个坐标轴，是指所述三维空间坐标系中，除位于2D深度图像所在平面上的坐标轴以外的坐标轴；
相对位移计算模块，用于获取历史帧数据对应的候选区域图像集合，计算当前时刻与所述历史帧数据对应的历史时刻之间运动主体的相对位移；所述历史帧数据，是指某一历史时刻异构传感器采集的一帧数据；
候选区域选取模块，用于根据所述历史帧数据对应的候选区域图像集合及所述相对位移，分别对所述摄像头图像及所述各个不同视角对应的2D深度图像选取候选区域，得到所述当前帧数据对应的候选区域图像集合；
车辆检测结果获取模块，用于将所述候选区域图像集合中各个候选区域图像及所述反射率数据输入到已训练的车辆检测模型中，得到车辆检测结果。
6.根据权利要求5所述的装置，其特征在于，采集的所述当前帧数据还包括惯性测量单元采集的数据，所述惯性测量单元采集的数据至少包括已经时间同步的当前加速度数据；相对位移计算模块用于将所述历史帧数据对应的历史时刻作为初始时刻，对所述当前加速度数据进行积分，得到当前速度，对所述当前速度进行积分得到相对位移。
7.根据权利要求5所述的装置，其特征在于，所述车辆检测模型采用卷积神经网络训练得到，所述卷积神经网络包括卷积层、池化层、全连接层；所述车辆检测结果获取模块还用于将所述候选区域图像集合中各个候选区域图像及所述反射率数据作为所述卷积层的输入，所述卷积层用于对所述各个候选区域图像及所述反射率数据进行卷积运算得到第一特征矩阵；将所述第一特征矩阵作为池化层的输入，所述池化层用于将第一特征矩阵中的每个向量中最大的权重进行投影得到归一化的第二特征矩阵；将所述第二特征矩阵作为全连接层的输入，所述全连接层用于根据所述第二特征矩阵进行分类计算和回归计算得到车辆检测结果。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
训练模块，用于获取已经标注的多帧历史数据作为样本集，所述样本集中各帧历史数据均包括已经时间同步的3D点云数据以及摄像头图像；分别对各帧历史数据对应的3D点云数据进行多视角投影，分别得到每一帧历史数据对应的各个不同视角的2D深度图像及各个2D深度图对应的反射率数据；分别对各帧历史数据对应的摄像头图像及各个不同视角的2D深度图像选取候选区域，得到所述各帧历史数据对应的候选区域图像集合；依次将各帧历史数据对应的候选区域图像集合及反射率数据输入到卷积神经网络中对所述卷积神经网络进行训练，直到所述样本集中各帧历史数据训练完毕，得到训练好的车辆检测模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN201810982467.9A 2018-08-27 2018-08-27 车辆检测方法、装置、计算机设备和存储介质 Active CN109271880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810982467.9A CN109271880B (zh) 2018-08-27 2018-08-27 车辆检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810982467.9A CN109271880B (zh) 2018-08-27 2018-08-27 车辆检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109271880A CN109271880A (zh) 2019-01-25
CN109271880B true CN109271880B (zh) 2021-08-24

Family

ID=65154367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810982467.9A Active CN109271880B (zh) 2018-08-27 2018-08-27 车辆检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109271880B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111316289A (zh) * 2019-04-10 2020-06-19 深圳市大疆创新科技有限公司 目标物体的拟合方法、点云传感器和移动平台
CN111986472B (zh) * 2019-05-22 2023-04-28 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
JP7309886B2 (ja) * 2019-08-30 2023-07-18 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車両で使用されるセンサのタイミングの検証
CN110909691B (zh) * 2019-11-26 2023-05-05 腾讯科技（深圳）有限公司 动作检测方法、装置、计算机可读存储介质和计算机设备
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
CN111144315A (zh) * 2019-12-27 2020-05-12 北京三快在线科技有限公司 目标检测方法、装置、电子设备和可读存储介质
WO2021134258A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 基于点云的目标跟踪方法、装置、计算机设备和存储介质
CN112406964B (zh) * 2020-11-10 2022-12-02 北京埃福瑞科技有限公司 一种列车定位方法及系统
CN114333418B (zh) * 2021-12-30 2022-11-01 深兰人工智能(深圳)有限公司 用于自动驾驶的数据处理方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103017776A (zh) * 2012-12-07 2013-04-03 河北汉光重工有限责任公司 无陀螺惯性定位及姿态测量单元在车辆智能辅助驾驶系统中的应用
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN108256551A (zh) * 2017-12-15 2018-07-06 安徽四创电子股份有限公司 一种基于区域卷积神经网络的车辆检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103017776A (zh) * 2012-12-07 2013-04-03 河北汉光重工有限责任公司 无陀螺惯性定位及姿态测量单元在车辆智能辅助驾驶系统中的应用
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN108256551A (zh) * 2017-12-15 2018-07-06 安徽四创电子股份有限公司 一种基于区域卷积神经网络的车辆检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于立体视觉的车辆检测与运动估计方法研究;黄海洋;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑（月刊）》;20170315(第03期);正文第四部分 *

Also Published As

Publication number Publication date
CN109271880A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271880B (zh) 车辆检测方法、装置、计算机设备和存储介质
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
Meyer et al. Lasernet: An efficient probabilistic 3d object detector for autonomous driving
AU2018209336B2 (en) Determining the location of a mobile device
CN105335955B (zh) 对象检测方法和对象检测装置
CN114723955A (zh) 图像处理方法、装置、设备和计算机可读存储介质
US20170280026A1 (en) Image Processing Apparatus and Image Processing Method
CN108776991B (zh) 三维建模方法、装置、存储介质和计算机设备
US20200377108A1 (en) Neural network device and method using a neural network for sensor fusion
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
US11308324B2 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
CN114708583A (zh) 目标物的检测方法、装置、设备及存储介质
US20210270611A1 (en) Navigation apparatus, navigation parameter calculation method, and medium
Itu et al. Automatic extrinsic camera parameters calibration using Convolutional Neural Networks
US20210078587A1 (en) Ballistic estimation of vehicle data
CN110291771A (zh) 一种目标对象的深度信息获取方法及可移动平台
AU2018208816A1 (en) Determining the location of a mobile device
US20240153120A1 (en) Method to determine the depth from images by self-adaptive learning of a neural network and system thereof
KR20230082497A (ko) 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치
CN112967399A (zh) 三维时序图像生成方法、装置、计算机设备和存储介质
CN113936036A (zh) 基于无人机视频的目标跟踪方法、装置及计算机设备
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN113446933A (zh) 用于多三维传感器的外参标定方法、装置和系统
Lanterman et al. Automatic target recognition via the simulation of infrared scenes
CN117201705B (zh) 一种全景图像的获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant