CN111986472A - 车辆速度确定方法及车辆 - Google Patents

车辆速度确定方法及车辆 Download PDF

Info

Publication number
CN111986472A
CN111986472A CN201910431632.6A CN201910431632A CN111986472A CN 111986472 A CN111986472 A CN 111986472A CN 201910431632 A CN201910431632 A CN 201910431632A CN 111986472 A CN111986472 A CN 111986472A
Authority
CN
China
Prior art keywords
vehicle
data
dimensional
point cloud
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910431632.6A
Other languages
English (en)
Other versions
CN111986472B (zh
Inventor
苗振伟
黄庆乐
王兵
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuzhou Online E Commerce Beijing Co ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910431632.6A priority Critical patent/CN111986472B/zh
Priority to PCT/CN2020/089606 priority patent/WO2020233436A1/zh
Publication of CN111986472A publication Critical patent/CN111986472A/zh
Application granted granted Critical
Publication of CN111986472B publication Critical patent/CN111986472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了车辆速度确定方法和装置，车辆速度预测模型构建方法和装置，电子设备，路测感知设备，以及车辆。其中，车辆速度确定方法包括：根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中任意两帧数据的时间间隔，确定车辆行驶速度。采用这种处理方式，使得生成与至少两帧道路环境点云数据中的车辆点云数据对应的至少两个二维车辆图像，并根据这些图像和至少两帧数据中任意两帧数据的时间间隔，确定车辆的行驶速度；因此，可以有效提升车辆速度的准确度，从而提升道路交通安全性。

Description

车辆速度确定方法及车辆
技术领域
本申请涉及自动驾驶技术领域，具体涉及车辆速度确定方法和装置，车辆速度预测模型构建方法和装置，电子设备，路测感知设备，以及车辆。
背景技术
车辆在行驶过程中对其他车辆的速度进行估计是实现道路交通安全和通向自动驾驶的关键，它可以帮助自动驾驶车辆预测行驶场景中周围车辆未来的行驶轨迹，帮助自车规避可能发生的碰撞。
自动驾驶车辆通常配备多种传感器，这些传感器的数据都有用来估计车辆速度的潜力。下面对常用的三种车辆速度确定方法及其存在的问题进行说明。
1)基于毫米波雷达数据的车辆速度确定方法。该方法借助于多普勒效应，可以为其他车辆给出一个较为精确的速度测量。然而，为了给出准确的速度测量，它对其他车辆的行驶位置和方向都有较高要求。具体而言，对于未在毫米波传播区域且运动方向不平行于毫米波传播方向的车辆，它给出的速度测量往往有较大的误差。
2)基于相机数据的车辆速度确定方法。该方法通过深度学习技术，尤其是光流估计技术，利用相机采集的RGB图像对图像中物体进行速度估计，如FlowNet技术等等。但是，普通的RGB相机有一个比较明显的缺陷，那就是夜间几乎不可用。
3)基于激光雷达数据的车辆速度确定方法。该方法利用激光雷达点云估计速度，可以有效克服夜间问题，具体处理过程如下所述：根据点云检测算法检测出的凸包，计算两帧间检测出的同一对象凸包中心的偏移量，最后除以两帧时间间隔，即为对象速度。然而，这类方法受检测出的凸包形态影响，中心点往往不是对象真正的形态中心，因此估计的速度结果噪声较大。
综上所述，现有技术存在车辆速度估计准确度较低的问题，如何准确地确定其他车辆的速度，成为本领域技术人员迫切需要解决的问题。
发明内容
本申请提供车辆速度确定方法，以解决现有技术存在的速度估计准确度较低的问题。本申请另外提供车辆速度确定装置，车辆速度预测模型构建方法和装置，电子设备，路测感知设备，以及车辆。
本申请提供一种车辆速度确定方法，包括：
根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；
根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
可选的，所述根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，并确定车辆行驶速度，包括：
根据所述至少两个二维车辆图像确定与所述时间间隔对应的二维车辆位置偏移数据；
根据所述二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度。
可选的，通过车辆速度预测模型，根据所述至少两个二维车辆图像确定所述二维车辆位置偏移数据。
可选的，还包括：
从训练数据集中学习得到所述车辆速度预测模型；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据。
可选的，所述车辆速度预测模型采用如下步骤确定：
确定所述训练数据集；
构建所述车辆速度预测模型的网络结构；
从所述训练数据集中学习得到所述车辆速度预测模型。
可选的，所述网络结构包括车辆位移特征提取层和车辆位移特征上采样层。
可选的，所述二维车辆位置偏移真值数据包括与所述训练用二维车辆图像具有相同图像尺寸的二维车辆位置偏移真值图。
可选的，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据二维车辆位置偏移真值形成所述二维车辆位置偏移真值图；以及，根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
可选的，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
可选的，所述二维车辆位置偏移数据包括与所述二维车辆图像具有相同图像尺寸的二维车辆位置偏移数据图；
所述根据所述二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度，包括：
将各个车辆在所述二维车辆位置偏移数据图中对应的各个像素点的横坐标偏移分量的平均值和纵坐标偏移分量的平均值分别与所述时间间隔的比值，作为所述车辆行驶速度。
可选的，所述二维车辆位置偏移数据包括与所述二维车辆图像具有相同图像尺寸的二维车辆位置偏移数据图；
所述根据所述二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度，包括：
将各个车辆的二维车辆位置偏移数据转换为点云坐标系下的三维车辆位置偏移数据；
将所述车辆对应的各个空间点的横坐标偏移分量的平均值和纵坐标偏移分量的平均值分别与所述时间间隔的比值，作为所述车辆行驶速度。
可选的，所述二维车辆图像包括俯视角度的二维车辆图像。
可选的，所述根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像，包括：
确定车辆速度确定装置的姿态数据；
根据所述姿态数据，将最后一帧前的车辆点云数据转换为最后一帧的点云坐标系下的车辆点云数据；
根据坐标系转换后的最后一帧前的车辆点云数据，生成与所述最后一帧前的车辆点云数据对应的二维车辆图像。
可选的，还包括：
通过车辆检测模型从所述道路环境点云数据中提取所述车辆点云数据。
可选的，还包括：
采集所述道路环境点云数据。
本申请还提供一种车辆速度预测模型构建方法，包括：
确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；
构建车辆速度预测模型的网络结构；
从所述训练数据集中学习得到所述车辆速度预测模型。
可选的，所述网络结构包括车辆位移特征提取层和车辆位移特征上采样层。
可选的，所述二维车辆位置偏移真值数据包括与所述训练用二维车辆图像具有相同图像尺寸的二维车辆位置偏移真值图。
可选的，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据二维车辆位置偏移真值形成所述二维车辆位置偏移真值图；以及，根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
可选的，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
本申请还提供一种车辆速度确定装置，包括：
图像生成单元，用于根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；
速度确定单元，用于根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
本申请还提供一种车辆速度预测模型构建装置，包括：
数据确定单元，用于确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；
网络构建单元，用于构建车辆速度预测模型的网络结构；
模型训练单元，用于从所述训练数据集中学习得到所述车辆速度预测模型。
本申请还提供一种车辆，包括：
三维空间扫描装置；
处理器；以及
存储器，用于存储实现车辆速度确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过三维空间扫描装置采集道路环境点云数据；根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
本申请还提供一种路测感知设备，包括：
三维空间扫描装置；
处理器；以及
存储器，用于存储实现车辆速度确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过三维空间扫描装置采集道路环境点云数据；根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
本申请还提供一种电子设备，包括：
处理器；以及
存储器，用于存储实现车辆速度确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
本申请还提供一种电子设备，包括：
处理器；以及
存储器，用于存储实现车辆速度预测模型构建方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；构建车辆速度预测模型的网络结构；从所述训练数据集中学习得到所述车辆速度预测模型。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
与现有技术相比，本申请具有以下优点：
本申请实施例提供的车辆速度确定方法，通过根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中任意两帧数据的时间间隔，确定车辆行驶速度；这种处理方式，使得生成与至少两帧道路环境点云数据中的车辆点云数据对应的至少两个二维车辆图像，并根据这些图像和至少两帧数据中任意两帧数据的时间间隔，确定车辆的行驶速度；因此，可以有效提升车辆速度的准确度，从而提升道路交通安全性。
本申请实施例提供的车辆速度预测模型构建方法，通过确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；构建车辆速度预测模型的网络结构；从所述训练数据集中学习得到所述车辆速度预测模型；这种处理方式，使得从大量训练数据中学习得到可以根据至少两个二维车辆图像对车辆位移量进行预测的模型；因此，可以有效提升车辆速度预测模型的准确度。
附图说明
图1是本申请提供的一种车辆速度确定方法的实施例的流程图；
图2是本申请提供的一种车辆速度确定方法的实施例的具体流程图；
图3是本申请提供的一种车辆速度确定方法的实施例的车辆速度预测模型的网络结构示意图；
图4是本申请提供的一种车辆速度确定装置的实施例的示意图；
图5是本申请提供的一种车辆的实施例的示意图；
图6是本申请提供的一种路测感知设备的实施例的示意图；
图7是本申请提供的一种电子设备的实施例的示意图；
图8是本申请提供的一种车辆速度预测模型构建方法的实施例的流程图；
图9是本申请提供的一种车辆速度预测模型构建装置的实施例的示意图；
图10是本申请提供的一种电子设备实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了车辆速度确定方法和装置，车辆速度预测模型构建方法和装置，电子设备，路测感知设备，以及车辆。在下面的实施例中逐一对各种方案进行详细说明。
第一实施例
请参考图1，其为本申请提供的一种车辆速度确定方法实施例的流程图，该方法的执行主体可以是无人驾驶车辆，也可以是路测感知设备，或服务器等等。下面以无人驾驶车辆为例，对本申请提供的一种车辆速度确定方法进行说明。本申请提供的一种车辆速度确定方法包括：
步骤S101：根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像。
本申请实施例提供的方法，在车辆(以下简称自车)行驶过程中，可通过安装在车辆上的三维空间扫描装置，获取车辆行驶道路的环境空间物体表面每个采样点的空间坐标，得到点的集合，该海量点数据称为道路环境点云(Point Cloud)数据。通过道路环境点云数据，使得扫描物体表面以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。凭借点云数据，可以在同一空间参考系下表达目标空间。
所述三维空间扫描装置，可以是激光雷达(Light Detect ionAnd Ranging，Lidar)，通过激光扫描方式进行激光探测与测量，获得周围环境中障碍物信息，如建筑物、树木、人、车辆等等，其所测得的数据为数字表面模型(Digital Surface Model,DSM)的离散点表示。具体实施时，可采用16线、32线、64线等多线激光雷达，不同激光束数量的雷达采集点云数据的帧频(Frame Rate)不同，如16、32线每秒一般采集10帧点云数据。所述三维空间扫描装置，也可以是三维激光扫描仪或照相式扫描仪等设备。
本实施例中的自车在通过三维空间扫描装置采集道路环境点云数据之后，就可以根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像。
所述道路环境点云数据可包括道路环境空间中各种物体的点云数据，这些物体可以是树木、建筑物、道路上的行人及其他车辆等等。本申请实施例提供的方法，根据至少两帧道路环境点云数据中的车辆点云数据，确定道路上其他车辆的行驶速度。
所述至少两帧道路环境点云数据，可以是当前车辆(自车)最近采集到的两帧及以上的环境点云数据，例如，当前车辆在tn-τ,…,tn-1,tn这τ+1个时刻共采集了τ+1帧车辆驾驶途中的环境点云数据，每一帧环境点云数据可包括多个车辆的点云数据，因此本申请实施例提供的方法可根据这τ+1帧环境点云数据，确定多个车辆的行驶速度。
所述车辆点云数据，可通过车辆检测模型从所述道路环境点云数据中提取得到。车辆装载的激光雷达扫描得到一帧环境点云数据之后，可将环境点云数据传输到车辆检测模型,通过该模型检测得到车辆及其在环境点云数据中的三维位置数据，也就是说确定出环境点云数据中的车辆点云数据。所述三维位置数据，可以是车辆的矩形立方体包围盒的顶点坐标数据等等。
在本实施例中，所述车辆检测模型可采用基于深度学习的RefineDet方法，该方法在借鉴SSD这类单阶段方法运行速率快的基础上，又结合了Faster R-CNN这类两阶段方法，因此具有车辆检测准确率高的优点。该方法在检测到环境点云数据中的车辆点云数据时，即得到车辆的包围盒(bounding box)坐标，即所述车辆点云数据在环境点云数据中的位置数据。
步骤S101根据至少两帧环境点云数据中的车辆点云数据，生成至少两个二维车辆图像。所述二维车辆图像，可以是二维环境图像(即：根据环境点云数据构建的三维场景图的二维图像)中去除车辆以外的其他物体图像的图像，也就是说，二维车辆图像可以是只包括车辆图像的二维环境图像。
所述二维车辆图像，可以是在俯视图视角下的只包括车辆图像的二维环境图像。采用这种处理方式，使得二维车辆图像可以包括尽量多数量的车辆的二维投影点，根据较为全面的车辆点确定出的车辆行驶速度将更为准确。具体实施时，也可以采用其他视角下的二维车辆图像，如左视图、右视图、正面图等等。
在一个示例中，采集两个相邻帧(前一帧记为第0帧，后一帧记为第1帧)的环境点云数据，并采用俯视视角分别处理前后两帧车辆的点云，生成两张对应的多通道(包括车辆点的密度通道、个数通道等等)二维车辆图像，二维车辆图像的范围可涵盖自车附近的一定区域。在这一过程中，对于第0帧，由于自车可能存在运动，需要对点云坐标系进行时间上的同步，根据自车定位相关传感器给出的姿态信息，将这个第0帧投影到第1帧点云所在的坐标系，再生成二维车辆图像。
在另一个示例中，采集多帧(如第0帧、第1帧…第10帧)的环境点云数据，并采用俯视视角分别处理所有帧车辆的点云，生成多张(如10张)对应的多通道(包括车辆点的密度通道、个数通道等等)二维车辆图像，二维车辆图像的范围同样可涵盖自车附近的一定区域。在这种情况下，步骤S101可包括如下子步骤：1)确定自车的姿态数据；2)根据所述姿态数据，将最后一帧(如第10帧)前的车辆点云数据转换为最后一帧的点云坐标系下的车辆点云数据；3)根据坐标系转换后的最后一帧前的车辆点云数据，生成与所述最后一帧前的车辆点云数据对应的二维车辆图像。在这一过程中，对于第0帧到第9帧，由于自车可能存在运动，需要对点云坐标系进行时间上的同步，根据自车定位相关传感器给出的姿态信息，将第0帧到第9帧投影到第10帧点云所在的坐标系，再生成二维车辆图像。
需要说明的是，如果本申请实施例提供的方法的执行主体为路测感知设备，则由于该设备位置是固定不变的，因此在生成最后一帧前的二维车辆图像时，无需确定路测感知设备的姿态数据，也无需根据所述姿态数据，将最后一帧前的车辆点云数据转换为最后一帧的点云坐标系下的车辆点云数据。
步骤S103：根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中任意两帧数据的时间间隔，确定车辆行驶速度。
在获得与至少两帧道路环境点云数据中的车辆点云数据对应的至少两个二维车辆图像后，根据至少两个二维车辆图像和所述至少两帧道路环境点云数据中任意两帧数据的时间间隔，就可以确定车辆行驶速度。
在一个示例中，根据车辆在每一帧图像中的位置和所述时间间隔，确定车辆行驶速度。例如，在第0帧中车辆A在车辆B的前面，而在第1帧中车辆B超过车辆A，反而在车辆A的前面，这就说明车辆B的速度高于车辆A的速度，根据自车、车辆A、车辆B的位置及这两帧数据的时间间隔，即可确定车辆A和车辆B的行驶速度。
在另一个示例中，步骤S103可包括如下子步骤：
步骤S1031：根据所述至少两个二维车辆图像确定与所述时间间隔对应的二维车辆位置偏移数据。
所述二维车辆位置偏移数据，可以包括车辆在两帧时间间隔的横坐标位置偏移量和纵坐标位置偏移量。所述两帧时间间隔，可以是所述至少两帧道路环境点云数据中任意两帧数据的时间间隔。例如，自车在tn-τ,…,tn-1,tn这τ+1个时刻共采集了τ+1帧车辆驾驶途中的环境点云数据，通过本申请实施例提供的方法可确定其他车辆在时刻tn-1至时刻tn之间移动的距离，即其他车辆在地面横坐标的位置偏移量和纵坐标的位置偏移量，这种情况下的时间间隔为tn-tn-1。具体实施时，也可以是确定tn-2至时刻tn-1之间移动的距离，这种情况下的时间间隔为tn-1-tn-2；或者是确定tn-τ至时刻tn-3之间移动的距离，这种情况下的时间间隔为tn-3-tn-τ。
需要说明的是，由于一个二维车辆图像中的多个车辆通常具有不同的车辆行驶速度，因此不同车辆在两帧时间间隔的二维车辆位置偏移数据通常不同。
本申请实施例提供的方法，通过车辆速度预测模型确定车辆在两帧时间间隔的二维车辆位置偏移数据。所述车辆速度预测模型，可从大量标注有二维车辆位置偏移真值数据的至少两个二维车辆图像的训练数据集中学习得到，也就是说，所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据。
从时间维度而言，所述二维车辆位置偏移真值数据，可以是车辆在最后两帧时间间隔的二维车辆位置偏移真值，也可以是车辆在任意两帧时间间隔的二维车辆位置偏移真值。
从数据粒度维度而言，所述二维车辆位置偏移真值数据，可以包括与所述训练用二维车辆图像具有相同图像尺寸的二维车辆位置偏移真值图，也可以是比所述训练用二维车辆图像的图像尺寸更小的二维车辆位置偏移真值图，还可以只包括极少量的二维车辆位置偏移真值，极端情况下可以只包括一个横坐标的位移偏移量真值和一个纵坐标的位移偏移量真值，也就是说，训练用二维车辆图像中车辆的位移偏移量真值只包括两个数据，一个是该车辆的横坐标的位移偏移量真值，另一个是该车辆的纵坐标的位移偏移量真值。
请参考图2，其为本申请实施例提供的方法的具体流程图。在本实施例中，所述方法还可包括如下步骤：
步骤S201：从训练数据集中学习得到车辆速度预测模型。
所述训练数据集包括大量训练数据，也就是训练样本。需要注意的是，模型训练时的训练数据包括的二维车辆图像数量，应该与利用模型进行速度预测时的模型输入的二维车辆图像数量相同。
在本实施例中，步骤S201可包括如下子步骤：
步骤S2011：确定所述训练数据集。
在本实施例中，所述训练数据集采用如下步骤确定：1)获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；2)根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；3)将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；4)根据二维车辆位置偏移真值形成所述二维车辆位置偏移真值图；以及，根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
在训练所述车辆速度预测模型时，模型网络需要标注数据可以提供对连续帧(可以是两帧或两帧以上)跟踪对象(车辆)的3D矩形包围框(包括车辆点云数据)以及它们在帧间的对应关系，以便可以在相邻帧中提取出同一车辆，并生成至少两个训练用二维车辆图像。本实施例将同一车辆相邻帧3D矩形包围框的中心点偏移作为网络回归的偏移量真值，并投影到俯视图坐标系中，将该中心点的偏移量真值填充到第1帧该3D框对应的位置上，形成车辆在两帧时间间隔的二维车辆位置偏移真值图。表1示出了本实施例的确定训练数据用的标注数据。
Figure BDA0002068958590000121
表1、确定训练数据用的标注数据
表1中提供的标注数据可以提供对n个连续帧中的车辆的3D矩形包围框及该框在帧间的对应关系，以便可以在n个连续帧中提取出同一车辆。
步骤S2013：构建所述预测模型的网络结构。
请参考图3，其为本申请实施例提供的方法的预测模型的网络结构示意图。由图3可见，本实施例的模型网络结构为卷积神经网络，可包括多个卷积层和多个反卷积层，所述车辆速度预测模型输出的二维车辆位置偏移数据图与所述训练用二维车辆图像具有相同的图像尺寸。该网络将前后两帧点云生成的二维车辆图像在通道方向上串联起来作为模型的输入数据，模型输出一张两通道、宽高等于输入图像大小的二维车辆位置偏移数据图。由于模型输出图包括二维车辆位置偏移数据，体现了车辆的速度信息，因此也可称为速度图。两个通道分别反映了对应像素位置上存在的点云在图像坐标系下x和y方向上的偏移分量。
在本实施例中，对于输入的合并二维车辆图像，首先借助连续的几层卷积层和最大值池化层抽出特征图尺寸较小的车辆位移高维特征，再经由几层反卷积层恢复到原输入图像的大小，模型输出图包括二维车辆图像中各个车辆的各个像素点在两帧时间间隔的二维车辆位置偏移数据。本实施例将用于从输入特征图中抽取出特征图尺寸较小的较高维度的车辆位移特征的卷积层称为车辆位移特征提取层，具体实施时，可以包括多个车辆位移特征提取层。相应的，本实施例将用于从输入特征图中上采样出特征图尺寸较大的车辆位移特征的反卷积层称为车辆位移特征上采样层，直至经由最后一个反卷积层上采样出与原输入图像大小一致的二维车辆位置偏移数据图，具体实施时，可以包括多个车辆位移特征上采样层。采用这种处理方式，使得根据车辆在二维车辆图像中的二维位置，即可直接从二维车辆位置偏移数据图中获得输入的二维车辆图像中各个车辆的二维车辆位置偏移数据；因此，可以有效提升车辆速度的准确度，同时可以提升处理速度。
由图3可见，车辆位移特征上采样层的输入数据可包括与其相邻的上一个车辆位移特征上采样层的输出特征图，还可包括与该上一个车辆位移特征上采样层的输出特征图的图像尺寸相同的前面一个车辆位移特征提取层的输出特征图。采用这种处理方式，使得可保留更丰富的与车辆速度有关的特征数据，并从更丰富的特征数据中上采样出二维车辆位置偏移数据；因此，可以有效提升车辆速度的准确度。
在另一个示例中，模型网络结构也可以不包括反卷积层，也就是说，不包括车辆位移特征上采样层，在这样情况下，所述车辆速度预测模型输出的二维车辆位置偏移数据图可能与所述训练用二维车辆图像具有不同的图像尺寸。
在所述车辆速度预测模型的输入图像与输出图像尺寸不同的情况下，所述训练数据集可采用如下步骤确定：1)获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；2)根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；3)将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；4)根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。这种处理方式删减了“根据二维车辆偏移量真值形成所述二维车辆位置偏移真值图”的步骤，因此可以有效提升处理速度。然而，采用这种处理方式得到的模型准确度将低于上述具有车辆位移特征上采样层，且模型输出的二维车辆位置偏移数据图与输入至模型的二维车辆图像具有相同图像尺寸的模型的准确度。
步骤S2015：从所述训练数据集中学习得到所述预测模型。
在获得训练数据集、及构建模型网络结构后，就可以根据训练数据集对网络中的权重进行训练，当网络中的权重使得模型输出的二维车辆位置偏移数据图与二维车辆位置偏移真值图间的差异达到优化目标时，即可停止模型训练。
在本实施例中，为了达到较好的收敛效果，模型训练过程中还可执行以下两种处理：
1)训练中在计算损失函数时，借助于一张掩码图。在模型输入数据为两个二维车辆图像的情况下，该掩码图可对应于第1帧(另一帧为第0帧)二维车辆图像，使得只有第1帧二维车辆图像中对应有车辆的像素，该掩码图的对应像素值才为1，其他位置，该掩码图的像素为0。计算损失函数时，只有掩码值为1的像素才参与计算损失。
2)本实施例的模型网络采用多尺度的思想，在多个反卷积层的输出上计算损失函数，以帮助网络收敛。由于每个反卷积层的输出特征图的大小不一致，需要将所述真值图以及掩码图降采样到对应的大小后再计算损失。
步骤S1033：根据所述二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度。
在一个示例中，所述二维车辆位置偏移数据包括与所述二维车辆图像具有相同图像尺寸的二维车辆位置偏移数据图；相应的，步骤S1033可包括如下子步骤：1)将各个车辆的二维车辆位置偏移数据转换为点云坐标系下的三维车辆位置偏移数据；2)针对各个车辆，将所述车辆对应的各个空间点的横坐标偏移分量的平均值和纵坐标偏移分量的平均值分别与所述时间间隔的比值，作为该车辆的行驶速度。
在本实施例中，根据车辆最后采集的两帧环境点云数据确定行驶道路中其他车辆的行驶速度，可将最后一帧环境点云数据中的每个车辆的点云数据投影到速度图上，提取出每个点投影后对应像素的二维车辆偏移分量，并将该偏移分量转换回点云坐标系，作为该点在三维空间中x、y方向上的偏移分量，再将同一车辆所有点的三维车辆偏移分量的均值作为该车辆的三维车辆位置偏移分量。最终，该三维车辆位置偏移分量除以已知的两帧时间间隔，即为该车辆的行驶速度。采用这种处理方式，使得综合车辆所有点的位置偏移量确定车辆行驶速度；因此，可以有效提升车辆速度估计的准确度。
在另一个示例中，根据两帧环境点云数据中的车辆点云数据，生成两个二维车辆图像；将两个二维车辆图像作为所述预测模型的输入数据，通过所述预测模型生成与所述二维车辆图像具有相同图像尺寸的二维车辆位置偏移数据图；所述二维车辆位置偏移数据图包括横坐标偏移量图和纵坐标偏移量图；针对所述二维车辆图像中的各个车辆，根据所述横坐标偏移量图、纵坐标偏移量图和所述时间间隔，确定所述行驶速度。采用这种处理方式，使得直接根据车辆的各个点对应的二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度；因此，可以有效提升速度估计速度。
例如，车辆1在第0帧时刻t0至第1帧时刻t1的横坐标偏移分量为10米，纵坐标偏移分量为5米，时刻t0与时刻t1间隔500毫秒，则车辆1的行驶速度为72迈；车辆2在第0帧时刻t0至第1帧时刻t1的横坐标偏移分量为15米，纵坐标偏移分量为5米，时刻t0与时刻t1间隔500毫秒，则车辆2的行驶速度为108迈。
具体实施时，也可以将所述车辆对应的各个像素点的横坐标偏移分量的平均值和纵坐标偏移分量的平均值分别与所述时间间隔的比值，作为所述车辆行驶速度。采用这种方式，综合考虑车辆所有点的位置偏移量；因此，可以有效提升车辆速度估计准确度。
本实施例通过上述步骤S1031和1033的处理方式，使得可通过车辆速度预测模型确定车辆中的点(如所有点或部分点)的位置偏移量，并根据这些位置偏移量确定车辆的行驶速度；因此，可以有效提升车辆速度的准确度。
从上述实施例可见，本申请实施例提供的车辆速度确定方法，通过根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中任意两帧数据的时间间隔，确定车辆行驶速度；这种处理方式，使得生成与至少两帧道路环境点云数据中的车辆点云数据对应的至少两个二维车辆图像，并根据这些图像和至少两帧数据中任意两帧数据的时间间隔，确定车辆的行驶速度；因此，可以有效提升车辆速度的准确度，从而提升道路交通安全性。
第二实施例
在上述的实施例中，提供了一种车辆速度确定方法，与之相对应的，本申请还提供一种车辆速度确定装置。该装置是与上述方法的实施例相对应。
请参看图4，其为本申请的车辆速度确定装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种车辆速度确定装置，包括：
图像生成单元401，用于根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；
速度确定单元403，用于根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
第三实施例
在上述的实施例中，提供了一种车辆速度确定方法，与之相对应的，本申请还提供一种车辆。该车辆是与上述方法的实施例相对应。
请参看图5，其为本申请的车辆的实施例的示意图。由于车辆实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的车辆实施例仅仅是示意性的。
本申请另外提供一种车辆，包括：三维空间扫描装置500；处理器501；以及存储器502，用于存储实现车辆速度确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过三维空间扫描装置采集道路环境点云数据；根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
第四实施例
请参考图6，其为本申请的路测感知设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种路测感知设备，该电子设备包括：三维空间扫描装置600；处理器601和存储器602；所述存储器，用于存储实现方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过三维空间扫描装置采集道路环境点云数据；根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
第五实施例
请参考图7，其为本申请的电子设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器701和存储器702；所述存储器，用于存储实现方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
第六实施例
在上述的实施例中，提供了一种车辆速度确定方法，与之相对应的，本申请还提供一种车辆速度预测模型构建方法。该方法是与上述方法的实施例相对应。
请参考图8，其为本申请的车辆速度预测模型构建方法的实施例的流程图。由于该方法实施例基本相似于方法实施例一，所以描述得比较简单，相关之处参见方法实施例一的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种车辆速度预测模型构建方法，包括：
步骤S801：确定训练数据集。
所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据。所述二维车辆位置偏移真值数据，可以是与所述训练用二维车辆图像具有相同图像尺寸的二维车辆位置偏移真值图，也可以是与所述训练用二维车辆图像具有不同图像尺寸的二维车辆位置偏移真值图，等等。
在一个示例中，所述二维车辆位置偏移真值数据是与所述训练用二维车辆图像具有相同或不同图像尺寸的二维车辆位置偏移真值图；相应的，所述训练数据集，可采用如下步骤确定：1)获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；2)根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；3)将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；4)根据二维车辆位置偏移真值形成所述二维车辆位置偏移真值图；以及，根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
在另一个示例中，所述二维车辆位置偏移真值数据只包括极少量的二维车辆位置偏移真值，极端情况下可以只包括一个横坐标的位移偏移量真值和一个纵坐标的位移偏移量真值，也就是说，训练用二维车辆图像中车辆的位移偏移量真值只包括两个数据，一个是该车辆的横坐标的位移偏移量真值，另一个是该车辆的纵坐标的位移偏移量真值。相应的，所述训练数据集可采用如下步骤确定：1)获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；2)根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；3)将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；4)根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
步骤S803：构建车辆速度预测模型的网络结构。
所述网络结构，可包括至少一个车辆位移特征提取层和至少一个车辆位移特征上采样层，也可只包括车辆位移特征提取层。所述车辆位移特征提取层可以基于卷积运算实现，所述车辆位移特征上采样层可以基于反卷积运算实现。
步骤S805：从所述训练数据集中学习得到所述车辆速度预测模型。
此处请参见方法实施例一的步骤S2015部分的相关说明，此处不再赘述。
从上述实施例可可见，本申请实施例提供的车辆速度预测模型构建方法，通过确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；构建车辆速度预测模型的网络结构；从所述训练数据集中学习得到所述车辆速度预测模型；这种处理方式，使得从大量训练数据中学习得到可以根据至少两个二维车辆图像对车辆位移量进行预测的模型；因此，可以有效提升车辆速度预测模型的准确度。
第七实施例
请参考图9，其为本申请的车辆速度预测模型构建装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种车辆速度预测模型构建装置，包括：
数据确定单元901，用于确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；
网络构建单元903，用于构建车辆速度预测模型的网络结构；
模型训练单元905，用于从所述训练数据集中学习得到所述车辆速度预测模型。
第八实施例
请参考图10，其为本申请的电子设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器1001和存储器1002；所述存储器，用于存储实现方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；构建车辆速度预测模型的网络结构；从所述训练数据集中学习得到所述车辆速度预测模型。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (26)

1.一种车辆速度确定方法，其特征在于，包括：
根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；
根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，并确定车辆行驶速度，包括：
根据所述至少两个二维车辆图像确定与所述时间间隔对应的二维车辆位置偏移数据；
根据所述二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度。
3.根据权利要求2所述的方法，其特征在于，
通过车辆速度预测模型，根据所述至少两个二维车辆图像确定所述二维车辆位置偏移数据。
4.根据权利要求3所述的方法，其特征在于，还包括：
从训练数据集中学习得到所述车辆速度预测模型；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据。
5.根据权利要求4所述的方法，其特征在于，所述车辆速度预测模型采用如下步骤确定：
确定所述训练数据集；
构建所述车辆速度预测模型的网络结构；
从所述训练数据集中学习得到所述车辆速度预测模型。
6.根据权利要求5所述的方法，其特征在于，
所述网络结构包括车辆位移特征提取层和车辆位移特征上采样层。
7.根据权利要求6所述的方法，其特征在于，
所述二维车辆位置偏移真值数据包括与所述训练用二维车辆图像具有相同图像尺寸的二维车辆位置偏移真值图。
8.根据权利要求7所述的方法，其特征在于，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据二维车辆位置偏移真值形成所述二维车辆位置偏移真值图；以及，根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
9.根据权利要求5所述的方法，其特征在于，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
10.根据权利要求2所述的方法，其特征在于，
所述二维车辆位置偏移数据包括与所述二维车辆图像具有相同图像尺寸的二维车辆位置偏移数据图；
所述根据所述二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度，包括：
将各个车辆在所述二维车辆位置偏移数据图中对应的各个像素点的横坐标偏移分量的平均值和纵坐标偏移分量的平均值分别与所述时间间隔的比值，作为所述车辆行驶速度。
11.根据权利要求2所述的方法，其特征在于，
所述二维车辆位置偏移数据包括与所述二维车辆图像具有相同图像尺寸的二维车辆位置偏移数据图；
所述根据所述二维车辆位置偏移数据及所述时间间隔，确定车辆行驶速度，包括：
将各个车辆的二维车辆位置偏移数据转换为点云坐标系下的三维车辆位置偏移数据；
将所述车辆对应的各个空间点的横坐标偏移分量的平均值和纵坐标偏移分量的平均值分别与所述时间间隔的比值，作为所述车辆行驶速度。
12.根据权利要求1所述的方法，其特征在于，所述二维车辆图像包括俯视角度的二维车辆图像。
13.根据权利要求1所述的方法，其特征在于，所述根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像，包括：
确定车辆速度确定装置的姿态数据；
根据所述姿态数据，将最后一帧前的车辆点云数据转换为最后一帧的点云坐标系下的车辆点云数据；
根据坐标系转换后的最后一帧前的车辆点云数据，生成与所述最后一帧前的车辆点云数据对应的二维车辆图像。
14.根据权利要求1所述的方法，其特征在于，还包括：
通过车辆检测模型从所述道路环境点云数据中提取所述车辆点云数据。
15.根据权利要求1所述的方法，其特征在于，还包括：
采集所述道路环境点云数据。
16.一种车辆速度预测模型构建方法，其特征在于，包括：
确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；
构建车辆速度预测模型的网络结构；
从所述训练数据集中学习得到所述车辆速度预测模型。
17.根据权利要求16所述的方法，其特征在于，
所述网络结构包括车辆位移特征提取层和车辆位移特征上采样层。
18.根据权利要求17所述的方法，其特征在于，
所述二维车辆位置偏移真值数据包括与所述训练用二维车辆图像具有相同图像尺寸的二维车辆位置偏移真值图。
19.根据权利要求18所述的方法，其特征在于，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据二维车辆位置偏移真值形成所述二维车辆位置偏移真值图；以及，根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
20.根据权利要求16所述的方法，其特征在于，所述训练数据集采用如下步骤确定：
获取具有三维车辆包围盒及车辆标识标注数据的至少两帧训练用环境点云数据；
根据所述标注数据，将同一车辆的预设两帧的三维车辆包围盒的中心点偏移量作为三维车辆位置偏移真值；
将所述三维车辆位置偏移真值投影至俯视图坐标系，得到二维车辆位置偏移真值；
根据至少两帧训练用环境点云数据中的车辆点云数据，生成至少两个训练用二维车辆图像。
21.一种车辆速度确定装置，其特征在于，包括：
图像生成单元，用于根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；
速度确定单元，用于根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
22.一种车辆速度预测模型构建装置，其特征在于，包括：
数据确定单元，用于确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；
网络构建单元，用于构建车辆速度预测模型的网络结构；
模型训练单元，用于从所述训练数据集中学习得到所述车辆速度预测模型。
23.一种车辆，其特征在于，包括：
三维空间扫描装置；
处理器；以及
存储器，用于存储实现车辆速度确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过三维空间扫描装置采集道路环境点云数据；根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
24.一种路测感知设备，其特征在于，包括：
三维空间扫描装置；
处理器；以及
存储器，用于存储实现车辆速度确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过三维空间扫描装置采集道路环境点云数据；根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
25.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储实现车辆速度确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据至少两帧道路环境点云数据中的车辆点云数据，生成至少两个二维车辆图像；根据所述至少两个二维车辆图像和所述至少两帧道路环境点云数据中两帧数据的时间间隔，确定车辆行驶速度。
26.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储实现车辆速度预测模型构建方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定训练数据集；所述训练数据包括至少两个训练用二维车辆图像和二维车辆位置偏移真值数据；构建车辆速度预测模型的网络结构；从所述训练数据集中学习得到所述车辆速度预测模型。
CN201910431632.6A 2019-05-22 2019-05-22 车辆速度确定方法及车辆 Active CN111986472B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910431632.6A CN111986472B (zh) 2019-05-22 2019-05-22 车辆速度确定方法及车辆
PCT/CN2020/089606 WO2020233436A1 (zh) 2019-05-22 2020-05-11 车辆速度确定方法及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910431632.6A CN111986472B (zh) 2019-05-22 2019-05-22 车辆速度确定方法及车辆

Publications (2)

Publication Number Publication Date
CN111986472A true CN111986472A (zh) 2020-11-24
CN111986472B CN111986472B (zh) 2023-04-28

Family

ID=73436392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910431632.6A Active CN111986472B (zh) 2019-05-22 2019-05-22 车辆速度确定方法及车辆

Country Status (2)

Country Link
CN (1) CN111986472B (zh)
WO (1) WO2020233436A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612500A (zh) * 2022-01-28 2022-06-10 广州文远知行科技有限公司 基于点云的车辆速度估计方法、装置、设备及存储介质
CN114648886A (zh) * 2022-03-07 2022-06-21 深圳市腾运发电子有限公司 一种新能源汽车的管控方法、装置、电子设备及存储介质
CN115049698A (zh) * 2022-08-17 2022-09-13 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634343A (zh) * 2020-12-23 2021-04-09 北京百度网讯科技有限公司 图像深度估计模型的训练方法、图像深度信息的处理方法
CN112652016B (zh) * 2020-12-30 2023-07-28 北京百度网讯科技有限公司 点云预测模型的生成方法、位姿估计方法及其装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205126A (zh) * 2016-08-12 2016-12-07 北京航空航天大学 基于卷积神经网络的大规模交通网络拥堵预测方法及装置
CN106872722A (zh) * 2017-04-25 2017-06-20 北京精英智通科技股份有限公司 一种速度的测量方法和装置
WO2017119545A1 (ko) * 2016-01-06 2017-07-13 (주)안세기술 2d 레이저 센서와 모터를 구비하는 스캐너를 이용하여 항공기를 주기장에 안전하게 유도하는 방법
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN107194957A (zh) * 2017-04-17 2017-09-22 武汉光庭科技有限公司 智能驾驶中激光雷达点云数据与车辆信息融合的方法
CN107193011A (zh) * 2016-03-15 2017-09-22 山东理工大学 一种用于快速计算无人驾驶车感兴趣区域内车辆速度的方法
WO2018020680A1 (ja) * 2016-07-29 2018-02-01 パイオニア株式会社 測定装置、測定方法、及び、プログラム
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN108541322A (zh) * 2016-08-29 2018-09-14 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
CN108985171A (zh) * 2018-06-15 2018-12-11 上海仙途智能科技有限公司 运动状态估计方法和运动状态估计装置
CN109271880A (zh) * 2018-08-27 2019-01-25 深圳清创新科技有限公司 车辆检测方法、装置、计算机设备和存储介质
CN109345829A (zh) * 2018-10-29 2019-02-15 百度在线网络技术（北京）有限公司 无人车的监控方法、装置、设备及存储介质
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
WO2019037484A1 (zh) * 2017-08-23 2019-02-28 腾讯科技（深圳）有限公司 激光扫描设备标定的方法、装置、设备及存储介质
CN109631915A (zh) * 2018-12-19 2019-04-16 百度在线网络技术（北京）有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
CN109683170A (zh) * 2018-12-27 2019-04-26 驭势科技（北京）有限公司 一种图像行驶区域标注方法、装置、车载设备及存储介质
CN109726692A (zh) * 2018-12-29 2019-05-07 重庆集诚汽车电子有限责任公司 基于深度学习的高清摄像头3d目标检测系统
CN109782015A (zh) * 2019-03-21 2019-05-21 同方威视技术股份有限公司 激光测速方法、控制装置和激光测速仪

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
CN108196535B (zh) * 2017-12-12 2021-09-07 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108460791A (zh) * 2017-12-29 2018-08-28 百度在线网络技术（北京）有限公司 用于处理点云数据的方法和装置
CN109376664B (zh) * 2018-10-29 2021-03-09 百度在线网络技术（北京）有限公司 机器学习训练方法、装置、服务器和介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119545A1 (ko) * 2016-01-06 2017-07-13 (주)안세기술 2d 레이저 센서와 모터를 구비하는 스캐너를 이용하여 항공기를 주기장에 안전하게 유도하는 방법
CN107193011A (zh) * 2016-03-15 2017-09-22 山东理工大学 一种用于快速计算无人驾驶车感兴趣区域内车辆速度的方法
WO2018020680A1 (ja) * 2016-07-29 2018-02-01 パイオニア株式会社 測定装置、測定方法、及び、プログラム
EP3493177A1 (en) * 2016-07-29 2019-06-05 Pioneer Corporation Measurement device, measurement method, and program
CN106205126A (zh) * 2016-08-12 2016-12-07 北京航空航天大学 基于卷积神经网络的大规模交通网络拥堵预测方法及装置
CN108541322A (zh) * 2016-08-29 2018-09-14 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN107194957A (zh) * 2017-04-17 2017-09-22 武汉光庭科技有限公司 智能驾驶中激光雷达点云数据与车辆信息融合的方法
CN106872722A (zh) * 2017-04-25 2017-06-20 北京精英智通科技股份有限公司 一种速度的测量方法和装置
WO2019037484A1 (zh) * 2017-08-23 2019-02-28 腾讯科技（深圳）有限公司 激光扫描设备标定的方法、装置、设备及存储介质
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN108985171A (zh) * 2018-06-15 2018-12-11 上海仙途智能科技有限公司 运动状态估计方法和运动状态估计装置
CN109271880A (zh) * 2018-08-27 2019-01-25 深圳清创新科技有限公司 车辆检测方法、装置、计算机设备和存储介质
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN109345829A (zh) * 2018-10-29 2019-02-15 百度在线网络技术（北京）有限公司 无人车的监控方法、装置、设备及存储介质
CN109631915A (zh) * 2018-12-19 2019-04-16 百度在线网络技术（北京）有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
CN109683170A (zh) * 2018-12-27 2019-04-26 驭势科技（北京）有限公司 一种图像行驶区域标注方法、装置、车载设备及存储介质
CN109726692A (zh) * 2018-12-29 2019-05-07 重庆集诚汽车电子有限责任公司 基于深度学习的高清摄像头3d目标检测系统
CN109782015A (zh) * 2019-03-21 2019-05-21 同方威视技术股份有限公司 激光测速方法、控制装置和激光测速仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨恺;徐友春;安相璧;李永乐;刘鲲鹏;: "基于深度学习的车辆检测方法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612500A (zh) * 2022-01-28 2022-06-10 广州文远知行科技有限公司 基于点云的车辆速度估计方法、装置、设备及存储介质
CN114648886A (zh) * 2022-03-07 2022-06-21 深圳市腾运发电子有限公司 一种新能源汽车的管控方法、装置、电子设备及存储介质
CN115049698A (zh) * 2022-08-17 2022-09-13 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置
CN115049698B (zh) * 2022-08-17 2022-11-04 杭州兆华电子股份有限公司 一种手持声成像设备的云图显示方法及装置

Also Published As

Publication number Publication date
WO2020233436A1 (zh) 2020-11-26
CN111986472B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111986472B (zh) 车辆速度确定方法及车辆
CN107610084B (zh) 一种对深度图像和激光点云图进行信息融合的方法与设备
CN111024040B (zh) 距离估计方法和设备
US11455806B2 (en) System and method for free space estimation
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
CN108475058B (zh) 估计对象接触时间的系统和方法、计算机可读介质
CN111209825B (zh) 一种用于动态目标3d检测的方法和装置
WO2018177159A1 (zh) 运动物体的位置确定方法及系统
CN112912920A (zh) 用于2d卷积神经网络的点云数据转换方法和系统
US11275673B1 (en) Simulated LiDAR data
Perrollaz et al. A visibility-based approach for occupancy grid computation in disparity space
KR101864127B1 (ko) 무인 차량을 위한 주변 환경 매핑 방법 및 장치
JP7389729B2 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
CN115311646A (zh) 一种障碍物检测的方法及装置
JP2022045947A5 (zh)
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN114549542A (zh) 视觉语义分割方法、装置及设备
US20230401748A1 (en) Apparatus and methods to calibrate a stereo camera pair
WO2024015891A1 (en) Image and depth sensor fusion methods and systems
CN111460854B (zh) 一种远距离目标检测方法、装置及系统
JP2022035033A (ja) 情報処理システム、情報処理方法、プログラムおよび車両制御システム
WO2022267444A1 (zh) 用于相机标定的方法及装置
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
CN112183378A (zh) 一种基于颜色和深度图像的道路坡度估计方法及装置
Natarajan et al. Accelerating occupancy grid map computation with gpu for real-time obstacle detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230705

Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.