CN111738033B - 基于平面分割的车辆行驶信息确定方法及装置、车载终端 - Google Patents

基于平面分割的车辆行驶信息确定方法及装置、车载终端 Download PDF

Info

Publication number
CN111738033B
CN111738033B CN201910224891.1A CN201910224891A CN111738033B CN 111738033 B CN111738033 B CN 111738033B CN 201910224891 A CN201910224891 A CN 201910224891A CN 111738033 B CN111738033 B CN 111738033B
Authority
CN
China
Prior art keywords
vehicle
image frame
detected
road image
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910224891.1A
Other languages
English (en)
Other versions
CN111738033A (zh
Inventor
李亚
费晓天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910224891.1A priority Critical patent/CN111738033B/zh
Publication of CN111738033A publication Critical patent/CN111738033A/zh
Application granted granted Critical
Publication of CN111738033B publication Critical patent/CN111738033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开基于平面分割的车辆行驶信息方法、装置及车载终端。该方法包括：将道路图像帧中的待检测车辆区域输入车辆平面划分模型，由车辆平面划分模型根据预先训练好的模型参数，确定用于分割待检测车辆的各个方向平面的分割信息；当根据分割信息确定待检测车辆区域存在横向平面时，根据分割信息对待检测车辆区域进行分割，得到道路图像帧中的横向平面；从道路图像帧和上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据第一对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。应用本发明实施例提供的方案，能够更准确地确定待检测车辆的车辆行驶信息。

Description

基于平面分割的车辆行驶信息确定方法及装置、车载终端
技术领域
本发明涉及自动驾驶技术领域，具体而言，涉及一种基于平面分割的车辆行驶信息确定方法及装置、车载终端。
背景技术
随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。高精度车辆探测识别、跟踪、距离和速度估计是道路场景分析与环境感知中的重要元素，也是自动驾驶领域一个不可或缺的部分。根据车辆上安装的各种传感器采集的数据，可以分析道路上的车道线、静止障碍物、红绿灯、交通标识等道路信息和道路区域的行人信息。与此相比，道路上的车辆行驶信息的分析处理往往更加复杂，一般来说包括：对道路场景下待检测车辆的跟踪分析、待检测车辆与当前车辆的距离分析及速度分析等。当前车辆是指各种传感器所在的车辆，待检测车辆是指可能会对当前车辆的行驶起到影响作用的车辆。
相关技术中，可以通过图像采集设备获取当前车辆周围环境中包含待检测车辆的图像，采用车辆检测技术对该图像进行处理，得到图像中待检测车辆的速度、位置与姿态等。这里图像采集设备获取的图像是指具有较短时间间隔的多帧图像。并且，通过运动目标跟踪技术，能够确定图像中待检测车辆的车辆行驶信息等。
上述方法能够在一定精度范围内得到待检测车辆的车辆行驶信息。但是，在确定车辆行驶信息时，采用的是对图像中的车辆区域进行跟踪，并利用帧间的车辆位置差异确定车辆行驶信息的方式。当待检测车辆距离当前车辆较近时，或者待检测车辆的速度与当前车辆速度差异不大时，车辆在图像帧之间的位置差异较小，可能无法准确地确定该位置差异，也就无法更准确地确定车辆行驶信息。
发明内容
本发明提供了一种基于平面分割的车辆行驶信息确定方法及装置、车载终端，以更准确地确定待检测车辆的车辆行驶信息。具体的技术方案如下。
第一方面，本发明实施例提供了一种基于平面分割的车辆行驶信息确定方法，包括：
获取采集的当前车辆周围的道路图像帧，确定所述道路图像帧中的待检测车辆区域；其中，所述道路图像帧包括当前车辆之外的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
将所述待检测车辆区域输入车辆平面划分模型，由所述车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割所述待检测车辆的各个方向的平面的分割信息；
当根据所述分割信息确定所述待检测车辆区域存在所述待检测车辆的横向平面时，根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的横向平面；其中，横向为与所述当前车辆的前后方向垂直的方向；
获取确定的上一道路图像帧中所述待检测车辆的横向平面；
从所述道路图像帧和所述上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述卷积层包括第一参数，所述全连接层包括第二参数；所述车辆平面划分模型采用以下方式训练完成：
获取样本车辆图像和标注的所述样本车辆图像中样本车辆的各个标准分割信息，将所述样本车辆图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本车辆图像的像素点进行特征提取，得到所述样本车辆图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本车辆图像中样本车辆的各个参考分割信息；
将所述参考分割信息与对应的标准分割信息进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，返回执行所述将所述样本车辆图像输入所述卷积层的步骤；当所述差异量小于所述预设差异阈值时，确定所述车辆平面划分模型训练完成。
可选的，所述获取确定的上一道路图像帧中所述待检测车辆的横向平面的步骤，包括：
获取上一道路图像帧对应的横向平面；
当获取的所述上一道路图像帧的横向平面至少属于两个待检测车辆时，提取所述道路图像帧和所述上一道路图像帧中各个横向平面的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的横向平面的特征信息分别进行匹配；
将匹配成功的所述上一道路图像帧的横向平面确定为所述待检测车辆的横向平面。
可选的，所述根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息的步骤，包括：
根据以下第一预设公式确定所述道路图像帧对应的变换矩阵H：
Figure BDA0002004869330000031
其中，所述X1和X0分别为所述道路图像帧和上一道路图像帧中的第一对应特征点的位置，所述H中的S为所述相关联的横向平面之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的横向平面之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，在将所述待检测车辆区域输入车辆平面划分模型之前，所述方法还包括：
当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆平面划分模型；其中，所述第一时刻为上一次将采集的道路图像帧中的待检测车辆区域输入所述车辆平面划分模型的时刻。
可选的，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，所述方法还包括：
获取确定的上一道路图像帧中所述待检测车辆的横向平面以及所述上一道路图像帧对应的变换矩阵；
根据所述上一道路图像帧中所述待检测车辆的横向平面和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧中所述待检测车辆的横向平面。
可选的，当所述分割信息包括所述待检测车辆的轮子点位置时，所述方法还包括：
根据所述轮子点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述轮子点位置为：所述道路图像帧中所述待检测车辆的轮胎区域的接地像素点位置。
可选的，所述根据所述轮子点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息的步骤，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
Figure BDA0002004869330000041
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述轮子点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
可选的，当根据所述分割信息确定所述待检测车辆区域不存在所述待检测车辆的横向平面时，所述方法还包括：
根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的其他平面；其中，所述其他平面为所述待检测车辆中除了所述横向平面之外的平面；
获取确定的上一道路图像帧中所述待检测车辆的其他平面；
从所述道路图像帧和所述上一道路图像帧之间相关联的其他平面中选取第二对应特征点，根据所述第二对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
第二方面，本发明实施例提供了一种基于平面分割的车辆行驶信息确定装置，包括：
第一获取模块，被配置为获取采集的当前车辆周围的道路图像帧，确定所述道路图像帧中的待检测车辆区域；其中，所述道路图像帧包括当前车辆之外的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
第一确定模块，被配置为将所述待检测车辆区域输入车辆平面划分模型，由所述车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割所述待检测车辆的各个方向的平面的分割信息；
第一分割模块，被配置为当根据所述分割信息确定所述待检测车辆区域存在所述待检测车辆的横向平面时，根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的横向平面；其中，横向为与所述当前车辆的前后方向垂直的方向；
第二获取模块，被配置为获取确定的上一道路图像帧中所述待检测车辆的横向平面；
第二确定模块，被配置为从所述道路图像帧和所述上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述卷积层包括第一参数，所述全连接层包括第二参数；所述装置还包括：训练模块；
所述训练模块，被配置为采用以下操作训练得到所述车辆平面划分模型：
获取样本车辆图像和标注的所述样本车辆图像中样本车辆的各个标准分割信息，将所述样本车辆图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本车辆图像的像素点进行特征提取，得到所述样本车辆图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本车辆图像中样本车辆的各个参考分割信息；
将所述参考分割信息与对应的标准分割信息进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，将所述样本车辆图像输入所述卷积层；当所述差异量小于所述预设差异阈值时，确定所述车辆平面划分模型训练完成。
可选的，所述第二获取模块，具体被配置为：
获取上一道路图像帧对应的横向平面；
当获取的所述上一道路图像帧的横向平面至少属于两个待检测车辆时，提取所述道路图像帧和所述上一道路图像帧中各个横向平面的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的横向平面的特征信息分别进行匹配；
将匹配成功的所述上一道路图像帧的横向平面确定为所述待检测车辆的横向平面。
可选的，所述第二确定模块，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息时，包括：
根据以下第一预设公式确定所述道路图像帧对应的变换矩阵H：
Figure BDA0002004869330000061
其中，所述X1和X0分别为所述道路图像帧和上一道路图像帧中的第一对应特征点的位置，所述H中的S为所述相关联的横向平面之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的横向平面之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述第一确定模块，还被配置为：
在将所述待检测车辆区域输入车辆平面划分模型之前，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆平面划分模型；其中，所述第一时刻为上一次将采集的道路图像帧中的待检测车辆区域输入所述车辆平面划分模型的时刻。
可选的，所述装置还包括：
第三确定模块，被配置为当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧中所述待检测车辆的横向平面以及所述上一道路图像帧对应的变换矩阵；根据所述上一道路图像帧中所述待检测车辆的横向平面和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧中所述待检测车辆的横向平面。
可选的，所述装置还包括：
第四确定模块，被配置为当所述分割信息包括所述待检测车辆的轮子点位置时，根据所述轮子点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述轮子点位置为：所述道路图像帧中所述待检测车辆的轮胎区域的接地像素点位置。
可选的，所述第四确定模块，具体被配置为：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
Figure BDA0002004869330000071
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述轮子点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
可选的，所述装置还包括：
第二分割模块，被配置为当根据所述分割信息确定所述待检测车辆区域不存在所述待检测车辆的横向平面时，根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的其他平面；其中，所述其他平面为所述待检测车辆中除了所述横向平面之外的平面；
第三获取模块，被配置为获取确定的上一道路图像帧中所述待检测车辆的其他平面；
第五确定模块，被配置为从所述道路图像帧和所述上一道路图像帧之间相关联的其他平面中选取第二对应特征点，根据所述第二对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
第三方面，本发明实施例提供了一种车载终端，包括：处理器和图像采集设备；所述图像采集设备位于当前车辆；
所述图像采集设备，采集所述当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆之外的待检测车辆；
所述处理器，获取采集的当前车辆周围的道路图像帧，确定所述道路图像帧中的待检测车辆区域；将所述待检测车辆区域输入车辆平面划分模型，由所述车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割所述待检测车辆的各个方向的平面的分割信息；当根据所述分割信息确定所述待检测车辆区域存在所述待检测车辆的横向平面时，根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的横向平面；获取确定的上一道路图像帧中所述待检测车辆的横向平面；从所述道路图像帧和所述上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息；其中，横向为与所述当前车辆的前后方向垂直的方向。
可选的，所述卷积层包括第一参数，所述全连接层包括第二参数；所述车辆平面划分模型采用以下操作训练完成：
获取样本车辆图像和标注的所述样本车辆图像中样本车辆的各个标准分割信息，将所述样本车辆图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本车辆图像的像素点进行特征提取，得到所述样本车辆图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本车辆图像中样本车辆的各个参考分割信息；
将所述参考分割信息与对应的标准分割信息进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，返回执行所述将所述样本车辆图像输入所述卷积层的步骤；当所述差异量小于所述预设差异阈值时，确定所述车辆平面划分模型训练完成。
可选的，所述处理器，获取确定的上一道路图像帧中所述待检测车辆的横向平面时，包括：
获取上一道路图像帧对应的横向平面；
当获取的所述上一道路图像帧的横向平面至少属于两个待检测车辆时，提取所述道路图像帧和所述上一道路图像帧中各个横向平面的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的横向平面的特征信息分别进行匹配；
将匹配成功的所述上一道路图像帧的横向平面确定为所述待检测车辆的横向平面。
可选的，所述处理器，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息时，包括：
根据以下第一预设公式确定所述道路图像帧对应的变换矩阵H：
Figure BDA0002004869330000091
其中，所述X1和X0分别为所述道路图像帧和上一道路图像帧中的第一对应特征点的位置，所述H中的S为所述相关联的横向平面之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的横向平面之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
可选的，所述处理器，还在将所述待检测车辆区域输入车辆平面划分模型之前，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆平面划分模型；其中，所述第一时刻为上一次将采集的道路图像帧中的待检测车辆区域输入所述车辆平面划分模型的时刻。
可选的，所述处理器，还当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧中所述待检测车辆的横向平面以及所述上一道路图像帧对应的变换矩阵；根据所述上一道路图像帧中所述待检测车辆的横向平面和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧中所述待检测车辆的横向平面。
可选的，所述处理器，还当所述分割信息包括所述待检测车辆的轮子点位置时，根据所述轮子点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述轮子点位置为：所述道路图像帧中所述待检测车辆的轮胎区域的接地像素点位置。
可选的，所述处理器，根据所述轮子点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息时，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
Figure BDA0002004869330000101
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述轮子点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
可选的，所述处理器，还在根据所述分割信息确定所述待检测车辆区域不存在所述待检测车辆的横向平面时，执行以下操作：
根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的其他平面；其中，所述其他平面为所述待检测车辆中除了所述横向平面之外的平面；
获取确定的上一道路图像帧中所述待检测车辆的其他平面；
从所述道路图像帧和所述上一道路图像帧之间相关联的其他平面中选取第二对应特征点，根据所述第二对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
由上述内容可知，本发明实施例提供的基于平面分割的车辆行驶信息确定方法及装置、车载终端，可以根据从车辆平面划分模型确定的待检测车辆的分割信息，对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的横向平面，并从道路图像帧和上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据第一对应特征点之间的位置差异和时间差，确定车辆速度信息。由于本发明实施例从两图像帧中相关联的横向平面中选取对应特征点，横向平面可以是车辆的前平面或后平面，当待检测车辆移动时，横向平面的位置移动更明显；并且，从横向平面中选取对应特征点，能够缩小选取对应特征点的范围，使得确定的对应特征点更准确，因此，本发明实施例能够更准确地确定待检测车辆的车辆速度信息。
本发明实施例的创新点包括：
1、当待检测车辆距离当前车辆较近时，或者待检测车辆的速度与当前车辆速度差异不大时，车辆在图像帧之间的位置差异较小。从道路图像帧的横向平面中选取对应特征点，能够更准确地确定特征点，且横向平面的移动更明显，这些均能够使得检测得到的车辆速度信息更准确。
2、通过预先得到的第一预设公式以及对应特征点之间的位置差异，可以计算出车辆在不同图像帧之间横向上的平移量和在纵向上缩放量，根据该平移量和缩放量计算出车辆的速度，使得在车辆距离周围车很近或车辆之间速度差较小时通过图像帧计算车辆的速度。
3、间隔性地通过车辆平面划分模型对待检测车辆进行平面分割，不输入车辆平面划分模型的图像帧，能够根据上一道路图像帧的横向平面和变换矩阵确定待检测车辆的横向平面，使得整体处理流程的效率提高。
4、当图像帧中没有待检测车辆的横向平面时，可以根据待检测车辆其他平面上的对应特征点，确定车辆速度信息。由于缩小了确定对应特征点的平面范围，因此也能提高车辆速度信息的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于平面分割的车辆行驶信息确定方法的一种流程示意图；
图2(1)为本发明实施例中道路图像帧的一种参考图；
图2(2)为本发明实施例中不同道路图像帧中对应特征点的一种参考图；
图3为本发明实施例提供的基于平面分割的车辆行驶信息确定装置的一种结构示意图；
图4为本发明实施例提供的车载终端的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种基于平面分割的车辆行驶信息确定方法及装置、车载终端，能够更准确地确定待检测车辆的车辆行驶信息。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于平面分割的车辆行驶信息确定方法的一种流程示意图。该方法应用于处理器或包含处理器的电子设备。该处理器可以包括CPU或微处理器。该方法具体包括以下步骤S110～S150。
S110：获取采集的当前车辆周围的道路图像帧，确定道路图像帧中的待检测车辆区域。
其中，道路图像帧包括当前车辆之外的待检测车辆，采集道路图像帧的图像采集设备位于当前车辆。图像采集设备可以是行车记录仪或者监控相机等。图像采集设备可以安装于当前车辆内部，也可以安装在当前车辆外部。道路图像帧也可以是当前车辆中安装的摄像头出现故障时，车上的乘客通过手机等设备拍摄的道路图像。图像采集设备的采集范围可以是当前车辆前方、后方或侧方的道路场景。待检测车辆可以是当前车辆前方、后方或者侧方的车辆。待检测车辆可以理解为待检测的当前车辆周围的车辆行驶信息的车辆。车辆行驶信息通常是待检测车辆相对于当前车辆的行驶信息。
上述道路图像帧可以是图像采集设备采集的道路图像帧序列中的一个图像帧。
以上仅为获取道路图像帧的一些具体示例，本申请对道路图像帧的获取方式不做限定，可以根据需求采取不同的实现方式。
确定道路图像帧中的待检测车辆区域时，可以将道路图像帧输入车辆检测模型，由车辆检测模型检测根据训练好的模型参数确定道路图像帧中的待检测车辆区域。其中，车辆检测模型可以为预先采用卷积神经网络并根据样本车辆图像和标注的标准车辆区域进行训练得到的。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。车辆检测模型也可以采用深度卷积神经网络模型进行训练。
道路图像帧中可能存在一个车辆，也可能存在多个车辆，可以将道路图像帧中的每个车辆均作为待检测车辆，也可以将某个车辆作为待检测车辆。
S120：将待检测车辆区域输入车辆平面划分模型，由车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割待检测车辆的各个方向的平面的分割信息。
其中，待检测车辆是一个三维立体的物体，能在图像中显示的平面包括：后平面、前平面、左平面和右平面等。前平面和后平面可以称为横向平面，左 平面和右平面可以称为纵向平面。上述分割信息可以包括平面之间的棱线、待检测车辆的朝向等。棱线可以理解为两个平面相连接的区域。朝向是指待检测车辆的摆放方向，可以是车头正向的朝向。
上述分割信息还可以包括待检测车辆区域中是否存在棱线的信息。当不存在棱线时，认为待检测车辆区域中只有待检测车辆的一个平面，即当前车辆正对待检测车辆。
例如，在图像采集设备采集的是当前车辆前方图像的情况下，当车头正向朝向为北偏东30度时，棱线为后平面和右平面之间的连接区域；当车头正向朝向为北偏西30度时，棱线为后平面和左平面之间的连接区域。参见图2 (1)所示的道路图像帧，其中最大的矩形包含的区域为待检测车辆区域，待检测车辆的后平面和右平面分别用小矩形框框住，两个小矩形框相连接的区域为棱线区域。
待检测车辆区域可以包括棱线，也可以不包括棱线，即待检测车辆区域中显示的是待检测车辆的一个平面。在这种情况下，车辆平面划分模型可以是预先根据样本道路图像和标注的样本道路图像中样本车辆的标准分割信息训练得到的。训练好的车辆平面划分模型能够使得道路图像帧与其平面的分割信息相关联。车辆平面划分模型可以是采用深度学习算法训练得到的模型，例如可以采用卷积神经网络训练得到。
S130：当根据上述分割信息确定待检测车辆区域存在待检测车辆的横向平面时，根据分割信息对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的横向平面。
其中，横向为与当前车辆的前后方向垂直的方向。在车辆行驶过程中，横向平面的移动最为明显，根据横向平面确定车辆行驶速度，能够提高准确性。
本实施例可以根据上述分割信息判断待检测车辆区域是否存在待检测车辆的横向平面，如果存在，则根据分割信息对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的横向平面。具体的，可以判断分割信息中是否存在棱线，如果存在，则确定待检测车辆区域存在待检测车辆的横向平面；还可以判断分割信息中是否存在棱线，且朝向是否表示待检测车辆车头朝前方区域，而非左右区域，如果均为是，则确定待检测车辆区域存在待检测车辆的横向平面。
根据分割信息对待检测车辆区域进行分割时，可以直接根据分割信息中的棱线区域位置将待检测车辆区域分为两部分，对应得到两个平面，根据分割信息中的朝向，确定两个平面中的横向平面和纵向平面；也可以根据分割信息中的棱线区域位置和朝向，从待检测车辆区域中确定横向平面的区域。
S140：获取确定的上一道路图像帧中待检测车辆的横向平面。
其中，上一道路图像帧为上述道路图像帧之前的一个道路图像帧。上一道路图像帧与上述道路图像帧之间可以不存在其他道路图像帧，也可以存在其他道路图像帧。即上一道路图像帧与上述道路图像帧可以是连续的道路图像帧，也可以是不连续的道路图像帧，例如两者可以间隔预设帧数。
上一道路图像帧中的横向平面，可以是根据车辆平面划分模型确定的分割信息对上一道路图像帧中的待检测车辆区域进行分割后得到的。
当上一道路图像帧中包括一个车辆时，可以直接将上一道路图像帧的横向平面作为待检测车辆的横向平面。当上一道路图像帧中包括至少两个车辆时，可以将上一道路图像帧中各个车辆的横向平面分别与上述道路图像帧的横向平面进行匹配，根据匹配结果确定上一道路图像帧中待检测车辆的横向平面。
在获取到上一道路图像帧中待检测车辆的横向平面时，可以将上述道路图像帧和上一道路图像帧中同一待检测车辆的横向平面进行关联。
在一种实施方式中，在对上述道路图像帧和上一道路图像帧中同一待检测车辆的横向平面进行关联时，可以针对待检测车辆建立跟踪列表，该跟踪列表可以包括：道路图像帧和上一道路图像帧之间同一待检测车辆的横向平面的对应关系。
S150：从道路图像帧和上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
道路图像帧和上一道路图像帧之间的第一对应特征点，可以理解为，车辆同一位置的点在道路图像帧和上一道路图像帧中分别对应的特征点。相关联的横向平面，可以理解为，道路图像帧和上一道路图像帧中同一待检测车辆的同一横向平面。在实际应用中，可以选取多组第一对应特征点。
为了使得确定的速度信息更准确，在横向平面中选取特征点时，可以尽可能选取横向平面中心区域的特征点。这样能够避免选取边缘的背景区域中的特征点，从而能够提高检测的准确度。
从道路图像帧和上一道路图像帧之间相关联的横向平面中选取第一对应特征点时，具体可以包括：将相关联的横向平面中相同比例位置处的像素点作为第一对应特征点。具体实施时，可以针对一个横向平面的预设位置处的特征点，在另一横向平面的相同比例位置处确定对应的特征点。
例如，参见图2(2)中虚线框所示的两个道路图像帧，其中所示的实线四边形区域为相关联的横向平面，四边形区域中标注了第一对应特征点A和 A’。A和A’是根据以下关系确定的：左侧图像帧中的四边形区域的长宽分别为a和b，右侧图像帧中的四边形区域的长宽分别为a’和b’，在左侧四边形区域中(3a/4，5b/6)位置处为点A，在右侧四边形区域中(3a’/4，5b’/6) 位置处为点A’。
在另一种实施方式中，可以使用光流追踪算法，在关键部件区域内提取对应特征点。
上述时间差可以根据道路图像帧和上一道路图像帧之间间隔的帧数以及帧速率确定。其中，帧速率是指每秒钟采集的帧数。
当确定待检测车辆相对于当前车辆的车辆速度信息之后，根据当前车辆的车辆速度信息，可以确定待检测车辆的绝对速度信息。
由上述内容可知，本实施例可以根据从车辆平面划分模型确定的待检测车辆的分割信息，对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的横向平面，并从道路图像帧和上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据第一对应特征点之间的位置差异和时间差，确定车辆速度信息。由于本实施例从两图像帧中相关联的横向平面中选取对应特征点，横向平面可以是车辆的前平面或后平面，当待检测车辆移动时，横向平面的位置移动更明显；并且，从横向平面中选取对应特征点，能够缩小选取对应特征点的范围，使得确定的对应特征点更准确，因此本实施例能够更准确地确定待检测车辆的车辆速度信息。
在本发明的另一实施例中，图1所示实施例中，在训练车辆检测模型时，可以采用有监督的训练方式，在样本车辆图像中标注车辆区域，通过以车辆范围框的形式标注车辆区域，加快模型训练的速率，提高模型检测的准确率。
确定待检测车辆区域，可以理解为确定待检测车辆在道路图像帧中的坐标区域，该坐标区域可以采用矩形区域的对角点坐标表示。该坐标区域可以是能够完全包含待检测车辆所有像素点的坐标区域。
在将样本车辆图像输入车辆检测模型之前，还可以将样本车辆图像缩放至预设尺寸。这样可以使得车辆检测模型对同一尺寸的样本车辆图像进行学习，从而能够更快速、更准确地对图像进行处理，提高模型的训练效率。在一种实施方式中，车辆检测模型中可能包含空间金字塔池化层，该空间金字塔池化层可以适应任意大小的图像，避免对样本车辆图像进行缩放，进而避免图像信息的损失。
在训练车辆检测模型时，可以采用迁移学习的方法，利用已有的在目标检测领域取得较好结果的深度卷积神经网络，例如SSD网络等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接在原有网络模型中已经充分训练的参数基础上，采用微调的方法，利用样本车辆图像进行训练。具体来说，车辆检测模型中的卷积层充分学习样本车辆图像中的车辆形状、特征点等信息，车辆检测模型中的全连接层可以根据学习到的样本车辆图像的相关特征，对相关特征进行映射，得到车辆区域的参考识别结果，将参考识别结果与标准车辆区域进行比较，当两者差异较大时对车辆检测模型的模型参数进行调整。当车辆检测模型经过较多训练样本的迭代训练后，参考识别结果与标准车辆区域之间的差异较小时，可以确认车辆检测模型训练完成。
在本发明的另一实施例中，图1所示实施例中，卷积层包括第一参数，全连接层包括第二参数。车辆平面划分模型中的模型参数可以包括第一参数和第二参数。车辆平面划分模型可以采用以下步骤1a～4a的方式训练完成：
步骤1a：获取样本车辆图像和标注的样本车辆图像中样本车辆的各个标准分割信息，将样本车辆图像输入卷积层。
在实际应用中，为了使得模型训练得更准确，可以获取大量样本车辆图像。样本车辆图像中可以包括一个或多个样本车辆。
样本车辆图像可以是预先利用车辆上的摄像头采集得到的。每个样本车辆图像均标注有样本车辆的标准分割信息，标注的标准分割信息包括棱线区域和朝向。
在将样本车辆图像输入卷积层之前，还可以将样本车辆图像缩放至预设尺寸。如此，可以使得车辆平面划分模型对同一尺寸的样本车辆图像进行学习，从而能够更快速、更准确地对样本车辆图像进行处理，提高模型的训练效率。在一种实施方式中，车辆检测模型中可能包含空间金字塔池化层，该空间金字塔池化层可以适应任意大小的图像，避免对样本车辆图像进行缩放，进而避免图像信息的损失。
步骤2a：通过卷积层，根据第一参数，对样本车辆图像的像素点进行特征提取，得到样本车辆图像的样本特征向量；通过全连接层，根据第二参数，对样本特征向量进行映射，得到样本车辆图像中样本车辆的各个参考分割信息。
第一参数和第二参数的初始值可以根据经验预先设置，例如可以设置为较小的值。在每次训练的过程中，第一参数和第二参数不断地被修正，逐渐接近真实值。
在训练过程中，得到的参考分割信息可能不够准确，该参考分割信息可以作为对第一参数和第二参数进行修正时的参考依据。
步骤3a：将参考分割信息与对应的标准分割信息进行比对，得到差异量。其中，上述差异量可以采用损失函数得到。
步骤4a：当差异量大于预设差异阈值时，根据差异量对第一参数和第二参数进行修正，返回步骤1a中将样本车辆图像输入所述卷积层的步骤；当差异量小于预设差异阈值时，确定车辆平面划分模型训练完成。
当差异量等于预设差异阈值时，可以根据差异量对第一参数和第二参数进行修正，也可以确定车辆平面分割检测模型训练完成。
当差异量大于预设差异阈值时，认为卷积神经网络的预测结果与真实值之间的差异较大，需要继续训练网络。根据差异量对上述第一参数和第二参数进行修正时，可以参考差异量的具体数值以及方向，根据该具体数值，向相反方向调整第一参数和第二参数。
为了更快速地得到车辆平面划分模型，可以采用迁移学习的方法，利用已有的在对象检测领域取得较好结果的深度卷积神经网络，如Faster R-CNN 等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接采用原有网络模型中已经充分训练的参数，作为模型参数。具体来说，卷积层充分学习样本车辆图像中的棱线和车辆等特征，得到样本车辆图像的样本特征向量，全连接层可以对样本特征向量进行映射，得到棱线位置和车辆朝向的识别结果。将识别结果与样本车辆图像预先标注的分割信息进行比较，可以对模型参数进行优化，当模型经过较多训练样本的迭代训练后，可以获得车辆平面划分模型。
综上，本实施例提供了利用大量样本车辆图像和标准分割信息，对卷积神经网络进行循环训练的实施方式。
在本发明的另一实施例中，图1所示实施例中，步骤S140，获取确定的上一道路图像帧中上述待检测车辆的横向平面的步骤，包括步骤1b～3b。
步骤1b：获取上一道路图像帧对应的横向平面。
步骤2b：当获取的上一道路图像帧的横向平面至少属于两个待检测车辆时，提取道路图像帧和上一道路图像帧中各个横向平面的特征信息。
其中，上述特征信息包括位置信息和/或像素信息。例如，位置信息可以是横向平面在待检测车辆区域中的坐标，像素信息可以是根据横向平面的像素值得到的像素特征值。
步骤3b：将道路图像帧与上一道路图像帧的横向平面的特征信息分别进行匹配。
例如，可以将道路图像帧中每个待检测车辆的横向平面的坐标分别与上一道路图像帧中的每个待检测车辆的横向平面的坐标进行匹配。匹配时可以计算两坐标之间的差距，当差距小于预设差距阈值时，认为匹配成功。
或者，可以将道路图像帧中每个待检测车辆的横向平面的像素特征值分别与上一道路图像帧中的每个待检测车辆的横向平面的像素特征值进行匹配。匹配时可以计算两像素特征值之间的差距，当差距小于预设差距阈值时，认为匹配成功。
步骤4b：将匹配成功的上一道路图像帧的横向平面确定为上述待检测车辆的横向平面，即确定为上述道路图像帧中待检测车辆的横向平面。
在本发明的另一实施例中，图1所示实施例中，步骤S150，根据所第一对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息的步骤，包括步骤1c和2c。
步骤1c：根据以下第一预设公式确定道路图像帧对应的变换矩阵H：
Figure BDA0002004869330000191
其中，X1和X0分别为道路图像帧和上一道路图像帧中的第一对应特征点的位置，X1和X0为包含像素点图像坐标的向量，H中的S为相关联的横向平面之间的缩放度，offset_y和offset_x分别为相关联的横向平面之间在y轴和x 轴方向上的平移量，x轴和y轴为图像坐标系中的坐标轴。可以利用多组第一对应特征点进行求解，例如可以至少利用四组第一对应特征点求解上述H。
根据近大远小的透视原理，可以根据缩放度S来估计车辆的纵向速度。 offset_y和offset_x可以用来估计车辆的横向速度。纵向方向为当前车辆的行驶方向，横向方向为与纵向垂直的方向。相关联的两个横向平面可以近似认为与图像采集设备的成像平面平行，利用第一对应特征点可以求解变换矩阵H。
参见图2(1)中所示的道路图像帧，其中标注了图像坐标系中x轴和y 轴的方向。
步骤2c：根据道路图像帧对应的变换矩阵中的缩放度和平移量，以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
例如，可以根据公式
Figure BDA0002004869330000201
来确定待检测车辆相对于当前车辆的纵向速度，可以根据公式
Figure BDA0002004869330000202
来确定待检测车辆相对于当前车辆的横向速度，其中，S为缩放度，Δt为时间差，offset_y和offset_x为平移量。
综上，本实施例中根据第一预设公式和第一对应特征点确定变换矩阵，并根据变换矩阵中的参数求解车辆速度信息，这种实施方式能够更准确地确定待检测车辆的速度。
在本发明的另一实施例中，图1所示实施例中，为了提高检测的速度，在将待检测车辆区域输入车辆平面划分模型之前，该方法还包括：
当采集道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将道路图像帧输入车辆平面划分模型。
其中，第一时刻为上一次将采集的道路图像帧中的待检测车辆区域输入车辆平面划分模型的时刻。
预设时间阈值为表示时间长度的数值。当帧速率一定时，上述判断也可以采用帧数间隔来进行，例如，当该道路图像帧与上一次输入车辆平面划分模型的道路图像帧之间的间隔帧数大于预设帧数时，将该道路图像帧输入车辆平面划分模型。
具体的，在将道路图像帧输入车辆平面划分模型之前，可以判断采集道路图像帧的时刻与第一时刻之间的时间间隔是否大于预设时间阈值，如果是，则将道路图像帧输入车辆平面划分模型。如果否，则可以不做处理或者执行其他处理。由于相邻道路图像帧之间的间隔时间很短，可以间隔性地将道路图像帧输入车辆平面划分模型，并确定待检测车辆相对于当前车辆的车辆速度信息，无需针对每个道路图像帧都重新确定车辆速度信息，这样能够在保证精度的情况下提高检测的效率。
在另一种实施方式中，当采集道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，还可以获取确定的上一道路图像帧中待检测车辆的横向平面以及上一道路图像帧对应的变换矩阵，根据上一道路图像帧中待检测车辆的横向平面和上一道路图像帧对应的变换矩阵，确定道路图像帧中待检测车辆的横向平面。
其中，上一道路图像帧对应的变换矩阵为根据第一预设公式确定。
例如，当间隔性地将道路图像帧输入车辆平面划分模型时，针对没有输入车辆平面划分模型的道路图像帧，可以根据上一道路图像帧的横向平面和上一道路图像帧对应的变换矩阵，根据上述公式X1＝HX0确定该道路图像帧的横向平面中的特征点，根据该特征点确定该道路图像帧的横向平面。其中， X1为该道路图像帧中的特征点，X0为上一道路图像帧中的特征点，H为上一道路图像帧对应的变换矩阵，当X0和H为已知量时，可以求得X1。在实际应用中，可以采用多组特征点进行求解，例如可以采用4组以上特征点求解。
上一道路图像帧的横向平面可以是通过车辆平面划分模型确定的，也可以是通过第一对应特征点和变换矩阵确定的。上一道路图像帧对应的变换矩阵可以是该道路图像帧之前不相连的两个道路图像帧计算得到的，也可以是在该道路图像帧之前、与该道路图像帧时间上最接近的两个道路图像帧计算得到。
在连续地采集道路图像帧时，且确定第一道路图像帧中的待检测车辆区域时，对于第二道路图像帧和后续帧，可以采用运动目标跟踪的方法。例如，可以对第二道路图像帧和后续帧继续使用车辆检测模型进行车辆区域检测，再使用一些匹配算法，如交并比(Intersection-Over-Union，IOU))匹配方法，确定相邻帧中相同的车辆，进而建立跟踪列表。IOU，是指两个矩形检测框交集与并集的比值。通过交并比可以判断两个检测框的重叠程度，设置一定的阈值，当相邻帧的两个检测框的交并比达到该阈值时，就可以认为它们检测到的是同一辆车。
在本发明的另一实施例中，图1所示实施例中，当分割信息包括待检测车辆的轮子点位置时，还可以根据轮子点位置，确定待检测车辆相对于当前车辆的车辆距离信息。
其中，轮子点位置为：道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
在训练车辆平面划分模型时，还可以标注样本车辆图像中样本车辆的标注轮子点位置，使得车辆平面划分模型能够对样本车辆图像和轮子点位置进行关联。这样，在使用车辆平面划分模型确定待检测车辆区域的各个平面的分割信息时，该分割信息中可以包括轮子点位置。轮子点是纵向平面中轮子与地面的接触点，因此，也可以通过训练模型的方式得到。
在一种实施方式中，根据轮子点位置，确定待检测车辆相对于当前车辆的车辆距离信息的步骤，包括：根据以下第二预设公式，确定待检测车辆相对于当前车辆的车辆距离信息D。
Figure BDA0002004869330000221
其中，hsize为图像采集设备距离地面的高度，f为图像采集设备中感光元件的焦距，y为轮子点的纵向坐标，foey为预先确定的图像采集设备的图像消失点的纵向坐标。foey可以预先使用图像采集设备拍摄包含平行线的场景，并确定拍摄得到的图像中平行线消失点的纵向坐标，即y向坐标。 hsize、f和foey均可以预先获取到。当确定y时，可以求得D。
在一种实施方式中，轮子点可以包括多个，轮子点位置可以为多个轮子点的坐标。根据上述D的公式可以得到多个车辆距离信息，并计算多个车辆距离信息的平均值，作为待检测车辆相对于当前车辆的车辆距离信息。
综上，本实施例能够根据轮子点位置确定待检测车辆相对于当前车辆的车辆距离信息，进而能够得到更多关于待检测车辆的行驶信息。
在本发明的另一实施例中，图1所示实施例中，当根据分割信息确定待检测车辆区域不存在待检测车辆的横向平面时，该方法还包括以下步骤1d和3d。
步骤1d：根据分割信息对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的其他平面。
其中，其他平面为待检测车辆中除了横向平面之外的平面。其他平面可以是纵向平面，例如，右平面或者左平面。在一种实施方式中，当车辆平面划分模型能够检测出待检测车辆横向的棱线时，还可以根据分割信息分割得到待检测车辆的上平面。这种情况下，其他平面可以包括上平面。
步骤2d：获取确定的上一道路图像帧中待检测车辆的其他平面。
步骤3d：从道路图像帧和上一道路图像帧之间相关联的其他平面中选取第二对应特征点，根据第二对应特征点之间的位置差异以及道路图像帧和所述上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
本实施例中的步骤1d～3d可以分别参照步骤S130～S150的说明，此处不再赘述。
本实施例中的道路图像帧也可以间隔性输入车辆平面划分模型。针对不输入车辆平面划分模型的道路图像帧。
在以上实施例中，主要是以卷积神经网络模型作为神经网络模型，进行训练得到车辆检测模型和车辆平面划分模型，并基于该车辆检测模型和车辆平面划分模型，分别对道路图像中的车辆位置进行检测、车辆平面进行划分。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络进行训练。常见的用于对象检测的卷积神经网络包括R-CNN(Convolutional Neural Networks，卷积神经网络)、Fast(快)R-CNN、 Faster R-CNN、R-FCN(Fully Convolutional Network，全卷积网络)、YOLO (You Only Look Once，你只看一次)、YOLO9000、SSD、NASNet、Mask R-CNN等。在一些可能的实现方式中，可以采用SSD作为初始神经网络模型，修改其部分结构后，对其进行微调，得到车辆检测模型和车辆平面划分模型。在一些可能的实现方式中，可以采用上述提到的其他卷积神经网络，或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不进行任何限制。
图3为本发明实施例提供的基于平面分割的车辆行驶信息确定装置的一种结构示意图。该装置实施例与图1所示方法实施例相对应。该实施例应用于处理器或包含处理器的电子设备。该装置具体包括：
第一获取模块310，被配置为获取采集的当前车辆周围的道路图像帧，确定道路图像帧中的待检测车辆区域；其中，道路图像帧包括当前车辆之外的待检测车辆，采集道路图像帧的图像采集设备位于当前车辆；
第一确定模块320，被配置为将待检测车辆区域输入车辆平面划分模型，由车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割待检测车辆的各个方向的平面的分割信息；
第一分割模块330，被配置为当根据所述分割信息确定待检测车辆区域存在待检测车辆的横向平面时，根据分割信息对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的横向平面；其中，横向为与当前车辆的前后方向垂直的方向；
第二获取模块340，被配置为获取确定的上一道路图像帧中待检测车辆的横向平面；
第二确定模块350，被配置为从道路图像帧和上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据第一对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
在本发明的另一实施例中，图3所示实施例中，卷积层包括第一参数，全连接层包括第二参数；该装置还包括：训练模块(图中未示出)；
训练模块，被配置为采用以下操作训练得到车辆平面划分模型：
获取样本车辆图像和标注的样本车辆图像中样本车辆的各个标准分割信息，将样本车辆图像输入卷积层；
通过卷积层，根据第一参数，对样本车辆图像的像素点进行特征提取，得到样本车辆图像的样本特征向量；通过全连接层，根据第二参数，对样本特征向量进行映射，得到样本车辆图像中样本车辆的各个参考分割信息；
将参考分割信息与对应的标准分割信息进行比对，得到差异量；
当差异量大于预设差异阈值时，根据差异量对第一参数和第二参数进行修正，将样本车辆图像输入卷积层；当差异量小于预设差异阈值时，确定车辆平面划分模型训练完成。
在本发明的另一实施例中，图3所示实施例中，第二获取模块340，具体被配置为：
获取上一道路图像帧对应的横向平面；
当获取的上一道路图像帧的横向平面至少属于两个待检测车辆时，提取道路图像帧和上一道路图像帧中各个横向平面的特征信息；其中，特征信息包括位置信息和/或像素信息；
将道路图像帧与上一道路图像帧的横向平面的特征信息分别进行匹配；
将匹配成功的上一道路图像帧的横向平面确定为待检测车辆的横向平面。
在本发明的另一实施例中，图3所示实施例中，第二确定模块350，根据第一对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息时，包括：
根据以下第一预设公式确定道路图像帧对应的变换矩阵H：
Figure BDA0002004869330000251
其中，X1和X0分别为道路图像帧和上一道路图像帧中的第一对应特征点的位置，H中的S为相关联的横向平面之间的缩放度，offset_y和offset_x分别为相关联的横向平面之间在y轴和x轴方向上的平移量，x轴和y轴为图像坐标系中的坐标轴；
根据道路图像帧对应的变换矩阵中的缩放度和平移量，以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
在本发明的另一实施例中，图3所示实施例中，第一确定模块320，还被配置为：
在将待检测车辆区域输入车辆平面划分模型之前，当采集道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将道路图像帧输入车辆平面划分模型；其中，第一时刻为上一次将采集的道路图像帧中的待检测车辆区域输入车辆平面划分模型的时刻。
在本发明的另一实施例中，图3所示实施例中，装置还包括：
第三确定模块(图中未示出)，被配置为当采集道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧中待检测车辆的横向平面以及上一道路图像帧对应的变换矩阵；根据上一道路图像帧中待检测车辆的横向平面和上一道路图像帧对应的变换矩阵，确定道路图像帧中待检测车辆的横向平面。
在本发明的另一实施例中，图3所示实施例中，装置还包括：
第四确定模块(图中未示出)，被配置为当分割信息包括待检测车辆的轮子点位置时，根据轮子点位置，确定待检测车辆相对于当前车辆的车辆距离信息；其中，轮子点位置为：道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
在本发明的另一实施例中，图3所示实施例中，第四确定模块，具体被配置为：根据以下第二预设公式，确定待检测车辆相对于当前车辆的车辆距离信息D。
Figure BDA0002004869330000261
其中，hsize为图像采集设备距离地面的高度，f为图像采集设备中感光元件的焦距，y为轮子点的纵向坐标，foey为预先确定的图像采集设备的图像消失点的纵向坐标。
在本发明的另一实施例中，图3所示实施例中，装置还包括：
第二分割模块(图中未示出)，被配置为当根据分割信息确定待检测车辆区域不存在待检测车辆的横向平面时，根据分割信息对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的其他平面；其中，其他平面为待检测车辆中除了横向平面之外的平面；
第三获取模块(图中未示出)，被配置为获取确定的上一道路图像帧中待检测车辆的其他平面；
第五确定模块(图中未示出)，被配置为从道路图像帧和上一道路图像帧之间相关联的其他平面中选取第二对应特征点，根据第二对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
图4为本发明实施例提供的车载终端的一种结构示意图。车载终端包括：处理器410和图像采集设备420；图像采集设备420位于当前车辆；
图像采集设备420，采集当前车辆周围的道路图像帧；其中，道路图像帧包括当前车辆之外的待检测车辆；
处理器410，获取采集的当前车辆周围的道路图像帧，确定道路图像帧中的待检测车辆区域；将待检测车辆区域输入车辆平面划分模型，由车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割待检测车辆的各个方向的平面的分割信息；当根据分割信息确定待检测车辆区域存在待检测车辆的横向平面时，根据分割信息对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的横向平面；获取确定的上一道路图像帧中待检测车辆的横向平面；从道路图像帧和上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据第一对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息；其中，横向为与当前车辆的前后方向垂直的方向。
在本发明的另一实施例中，图4所示实施例中，卷积层包括第一参数，全连接层包括第二参数；车辆平面划分模型采用以下操作训练完成：
获取样本车辆图像和标注的样本车辆图像中样本车辆的各个标准分割信息，将样本车辆图像输入卷积层；
通过卷积层，根据第一参数，对样本车辆图像的像素点进行特征提取，得到样本车辆图像的样本特征向量；通过全连接层，根据第二参数，对样本特征向量进行映射，得到样本车辆图像中样本车辆的各个参考分割信息；
将参考分割信息与对应的标准分割信息进行比对，得到差异量；
当差异量大于预设差异阈值时，根据差异量对第一参数和第二参数进行修正，返回执行将样本车辆图像输入卷积层的步骤；当差异量小于预设差异阈值时，确定车辆平面划分模型训练完成。
在本发明的另一实施例中，图4所示实施例中，处理器410获取确定的上一道路图像帧中待检测车辆的横向平面时，包括：
获取上一道路图像帧对应的横向平面；
当获取的上一道路图像帧的横向平面至少属于两个待检测车辆时，提取道路图像帧和上一道路图像帧中各个横向平面的特征信息；其中，特征信息包括位置信息和/或像素信息；
将道路图像帧与上一道路图像帧的横向平面的特征信息分别进行匹配；
将匹配成功的上一道路图像帧的横向平面确定为待检测车辆的横向平面。
在本发明的另一实施例中，图4所示实施例中，处理器410，根据第一对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息时，包括：
根据以下第一预设公式确定道路图像帧对应的变换矩阵H：
Figure BDA0002004869330000281
其中，X1和X0分别为道路图像帧和上一道路图像帧中的第一对应特征点的位置，H中的S为相关联的横向平面之间的缩放度，offset_y和offsetx分别为相关联的横向平面之间在y轴和x轴方向上的平移量，x轴和y轴为图像坐标系中的坐标轴；
根据道路图像帧对应的变换矩阵中的缩放度和平移量，以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
在本发明的另一实施例中，图4所示实施例中，处理器410，还在将待检测车辆区域输入车辆平面划分模型之前，当采集道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将道路图像帧输入车辆平面划分模型；其中，第一时刻为上一次将采集的道路图像帧中的待检测车辆区域输入车辆平面划分模型的时刻。
在本发明的另一实施例中，图4所示实施例中，处理器410，还当采集道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，获取确定的上一道路图像帧中待检测车辆的横向平面以及上一道路图像帧对应的变换矩阵；根据上一道路图像帧中待检测车辆的横向平面和上一道路图像帧对应的变换矩阵，确定道路图像帧中待检测车辆的横向平面。
在本发明的另一实施例中，图4所示实施例中，处理器410，还当分割信息包括待检测车辆的轮子点位置时，根据轮子点位置，确定待检测车辆相对于当前车辆的车辆距离信息；其中，轮子点位置为：道路图像帧中待检测车辆的轮胎区域的接地像素点位置。
在本发明的另一实施例中，图4所示实施例中，处理器410，根据轮子点位置，确定待检测车辆相对于当前车辆的车辆距离信息时，包括：
根据以下第二预设公式，确定待检测车辆相对于当前车辆的车辆距离信息D：
Figure BDA0002004869330000291
其中，hsize为图像采集设备距离地面的高度，f为图像采集设备中感光元件的焦距，y为轮子点的纵向坐标，foey为预先确定的图像采集设备的图像消失点的纵向坐标。
在本发明的另一实施例中，图4所示实施例中，处理器410，还在根据分割信息确定待检测车辆区域不存在待检测车辆的横向平面时，执行以下操作：
根据分割信息对待检测车辆区域进行分割，得到道路图像帧中待检测车辆的其他平面；其中，其他平面为待检测车辆中除了横向平面之外的平面；
获取确定的上一道路图像帧中待检测车辆的其他平面；
从道路图像帧和上一道路图像帧之间相关联的其他平面中选取第二对应特征点，根据第二对应特征点之间的位置差异以及道路图像帧和上一道路图像帧之间的时间差，确定待检测车辆相对于当前车辆的车辆速度信息。
上述车载终端可以是现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本实施例对车载终端的实施方式不进行限制。
该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于平面分割的车辆行驶信息确定方法，其特征在于，包括：
获取采集的当前车辆周围的道路图像帧，确定所述道路图像帧中的待检测车辆区域；其中，所述道路图像帧包括当前车辆之外的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
将所述待检测车辆区域输入车辆平面划分模型，由所述车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割所述待检测车辆的各个方向的平面的分割信息；
当根据所述分割信息确定所述待检测车辆区域存在所述待检测车辆的横向平面时，根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的横向平面；其中，横向为与所述当前车辆的前后方向垂直的方向；
获取确定的上一道路图像帧中所述待检测车辆的横向平面；
从所述道路图像帧和所述上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
2.如权利要求1所述的方法，其特征在于，所述卷积层包括第一参数，所述全连接层包括第二参数；所述车辆平面划分模型采用以下方式训练完成：
获取样本车辆图像和标注的所述样本车辆图像中样本车辆的各个标准分割信息，将所述样本车辆图像输入所述卷积层；
通过所述卷积层，根据所述第一参数，对所述样本车辆图像的像素点进行特征提取，得到所述样本车辆图像的样本特征向量；通过所述全连接层，根据所述第二参数，对所述样本特征向量进行映射，得到所述样本车辆图像中样本车辆的各个参考分割信息；
将所述参考分割信息与对应的标准分割信息进行比对，得到差异量；
当所述差异量大于预设差异阈值时，根据所述差异量对所述第一参数和所述第二参数进行修正，返回执行所述将所述样本车辆图像输入所述卷积层的步骤；当所述差异量小于所述预设差异阈值时，确定所述车辆平面划分模型训练完成。
3.如权利要求1所述的方法，其特征在于，所述获取确定的上一道路图像帧中所述待检测车辆的横向平面的步骤，包括：
获取上一道路图像帧对应的横向平面；
当获取的所述上一道路图像帧的横向平面至少属于两个待检测车辆时，提取所述道路图像帧和所述上一道路图像帧中各个横向平面的特征信息；其中，所述特征信息包括位置信息和/或像素信息；
将所述道路图像帧与所述上一道路图像帧的横向平面的特征信息分别进行匹配；
将匹配成功的所述上一道路图像帧的横向平面确定为所述待检测车辆的横向平面。
4.如权利要求1所述的方法，其特征在于，所述根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息的步骤，包括：
根据以下第一预设公式确定所述道路图像帧对应的变换矩阵H：
Figure FDA0002004869320000021
其中，所述X1和X0分别为所述道路图像帧和上一道路图像帧中的第一对应特征点的位置，所述H中的S为所述相关联的横向平面之间的缩放度，所述offset_y和所述offset_x分别为所述相关联的横向平面之间在y轴和x轴方向上的平移量，所述x轴和y轴为图像坐标系中的坐标轴；
根据所述道路图像帧对应的变换矩阵中的缩放度和平移量，以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
5.如权利要求4所述的方法，其特征在于，在将所述待检测车辆区域输入车辆平面划分模型之前，所述方法还包括：
当采集所述道路图像帧的时刻与第一时刻之间的时间间隔大于预设时间阈值时，将所述道路图像帧输入车辆平面划分模型；其中，所述第一时刻为上一次将采集的道路图像帧中的待检测车辆区域输入所述车辆平面划分模型的时刻。
6.如权利要求5所述的方法，其特征在于，当采集所述道路图像帧的时刻与第一时刻之间的时间间隔不大于预设时间阈值时，所述方法还包括：
获取确定的上一道路图像帧中所述待检测车辆的横向平面以及所述上一道路图像帧对应的变换矩阵；
根据所述上一道路图像帧中所述待检测车辆的横向平面和所述上一道路图像帧对应的变换矩阵，确定所述道路图像帧中所述待检测车辆的横向平面。
7.如权利要求1或6所述的方法，其特征在于，当所述分割信息包括所述待检测车辆的轮子点位置时，所述方法还包括：
根据所述轮子点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息；其中，所述轮子点位置为：所述道路图像帧中所述待检测车辆的轮胎区域的接地像素点位置；
所述根据所述轮子点位置，确定所述待检测车辆相对于所述当前车辆的车辆距离信息的步骤，包括：
根据以下第二预设公式，确定所述待检测车辆相对于所述当前车辆的车辆距离信息D：
Figure FDA0002004869320000041
其中，所述hsize为所述图像采集设备距离地面的高度，所述f为所述图像采集设备中感光元件的焦距，所述y为所述轮子点的纵向坐标，所述foey为预先确定的所述图像采集设备的图像消失点的纵向坐标。
8.如权利要求1所述的方法，其特征在于，当根据所述分割信息确定所述待检测车辆区域不存在所述待检测车辆的横向平面时，所述方法还包括：
根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的其他平面；其中，所述其他平面为所述待检测车辆中除了所述横向平面之外的平面；
获取确定的上一道路图像帧中所述待检测车辆的其他平面；
从所述道路图像帧和所述上一道路图像帧之间相关联的其他平面中选取第二对应特征点，根据所述第二对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
9.一种基于平面分割的车辆行驶信息确定装置，其特征在于，包括：
第一获取模块，被配置为获取采集的当前车辆周围的道路图像帧，确定所述道路图像帧中的待检测车辆区域；其中，所述道路图像帧包括当前车辆之外的待检测车辆，采集所述道路图像帧的图像采集设备位于所述当前车辆；
第一确定模块，被配置为将所述待检测车辆区域输入车辆平面划分模型，由所述车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割所述待检测车辆的各个方向的平面的分割信息；
第一分割模块，被配置为当根据所述分割信息确定所述待检测车辆区域存在所述待检测车辆的横向平面时，根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的横向平面；其中，横向为与所述当前车辆的前后方向垂直的方向；
第二获取模块，被配置为获取确定的上一道路图像帧中所述待检测车辆的横向平面；
第二确定模块，被配置为从所述道路图像帧和所述上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息。
10.一种车载终端，其特征在于，包括：处理器和图像采集设备；所述图像采集设备位于当前车辆；
所述图像采集设备，采集所述当前车辆周围的道路图像帧；其中，所述道路图像帧包括所述当前车辆之外的待检测车辆；
所述处理器，获取采集的当前车辆周围的道路图像帧，确定所述道路图像帧中的待检测车辆区域；将所述待检测车辆区域输入车辆平面划分模型，由所述车辆平面划分模型中的卷积层和全连接层根据预先训练好的模型参数，确定用于分割所述待检测车辆的各个方向的平面的分割信息；当根据所述分割信息确定所述待检测车辆区域存在所述待检测车辆的横向平面时，根据所述分割信息对所述待检测车辆区域进行分割，得到所述道路图像帧中所述待检测车辆的横向平面；获取确定的上一道路图像帧中所述待检测车辆的横向平面；从所述道路图像帧和所述上一道路图像帧之间相关联的横向平面中选取第一对应特征点，根据所述第一对应特征点之间的位置差异以及所述道路图像帧和所述上一道路图像帧之间的时间差，确定所述待检测车辆相对于所述当前车辆的车辆速度信息；其中，横向为与所述当前车辆的前后方向垂直的方向。
CN201910224891.1A 2019-03-24 2019-03-24 基于平面分割的车辆行驶信息确定方法及装置、车载终端 Active CN111738033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910224891.1A CN111738033B (zh) 2019-03-24 2019-03-24 基于平面分割的车辆行驶信息确定方法及装置、车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910224891.1A CN111738033B (zh) 2019-03-24 2019-03-24 基于平面分割的车辆行驶信息确定方法及装置、车载终端

Publications (2)

Publication Number Publication Date
CN111738033A CN111738033A (zh) 2020-10-02
CN111738033B true CN111738033B (zh) 2022-05-13

Family

ID=72645773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910224891.1A Active CN111738033B (zh) 2019-03-24 2019-03-24 基于平面分割的车辆行驶信息确定方法及装置、车载终端

Country Status (1)

Country Link
CN (1) CN111738033B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232326A (zh) * 2020-12-15 2021-01-15 北京每日优鲜电子商务有限公司 行驶信息生成方法、装置、电子设备和计算机可读介质
CN112990217A (zh) * 2021-03-24 2021-06-18 北京百度网讯科技有限公司 针对车辆的图像识别方法、装置、电子设备和介质
CN113012439B (zh) * 2021-03-29 2022-06-21 北京百度网讯科技有限公司 车辆检测方法、装置、设备和存储介质
CN113033456B (zh) * 2021-04-08 2023-12-19 阿波罗智联(北京)科技有限公司 车辆车轮接地点的确定方法、装置、路侧设备及云控平台
CN113191353A (zh) * 2021-04-15 2021-07-30 华北电力大学扬中智能电气研究中心 一种车速确定方法、装置、设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722704B (zh) * 2012-06-12 2014-04-30 厦门宸天电子科技有限公司 一种融合视频动态跟踪的车牌识别方法和系统
CN104978746B (zh) * 2015-06-26 2017-08-25 西安理工大学 一种行驶车辆的车身颜色识别方法

Also Published As

Publication number Publication date
CN111738033A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
Wu et al. Lane-mark extraction for automobiles under complex conditions
Zhou et al. Efficient road detection and tracking for unmanned aerial vehicle
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US20200158875A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
EP2570993B1 (en) Egomotion estimation system and method
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
JP5267596B2 (ja) 移動体検出装置
CN111491093B (zh) 一种摄像头视场角的调整方法和装置
CN111259706B (zh) 一种车辆的车道线压线判断方法和系统
CN115049700A (zh) 一种目标检测方法及装置
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN111098850A (zh) 一种自动停车辅助系统及自动泊车方法
CN113743163A (zh) 交通目标识别模型训练方法、交通目标定位方法、装置
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
US11138448B2 (en) Identifying a curb based on 3-D sensor data
CN111640071A (zh) 基于卷积神经网络修复帧差法获取全景前景目标的方法
García-García et al. 3D visual odometry for GPS navigation assistance
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211126

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant