CN110503740B - 一种车辆状态判定方法、装置、计算机设备及系统 - Google Patents

一种车辆状态判定方法、装置、计算机设备及系统 Download PDF

Info

Publication number
CN110503740B
CN110503740B CN201810480535.1A CN201810480535A CN110503740B CN 110503740 B CN110503740 B CN 110503740B CN 201810480535 A CN201810480535 A CN 201810480535A CN 110503740 B CN110503740 B CN 110503740B
Authority
CN
China
Prior art keywords
state
prediction
vehicle
processed
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810480535.1A
Other languages
English (en)
Other versions
CN110503740A (zh
Inventor
邬紫阳
谭伟
姚轩
黄洋文
邝宏武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810480535.1A priority Critical patent/CN110503740B/zh
Publication of CN110503740A publication Critical patent/CN110503740A/zh
Application granted granted Critical
Publication of CN110503740B publication Critical patent/CN110503740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种车辆状态判定方法、装置、计算机设备及系统，其中，车辆状态判定方法包括：获取待处理加速度数据及待处理图像数据；利用预设状态预测方法，对待处理加速度数据进行状态预测，得到第一预测状态；对待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点；基于多个光流特征点进行状态预测，得到第二预测状态；融合第一预测状态及第二预测状态，判定车辆状态。通过本方案可以提高车辆状态判定的精度。

Description

一种车辆状态判定方法、装置、计算机设备及系统
技术领域
本发明涉及智能交通技术领域，特别是涉及一种车辆状态判定方法、装置、计算机设备及系统。
背景技术
随着车辆辅助驾驶技术的快速发展，以及车辆自主驾驶技术的出现，安全驾驶成为车辆驾驶技术发展中最重要的关注点，而车辆行驶过程中对车辆处于运动状态或者静止状态的车辆状态进行判定，是保证车辆安全驾驶的关键技术之一。
传统方式对车辆状态进行判定，通过直接测量的方式实现，利用高精度的设备，如高精度的GPS(Global Positioning System，全球定位系统)等，直接获取车辆的状态参数，进而确定车辆状态为静止状态还是运动状态，由于GPS在信号受遮挡的区域(例如隧道)不能有效的输出信息，导致在GPS信号不稳定的场景下，导致判定结果的错误率较高，且实时性差。
针对上述问题，相应的车辆运动状态判定方法中，采用间接测量的方式实现，利用车载传感器(例如，轮速传感器、陀螺仪、加速度、惯性导航系统等)采集的状态信息，然后通过滤波估计算法对状态信息进行估计，从而实现对车辆运动状态的判定。但是，在车辆处于匀速、低速运动状态时，车载传感器所采集到的状态信息与车辆处于静止状态时的差异很小，极易将本身为运动状态的车辆判断为处于静止状态，导致判定结果精度低。
发明内容
本发明实施例的目的在于提供一种车辆状态判定方法、装置、计算机设备及系统，以提高车辆状态判定的精度。具体技术方案如下：
第一方面，本发明实施例提供了一种车辆状态判定方法，所述方法包括：
获取待处理加速度数据及待处理图像数据；
利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态；
对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点；
基于所述多个光流特征点进行状态预测，得到第二预测状态；
融合所述第一预测状态及所述第二预测状态，判定车辆状态。
可选的，所述获取待处理加速度数据，包括：
获取由加速度传感器采集的源加速度数据；
对所述源加速度数据进行预处理，得到待处理加速度数据。
可选的，所述对所述源加速度数据进行预处理，得到待处理加速度数据，包括：
从加速度传感器采集的源加速度数据中，缓存当前时刻之前采集的多个源加速度数据作为缓存数据；
分别对相邻的缓存数据做差，并基于各差值构造差分结果；
对所述差分结果进行频域变换，得到频域数据；
对所述频域数据进行归一化处理，得到待处理加速度数据。
可选的，所述利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态，包括：
利用预先通过机器学习方法训练得到的状态预测模型，对所述待处理加速度数据进行状态预测，得到第一状态预测结果；
对所述第一状态预测结果回归置信度，得到所述第一状态预测结果的第一置信度；
若所述第一置信度大于或等于第一预设阈值，则确定所述第一状态预测结果为第一预测状态。
可选的，所述获取待处理图像数据，包括：
获取由图像采集器采集的源图像；
从所述源图像中提取设定区域内的图像数据，得到待处理图像数据。
可选的，所述对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点，包括：
对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格；
针对各网格，基于该网格中各像素点及各像素点的灰度值，计算得到各像素点的特征点得分，并提取特征点得分最大的像素点作为该网格的特征点；
从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点；
对所述待处理图像数据中删除所有第一特征点后剩余的第二特征点进行光流计算，得到各第二特征点的幅值；
从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点。
可选的，在所述对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格之后，所述方法还包括：
记录网格数目；
在所述从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点之后，所述方法还包括：
记录删除的第一特征点数目；
在所述从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点之后，所述方法还包括：
记录光流特征点数目；
所述基于所述多个光流特征点进行状态预测，得到第二预测状态，包括：
根据所述网格数目、所述第一特征点数目及所述光流特征点数目，计算得到车辆状态为运动状态的第二置信度；
根据所述第二置信度，确定第二预测状态。
可选的，所述融合所述第一预测状态及所述第二预测状态，判定车辆状态，包括：
基于所述第一预测状态及所述第二预测状态，确定车辆预测状态，其中，在所述第二置信度大于第二预设阈值时，所述第二预测状态对所述车辆预测状态的影响程度大于所述第一预测状态对所述车辆预测状态的影响程度，在所述第二置信度不大于所述第二预设阈值时，所述第一预测状态对所述车辆预测状态的影响程度大于所述第二预测状态对所述车辆预测状态的影响程度；
判断所述车辆预测状态与当前的车辆状态是否相同；
若不相同，则累计连续不相同的次数；
若所述次数大于第三预设阈值，则确定车辆状态为所述车辆预测状态。
第二方面，本发明实施例提供了一种车辆状态判定装置，所述装置包括：数据采集单元、算法处理单元及输出单元；所述算法处理单元包括：加速度预测模块、光流预测模块和后处理模块；
所述数据采集单元，用于获取待处理加速度数据及待处理图像数据；
所述加速度预测模块，用于利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态；
所述光流预测模块，用于对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点；基于所述多个光流特征点进行状态预测，得到第二预测状态；
所述后处理模块，用于融合所述第一预测状态及所述第二预测状态，判定车辆状态；
所述输出单元，用于输出所述车辆状态。
可选的，所述数据采集单元，具体用于：获取由加速度传感器采集的源加速度数据；
所述算法处理单元，还包括：数据预处理模块；
所述数据预处理模块，用于对所述源加速度数据进行预处理，得到待处理加速度数据。
可选的，所述数据预处理模块，具体用于：
从加速度传感器采集的源加速度数据中，缓存当前时刻之前采集的多个源加速度数据作为缓存数据；
分别对相邻的缓存数据做差，并基于各差值构造差分结果；
对所述差分结果进行频域变换，得到频域数据；
对所述频域数据进行归一化处理，得到待处理加速度数据。
可选的，所述加速度预测模块，具体用于：
利用预先通过机器学习方法训练得到的状态预测模型，对所述待处理加速度数据进行状态预测，得到第一状态预测结果；
对所述第一状态预测结果回归置信度，得到所述第一状态预测结果的第一置信度；
若所述第一置信度大于或等于第一预设阈值，则确定所述第一状态预测结果为第一预测状态。
可选的，所述数据采集单元，具体用于：
获取由图像采集器采集的源图像；
从所述源图像中提取设定区域内的图像数据，得到待处理图像数据。
可选的，所述光流预测模块，具体用于：
对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格；
针对各网格，基于该网格中各像素点及各像素点的灰度值，计算得到各像素点的特征点得分，并提取特征点得分最大的像素点作为该网格的特征点；
从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点；
对所述待处理图像数据中删除所有第一特征点后剩余的第二特征点进行光流计算，得到各第二特征点的幅值；
从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点。
可选的，所述光流预测模块，具体用于：
记录网格数目；
记录删除的第一特征点数目；
记录光流特征点数目；
根据所述网格数目、所述第一特征点数目及所述光流特征点数目，计算得到车辆状态为运动状态的第二置信度；
根据所述第二置信度，确定第二预测状态。
可选的，所述后处理模块，具体用于：
基于所述第一预测状态及所述第二预测状态，确定车辆预测状态，其中，在所述第二置信度大于第二预设阈值时，所述第二预测状态对所述车辆预测状态的影响程度大于所述第一预测状态对所述车辆预测状态的影响程度，在所述第二置信度不大于所述第二预设阈值时，所述第一预测状态对所述车辆预测状态的影响程度大于所述第二预测状态对所述车辆预测状态的影响程度；
判断所述车辆预测状态与当前的车辆状态是否相同；
若不相同，则累计连续不相同的次数；
若所述次数大于第三预设阈值，则确定车辆状态为所述车辆预测状态。
第三方面，本发明实施例提供了一种计算机设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例第一方面所述的方法步骤。
第四方面，本发明实施例提供了一种车辆状态判定系统，包括加速度传感器、图像采集器和计算机设备，其中，
所述加速度传感器，用于采集车辆的源加速度数据，并将所述源加速度数据发送至所述计算机设备；
所述图像采集器，用于采集源图像，并将所述源图像发送至所述计算机设备；
所述计算机设备，用于在运行时，实现本发明实施例第一方面所述的方法步骤。
本发明实施例提供的一种车辆状态判定方法、装置、计算机设备及系统，利用预设状态预测方法，对获取的待处理加速度数据进行状态预测，得到第一预测状态，并对获取的待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点，基于多个光流特征点进行状态预测，得到第二预测状态，最后，融合第一预测状态及第二预测状态，判定车辆状态。分别基于加速度数据和图像数据进行状态预测，结合两者的预测状态，最终判定车辆状态，如果在基于加速度数据进行状态预测时，出现车辆匀速、低速等运动状态，基于加速度数据得到的预测状态可能出现错误，但是，由于结合了基于图像数据的状态预测，车辆不论处于哪种运动状态，会引起图像中光流特征点的变化，进而准确判定车辆处于运动状态。同时，在光线不好的场景下，基于图像数据进行状态预测，可能将本身处于运动状态的车辆判定为处于静止状态，但是，由于结合了基于加速度数据的状态预测，对于正常行驶的车辆可以准确判定为运动状态。因此，通过结合基于加速度数据和图像数据进行状态预测，提高了车辆状态判定的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的车辆状态判定方法的流程示意图；
图2为本发明实施例的数据预处理流程示意图；
图3为本发明实施例的加速度预测流程示意图；
图4为本发明实施例的光流点预测流程示意图；
图5为当前的车辆状态为静止状态，结合第一预测状态和第二预测状态进行车辆状态判定的流程示意图；
图6为当前的车辆状态为运动状态，结合第一预测状态和第二预测状态进行车辆状态判定的流程示意图；
图7为本发明一实施例的车辆状态判定装置的结构示意图；
图8为本发明另一实施例的车辆状态判定装置的结构示意图；
图9为本发明实施例的计算机设备的结构示意图；
图10为本发明实施例的车辆状态判定系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高车辆状态判定的精度，本发明实施例提供了一种车辆状态判定方法、装置、计算机设备及系统。
下面首先对本发明实施例所提供的一种车辆状态判定方法进行介绍。
本发明实施例所提供的一种车辆状态判定方法的执行主体可以为执行智能算法的计算机设备，该计算机设备可以为车载设备，也可以为远程服务器设备，为了能够实现车辆状态判定的目的，执行主体中应该至少包括搭载有核心处理芯片的处理器。实现本发明实施例所提供的一种车辆状态判定方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种方式。
如图1所示，本发明实施例所提供的一种车辆状态判定方法，可以包括如下步骤：
S101，获取待处理加速度数据及待处理图像数据。
为了提高车辆状态判定的精度，本实施例提出了结合基于加速度数据和图像数据的状态预测，则需要对待处理加速度数据和待处理图像数据进行获取。待处理加速度数据可以为加速度传感器(例如G-sensor)采集的源加速度数据，也可以为对源加速度数据进行处理后得到的数据；待处理图像数据可以为图像采集器(例如车载摄像头、车载记录仪等具有图像采集功能的车载设备)采集的源图像数据，也可以为对源图像数据进行处理后得到的数据。
可选的，获取待处理加速度数据的方式，可以包括：获取由加速度传感器采集的源加速度数据；对源加速度数据进行预处理，得到待处理加速度数据。
加速度传感器为安装在车辆上的传感器，可以为一个独立的传感器元件，也可以为集成在行车记录仪等车载设备上的传感器元件。加速度传感器可以按照预设频率采集源加速度数据，由于加速度传感器所采集的源加速度数据，数据量繁多，其中包含有很多无效的数据，利用这些数据进行状态预测，会导致状态预测的效率较低，而如果只获取当前时刻采集的源加速度数据，判定结果会存在一定的误差。因此，为了便于进行状态预测，需要对加速度传感器采集的源加速度数据进行预处理，预处理后的数据可以作为待处理加速度数据。
数据预处理流程如图2所示，数据预处理主要针对G-sensor采集的加速度数据，包括对数据缓存、差分、变换和归一化操作，从而使得处理后的数据特征更便于机器进行学习和识别。预处理可以是对源加速度数据进行上述操作中的至少任一种操作，当然，为了使得对待处理加速度数据的状态预测具有较高的效率，可以按序执行上述操作。
可选的，对源加速度数据进行预处理，得到待处理加速度数据的步骤，可以包括：
第一步，从加速度传感器采集的源加速度数据中，缓存当前时刻之前采集的多个源加速度数据作为缓存数据。
加速度传感器所采集的源加速度数据包括基于预设坐标系不同轴方向的轴向数据，例如，预设坐标系可以为垂直地面方向的X轴、垂直车身方向的Y轴以及沿车身方向的Z轴组成的XYZ坐标系，则加速度传感器所采集的源加速度数据为(xt,yt,zt)，对于采集的源加速度数据(xt,yt,zt)，缓存当前时刻之前采集的多个源加速度数据作为缓存数据，具体可以是缓存当前时刻之前预设时间段内所采集的多个源加速度数据作为缓存数据，也可以是缓存当前时刻之前所采集的预设数量组源加速度数据作为缓存数据。例如将预设数量设定为11，则缓存的是当前时刻t之前采集的11组加速度数据作为缓存数据，即，缓存数据R＝{(xt-10,xt-9,…,xt),(yt-10,yt-9,…,yt),(zt-10,zt-9,…,zt)}。通过结合时间段内的加速度数据进行判定而不是单个加速度数据，判定的结果更加准确、抗噪声能力更强。
第二步，分别对相邻的缓存数据做差，并基于各差值构造差分结果。
针对缓存数据中包含多个轴向数据，对相邻的缓存数据做差，就是对相邻的缓存数据中对应轴向的数据分别做差，以此减少不同车辆对加速度数据造成的差异，例如对XYZ坐标系的三个轴向的相邻数据做差，基于各差值可以构造一个3*10的矩阵，该矩阵即为差分结果，即，差分结果如表达式(1)所示。
Figure GDA0003305380450000101
第三步，对差分结果进行频域变换，得到频域数据。
为了提高运算效率，在得到差分结果后，可以对差分结果进行频域变换，由于差分结果可以为对XYZ坐标系的三个轴向的相邻数据做差后得到的矩阵，因此进行频域变换可以为对差分结果进行离散傅里叶变换，得到频域数据。具体的，频域数据可以为F＝{fft(DX),fft(DY),fft(DZ)}，其中，fft()为离散傅里叶变换。
第四步，对频域数据进行归一化处理，得到待处理加速度数据。
归一化处理可以包括减均值和方差归一化，针对频域数据包含XYZ坐标系的三个轴向的频域变换后的结果，可以分别对三个轴向的数据进行归一化，如归一化公式(2)所示。
Figure GDA0003305380450000102
其中，μFx、μFy、μFz分别对应x、y、z三个轴向的数据进行傅里叶变换后数据的均值，σFx、σFy、σFz分别对应x、y、z三个轴向的数据进行傅里叶变换后数据的标准差，均值和标准差可以通过事先采集运动状态和静止状态的数据计算得到。Fix、Fiy、Fiz分别对应x、y、z三个轴向频域变换后的第i个数据。
可选的，获取待处理图像数据的方式，可以包括：获取由图像采集器采集的源图像；从源图像中提取设定区域内的图像数据，得到待处理图像数据。
图像采集器为安装在车辆上的例如摄像头、相机、行车记录仪等具有图像采集功能的车载设备。加速度传感器可以反映车辆快速运动、加减速和转向时造成的加速度变化，当车辆处于匀速、低速运动时，加速度传感器很难反映这一信息，与车辆处于静止状态时差异很小，因此，需要结合图像数据对处于匀速、低速等状态进行更精准的判定。在利用图像数据进行判定时，由于地平线附近包含场景丰富，车辆运动时该区域图像变化明显，且基本不会受到灯光、树叶摇摆等影响，因此，在图像采集器采集的源图像中，可以先提取设定区域内的图像数据，该设定区域可以为地平线附近的区域。更为具体的，对于分辨率为W*H的源图像，设定区域可以为地平线上、下0.1*H，宽度为W的矩形区域，其中，地平线可以根据标定得到，例如，在图像采集器安装固定后，源图像中两条车道线的交点所处的水平线即为地平线。
S102，利用预设状态预测方法，对待处理加速度数据进行状态预测，得到第一预测状态。
在获取到待处理加速度数据之后，可以通过对待处理加速度数据进行状态预测，得到第一预测状态。预设状态预测方法可以为基于对加速度变化趋势的分析进行状态预测，还可以基于机器学习方法训练得到状态预测模型，通过状态预测模型进行状态预测。相较而言，利用预先通过机器学习方法训练得到的状态预测模型进行状态预测，效率更高、准确率也更高。
加速度预测流程如图3所示，采用离线学习方式，事先分别采集车辆运动和静止状态的G-sensor数据，按上述数据预处理方法提取数据，训练运动静止判断模型，实际应用时调用该模型对输入数据进行状态预测，并且回归置信度。最后根据置信度以及前后状态做出最终判断。
可选的，利用预设状态预测方法，对待处理加速度数据进行状态预测，得到第一预测状态的步骤，可以包括：
第一步，利用预先通过机器学习方法训练得到的状态预测模型，对待处理加速度数据进行状态预测，得到第一状态预测结果。
第二步，对第一状态预测结果回归置信度，得到第一状态预测结果的第一置信度。
第三步，若第一置信度大于或等于第一预设阈值，则确定第一状态预测结果为第一预测状态。
其中，机器学习方法可以包括但不仅限于：Boosting(提升)算法、SVM(SupportVector Machine，支持向量机)算法、RNN(Recurrent Neural Networks，循环神经网络)算法等。状态预测模型的训练过程可以采用离线学习的方式，提前分别采集车辆运动状态和车辆静止状态下的加速度数据，然后，可以按照S101中待处理数据的获取方式获取样本数据，对获取得到的样本数据进行训练，即可得到状态预测模型。样本数越多训练得到模型的鲁棒性越好。第一置信度表示经状态预测模型进行状态预测得到的第一状态预测结果的可靠性，如果第一置信度小于第一预设阈值，则认为第一状态预测结果不可靠，例如第一预设阈值为0.85时，如果第一置信度小于0.85，则认为第一状态预测结果不可靠，则维持当前的车辆状态不变，即确定当前的车辆状态为第一预测状态；如果第一置信度大于或等于0.85，则认为第一状态预测结果可靠，确定第一状态预测结果为第一预测状态。
S103，对待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点。
在待处理图像数据中，光流的信息能够很好的反映车辆状态，如果光流密度很大，则说明车辆处于运动状态，如果光流密度很小，或者基本无光流，则说明车辆处于静止状态。因此，在得到待处理图像数据后，可以先对待处理图像数据中的像素点进行光流计算，得到光流计算结果，然后筛选出有用的特征点作为光流特征点。
光流点预测流程如图4所示，G-sensor传感器能反映车辆快速运动、加减速和转向时造成的加速度变化，当车辆处于匀速、低速运动时，G-sensor很难反映这一信息，与车辆静止时差异很小。因此，需要结合图像信息对车辆处于匀速、低速等状态进行更精确的判断。地平线附近场景丰富，车辆运动时该区域图像变化明显，并且该区域中主要为静止目标，不受灯光和摇摆树叶等影响。因此，根据该区域图像中光流的信息，能很好反映车辆运动状态。光流点预测主要包括的步骤有：设定区域；划分网络；提取特征点；剔除运动目标特征点；计算特征点光流；筛选光流特征点；预测。
可选的，对待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点的步骤，可以包括：
第一步，对待处理图像数据进行网格划分，得到待处理图像数据中的多个网格。
如果直接对整个待处理图像数据进行光流计算，由于场景中偶有局部区域纹理较强的情况发生，导致计算得到的光流特征点分布不均匀，如果出现该情况，会引入较大的误差，因此，需要先对待处理图像数据进行网格划分，针对各网格分别基于灰度值进行计算，使得光流特征点可以均匀分布，网格划分可以按照预设数量进行划分，例如将待处理图像数据划分为64个区域，也可以按照预设的图形划分规则进行划分，例如，将待处理图像数据划分为多个固定长、宽的小区域。
第二步，针对各网格，基于该网格中各像素点及各像素点的灰度值，计算得到各像素点的特征点得分，并提取特征点得分最大的像素点作为该网格的特征点。
针对各网格，需要提取网格中的特征点，而该特征点可以为基于灰度值进行特征点得分计算，得到特征点得分最大的像素点，对于网格内的像素点(x,y)，和该像素点的灰度值I(x,y)，特征点得分Score可以根据公式(3)计算得到。
Figure GDA0003305380450000131
第三步，从待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点。
预设目标检测信息可以为已知辅助驾驶系统中的目标检测信息，该信息中包含有道路中机动车、非机动车等指定目标的特征信息，由于指定目标易对光流计算的结果产生影响，因此，需要将所有特征点中，指定目标的第一特征点删除。
第四步，对待处理图像数据中删除所有第一特征点后剩余的第二特征点进行光流计算，得到各第二特征点的幅值。
在删除所有第一特征点后，剩余的特征点定义为第二特征点，对第二特征点可以进行光流计算，具体的，光流计算可以是对特征点进行光流分析，得到第二特征点的幅值。
第五步，从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点。
由于得到的第二特征点中，存在异常的特征点，这些特征点的幅值往往处于预设幅值范围以外，例如幅值小于0.5或者大于40，需要剔除这些异常的特征点，保留正常的特征点作为光流特征点。
S104，基于多个光流特征点进行状态预测，得到第二预测状态。
基于多个光流特征点，可以通过对光流特征点的密度分析、流量分析等状态预测，得到第二预测状态，第二预测状态可以为车辆处于运动状态的判定或者车辆处于静止状态的判定。由于光流特征点最直观的显示车辆处于运动状态的情况，则第二预测状态可以为车辆处于运动状态的可靠度，即车辆处于运动状态的置信度。
在上述对待处理图像数据进行网格划分，得到待处理图像数据中的多个网格的步骤之后，可以记录网格数目。
在上述从待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点的步骤之后，可以记录删除的第一特征点数目。
在上述从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点的步骤之后，可以记录光流特征点数目。
可选的，基于多个光流特征点进行状态预测，得到第二预测状态的步骤，可以包括：根据记录的网格数目、第一特征点数目及光流特征点数目，计算得到车辆状态为运动状态的第二置信度；根据第二置信度，确定第二预测状态。
根据记录的网格数目、第一特征点数目及光流特征点数目，计算得到车辆状态为运动状态的第二置信度的计算方式如公式(4)所示。所确定的第二预测状态，即为车辆状态为运动状态的第二置信度。
Figure GDA0003305380450000141
其中，conf为第二置信度，v为光流特征点数目、m为网格数目、n为第一特征点数目。
S105，融合第一预测状态及第二预测状态，判定车辆状态。
在得到第一预测状态和第二预测状态后，需要融合第一预测状态和第二预测状态进行车辆状态的判定，通过图像数据进行状态预测得到车辆处于运动状态的结果相对更为精准，因此，在第二置信度较高时，优先考虑，即第二预测状态对结果判定的影响程度大于第一预测状态对结果判定的影响程度。
可选的，融合第一预测状态及第二预测状态，判定车辆状态的步骤，可以包括：基于第一预测状态及第二预测状态，确定车辆预测状态，其中，在第二置信度大于第二预设阈值时，第二预测状态对车辆预测状态的影响程度大于第一预测状态对车辆预测状态的影响程度，在第二置信度不大于第二预设阈值时，第一预测状态对车辆预测状态的影响程度大于第二预测状态对车辆预测状态的影响程度；判断车辆预测状态与当前的车辆状态是否相同；若不相同，则累计连续不相同的次数；若累计的连续不相同的次数大于第三预设阈值，则确定车辆状态为车辆预测状态。
由于在进行车辆状态判定时，可能会出现判定误差，例如，其中某一个时刻判定的结果出现错误，为了应对这种情况，需要连续出现与当前的车辆状态不同的次数大于第三预设阈值时，才可以确定车辆状态，因此，可以针对第二置信度大于第二预设阈值的情况，车辆预测状态更加倾向于第二预测状态，针对第二置信度不大于第二预设阈值的情况，车辆预测状态更加倾向于第一预测状态；然后再判断车辆预测状态与当前的车辆状态连续不相同的次数，进而判定是否将车辆状态确定为车辆预测状态。其中，第二预设阈值可以设置为0.7，第三预设阈值可以设置为3。同时，由于车辆状态不会出现短时频繁变化，因此在融合第一预测状态及第二预测状态进行车辆状态的判定时，还可以结合当前的车辆状态，排除一些误判定。
应用本实施例，利用预设状态预测方法，对获取的待处理加速度数据进行状态预测，得到第一预测状态，并对获取的待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点，基于多个光流特征点进行状态预测，得到第二预测状态，最后，融合第一预测状态及第二预测状态，判定车辆状态。分别基于加速度数据和图像数据进行状态预测，结合两者的预测状态，最终判定车辆状态，如果在基于加速度数据进行状态预测时，出现车辆匀速、低速等运动状态，基于加速度数据得到的预测状态可能出现错误，但是，由于结合了基于图像数据的状态预测，车辆不论处于哪种运动状态，会引起图像中光流特征点的变化，进而准确判定车辆处于运动状态。同时，在光线不好的场景下，基于图像数据进行状态预测，可能将本身处于运动状态的车辆判定为处于静止状态，但是，由于结合了基于加速度数据的状态预测，对于正常行驶的车辆可以准确判定为运动状态。因此，通过结合基于加速度数据和图像数据进行状态预测，提高了车辆状态判定的精度。
为了便于对本发明实施例的理解，下面对结合第一预测状态、第二预测状态及当前的车辆状态进行车辆状态的最终判定进行介绍。
如图5所示，为当前的车辆状态为静止状态，结合第一预测状态和第二预测状态进行车辆状态判定的流程示意图，判定过程包括如下步骤：
S501，针对当前的车辆状态为静止状态，判断第二预测状态的第二置信度是否小于0.2，若是则确定车辆仍然处于静止状态，否则执行S502。
S502，基于第一预测状态判断车辆状态是否为运动状态，若是则确定车辆处于运动状态，且可以确定该运动状态为快速运动状态，否则执行S503。
S503，判断与前一次进行车辆状态判定时，第二置信度的增加是否小于50％，若是则确定车辆处于静止状态，否则执行S504。
S504，基于第一预测状态判断车辆状态是否为运动状态，若是则确定车辆处于运动状态，且可以确定车辆正在由静止状态切换为运动状态，即车辆正在起步，该运动状态为缓慢运动状态，否则确定车辆处于静止状态。
如图6所示，为当前的车辆状态为运动状态，结合第一预测状态和第二预测状态进行车辆状态判定的流程示意图，判定过程包括如下步骤：
S601，针对当前的车辆状态为运动状态，判断是否为缓慢运动状态，若是则执行S602，否则执行605。
S602，基于第一预测状态判断车辆状态是否为运动状态，若是则执行S603，否则执行S604。
S603，判断第二预测状态的第二置信度是否小于0.5，若是则确定车辆处于缓慢运动状态，否则确定车辆处于快速运动状态。
S604，判断与前一次进行车辆状态判定时，第二置信度的增加是否小于50％，或者第二置信度是否小于0.2，若是则确定车辆处于静止状态，否则确定车辆处于缓慢运动状态。
S605，基于第一预测状态判断车辆状态是否为运动状态，若是则确定车辆处于快速运动状态，否则执行S606。
S606，判断第二置信度是否小于0.7，若是则确定车辆处于静止状态，否则确定车辆处于快速运动状态。
通过图5及图6所示实施例，结合第一预测状态、第二预测状态和当前的车辆状态，可以更为准确的判定车辆状态，提高了车辆判定的精度。
响应于上述方法实施例，本发明实施例提供了一种车辆状态判定装置，如图7所示，该车辆状态判定装置可以包括：数据采集单元710、算法处理单元720及输出单元730；所述算法处理单元720包括：加速度预测模块722、光流预测模块723和后处理模块724。
所述数据采集单元710，用于获取待处理加速度数据及待处理图像数据。
所述加速度预测模块722，用于利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态。
所述光流预测模块723，用于对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点；基于所述多个光流特征点进行状态预测，得到第二预测状态。
所述后处理模块724，用于融合所述第一预测状态及所述第二预测状态，判定车辆状态。
所述输出单元730，用于输出所述车辆状态。所述输出单元730用于接收从算法处理单元720输出的车辆状态信息，传送给其它辅助驾驶功能模块。
可选的，所述数据采集单元710，具体可以用于：获取由加速度传感器采集的源加速度数据。
如图8所示，所述算法处理单元720，还可以包括：数据预处理模块721。
所述数据预处理模块721，用于对所述源加速度数据进行预处理，得到待处理加速度数据。
可选的，所述数据预处理模块721，具体可以用于：从加速度传感器采集的源加速度数据中，缓存当前时刻之前采集的多个源加速度数据作为缓存数据；分别对相邻的缓存数据做差，并基于各差值构造差分结果；对所述差分结果进行频域变换，得到频域数据；对所述频域数据进行归一化处理，得到待处理加速度数据。
可选的，所述加速度预测模块722，具体可以用于：利用预先通过机器学习方法训练得到的状态预测模型，对所述待处理加速度数据进行状态预测，得到第一状态预测结果；对所述第一状态预测结果回归置信度，得到所述第一状态预测结果的第一置信度；若所述第一置信度大于或等于第一预设阈值，则确定所述第一状态预测结果为第一预测状态。
可选的，所述数据采集单元710，具体可以用于：获取由图像采集器采集的源图像；从所述源图像中提取设定区域内的图像数据，得到待处理图像数据。
可选的，所述光流预测模块723，具体可以用于：对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格；针对各网格，基于该网格中各像素点及各像素点的灰度值，计算得到各像素点的特征点得分，并提取特征点得分最大的像素点作为该网格的特征点；从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点；对所述待处理图像数据中删除所有第一特征点后剩余的第二特征点进行光流计算，得到各第二特征点的幅值；从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点。
可选的，所述光流预测模块723，具体可以用于：记录网格数目；记录删除的第一特征点数目；记录光流特征点数目；根据所述网格数目、所述第一特征点数目及所述光流特征点数目，计算得到车辆状态为运动状态的第二置信度；根据所述第二置信度，确定第二预测状态。
可选的，所述后处理模块724，具体可以用于：基于所述第一预测状态及所述第二预测状态，确定车辆预测状态，其中，在所述第二置信度大于第二预设阈值时，所述第二预测状态对所述车辆预测状态的影响程度大于所述第一预测状态对所述车辆预测状态的影响程度，在所述第二置信度不大于所述第二预设阈值时，所述第一预测状态对所述车辆预测状态的影响程度大于所述第二预测状态对所述车辆预测状态的影响程度；判断所述车辆预测状态与当前的车辆状态是否相同；若不相同，则累计连续不相同的次数；若所述次数大于第三预设阈值，则确定车辆状态为所述车辆预测状态。
应用本实施例，利用预设状态预测方法，对获取的待处理加速度数据进行状态预测，得到第一预测状态，并对获取的待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点，基于多个光流特征点进行状态预测，得到第二预测状态，最后，融合第一预测状态及第二预测状态，判定车辆状态。分别基于加速度数据和图像数据进行状态预测，结合两者的预测状态，最终判定车辆状态，如果在基于加速度数据进行状态预测时，出现车辆匀速、低速等运动状态，基于加速度数据得到的预测状态可能出现错误，但是，由于结合了基于图像数据的状态预测，车辆不论处于哪种运动状态，会引起图像中光流特征点的变化，进而准确判定车辆处于运动状态。同时，在光线不好的场景下，基于图像数据进行状态预测，可能将本身处于运动状态的车辆判定为处于静止状态，但是，由于结合了基于加速度数据的状态预测，对于正常行驶的车辆可以准确判定为运动状态。因此，通过结合基于加速度数据和图像数据进行状态预测，提高了车辆状态判定的精度。
本发明实施例还提供了一种计算机设备，如图9所示，包括处理器901和存储器902，其中，
存储器902，用于存放计算机程序。
处理器901，用于执行存储器902上所存放的程序时，实现上述车辆状态判定方法的所有步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，该计算机设备的处理器通过读取存储器中存储的计算机程序，并通过运行该计算机程序，能够实现：分别基于加速度数据和图像数据进行状态预测，结合两者的预测状态，最终判定车辆状态，如果在基于加速度数据进行状态预测时，出现车辆匀速、低速等运动状态，基于加速度数据得到的预测状态可能出现错误，但是，由于结合了基于图像数据的状态预测，车辆不论处于哪种运动状态，会引起图像中光流特征点的变化，进而准确判定车辆处于运动状态。同时，在光线不好的场景下，基于图像数据进行状态预测，可能将本身处于运动状态的车辆判定为处于静止状态，但是，由于结合了基于加速度数据的状态预测，对于正常行驶的车辆可以准确判定为运动状态。因此，通过结合基于加速度数据和图像数据进行状态预测，提高了车辆状态判定的精度。
另外，相应于上述实施例所提供的车辆状态判定方法，本发明实施例提供了一种存储介质，用于存储计算机程序，所述计算机程序被处理器执行时，实现上述车辆状态判定方法的所有步骤。
本实施例中，存储介质存储有在运行时执行本发明实施例所提供的车辆状态判定方法的应用程序，因此能够实现：分别基于加速度数据和图像数据进行状态预测，结合两者的预测状态，最终判定车辆状态，如果在基于加速度数据进行状态预测时，出现车辆匀速、低速等运动状态，基于加速度数据得到的预测状态可能出现错误，但是，由于结合了基于图像数据的状态预测，车辆不论处于哪种运动状态，会引起图像中光流特征点的变化，进而准确判定车辆处于运动状态。同时，在光线不好的场景下，基于图像数据进行状态预测，可能将本身处于运动状态的车辆判定为处于静止状态，但是，由于结合了基于加速度数据的状态预测，对于正常行驶的车辆可以准确判定为运动状态。因此，通过结合基于加速度数据和图像数据进行状态预测，提高了车辆状态判定的精度。
对于计算机设备以及存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种车辆状态判定系统，如图10所示，该车辆状态判定系统包括：
加速度传感器1010，用于采集车辆的源加速度数据，并将所述源加速度数据发送至计算机设备1030。
图像采集器1020，用于采集源图像，并将所述源图像发送至计算机设备1030。
计算机设备1030，用于获取待处理加速度数据及待处理图像数据；利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态；对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点；基于所述多个光流特征点进行状态预测，得到第二预测状态；融合所述第一预测状态及所述第二预测状态，判定车辆状态。
可选的，所述计算机设备1030，具体可以用于：获取由加速度传感器1010采集的源加速度数据；对所述源加速度数据进行预处理，得到待处理加速度数据。
可选的，所述计算机设备1030，具体可以用于：从加速度传感器采集的源加速度数据中，缓存当前时刻之前采集的多个源加速度数据作为缓存数据；分别对相邻的缓存数据做差，并基于各差值构造差分结果；对所述差分结果进行频域变换，得到频域数据；对所述频域数据进行归一化处理，得到待处理加速度数据。
可选的，所述计算机设备1030，具体可以用于：利用预先通过机器学习方法训练得到的状态预测模型，对所述待处理加速度数据进行状态预测，得到第一状态预测结果；对所述第一状态预测结果回归置信度，得到所述第一状态预测结果的第一置信度；若所述第一置信度大于或等于第一预设阈值，则确定所述第一状态预测结果为第一预测状态。
可选的，所述计算机设备1030，具体可以用于：获取由图像采集器1020采集的源图像；从所述源图像中提取设定区域内的图像数据，得到待处理图像数据。
可选的，所述计算机设备1030，具体可以用于：对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格；针对各网格，基于该网格中各像素点及各像素点的灰度值，计算得到各像素点的特征点得分，并提取特征点得分最大的像素点作为该网格的特征点；从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点；对所述待处理图像数据中删除所有第一特征点后剩余的第二特征点进行光流计算，得到各第二特征点的幅值；从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点。
可选的，所述计算机设备1030，还可以用于：记录网格数目；记录删除的第一特征点数目；记录光流特征点数目。
所述计算机设备1030，具体可以用于：根据所述网格数目、所述第一特征点数目及所述光流特征点数目，计算得到车辆状态为运动状态的第二置信度；根据所述第二置信度，确定第二预测状态。
可选的，所述计算机设备1030，具体可以用于：基于所述第一预测状态及所述第二预测状态，确定车辆预测状态，其中，在所述第二置信度大于第二预设阈值时，所述第二预测状态对所述车辆预测状态的影响程度大于所述第一预测状态对所述车辆预测状态的影响程度，在所述第二置信度不大于所述第二预设阈值时，所述第一预测状态对所述车辆预测状态的影响程度大于所述第二预测状态对所述车辆预测状态的影响程度；判断所述车辆预测状态与当前的车辆状态是否相同；若不相同，则累计连续不相同的次数；若所述次数大于第三预设阈值，则确定车辆状态为所述车辆预测状态。
应用本实施例，利用预设状态预测方法，对获取的待处理加速度数据进行状态预测，得到第一预测状态，并对获取的待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点，基于多个光流特征点进行状态预测，得到第二预测状态，最后，融合第一预测状态及第二预测状态，判定车辆状态。分别基于加速度数据和图像数据进行状态预测，结合两者的预测状态，最终判定车辆状态，如果在基于加速度数据进行状态预测时，出现车辆匀速、低速等运动状态，基于加速度数据得到的预测状态可能出现错误，但是，由于结合了基于图像数据的状态预测，车辆不论处于哪种运动状态，会引起图像中光流特征点的变化，进而准确判定车辆处于运动状态。同时，在光线不好的场景下，基于图像数据进行状态预测，可能将本身处于运动状态的车辆判定为处于静止状态，但是，由于结合了基于加速度数据的状态预测，对于正常行驶的车辆可以准确判定为运动状态。因此，通过结合基于加速度数据和图像数据进行状态预测，提高了车辆状态判定的精度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、计算机设备、存储介质及系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种车辆状态判定方法，其特征在于，所述方法包括：
获取待处理加速度数据及待处理图像数据；
利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态；
对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点；
基于所述多个光流特征点进行状态预测，计算得到车辆状态为运动状态的第二置信度，并得到第二预测状态；
基于所述第一预测状态及所述第二预测状态，确定车辆预测状态，其中，在所述第二置信度大于第二预设阈值时，所述第二预测状态对所述车辆预测状态的影响程度大于所述第一预测状态对所述车辆预测状态的影响程度，在所述第二置信度不大于所述第二预设阈值时，所述第一预测状态对所述车辆预测状态的影响程度大于所述第二预测状态对所述车辆预测状态的影响程度；
判断所述车辆预测状态与当前的车辆状态是否相同；
若不相同，则累计连续不相同的次数；
若所述次数大于第三预设阈值，则确定车辆状态为所述车辆预测状态。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理加速度数据，包括：
获取由加速度传感器采集的源加速度数据；
对所述源加速度数据进行预处理，得到待处理加速度数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述源加速度数据进行预处理，得到待处理加速度数据，包括：
从加速度传感器采集的源加速度数据中，缓存当前时刻之前采集的多个源加速度数据作为缓存数据；
分别对相邻的缓存数据做差，并基于各差值构造差分结果；
对所述差分结果进行频域变换，得到频域数据；
对所述频域数据进行归一化处理，得到待处理加速度数据。
4.根据权利要求1所述的方法，其特征在于，所述利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态，包括：
利用预先通过机器学习方法训练得到的状态预测模型，对所述待处理加速度数据进行状态预测，得到第一状态预测结果；
对所述第一状态预测结果回归置信度，得到所述第一状态预测结果的第一置信度；
若所述第一置信度大于或等于第一预设阈值，则确定所述第一状态预测结果为第一预测状态。
5.根据权利要求1所述的方法，其特征在于，所述获取待处理图像数据，包括：
获取由图像采集器采集的源图像；
从所述源图像中提取设定区域内的图像数据，得到待处理图像数据。
6.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点，包括：
对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格；
针对各网格，基于该网格中各像素点及各像素点的灰度值，计算得到各像素点的特征点得分，并提取特征点得分最大的像素点作为该网格的特征点；
从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点；
对所述待处理图像数据中删除所有第一特征点后剩余的第二特征点进行光流计算，得到各第二特征点的幅值；
从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点。
7.根据权利要求6所述的方法，其特征在于，在所述对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格之后，所述方法还包括：
记录网格数目；
在所述从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点之后，所述方法还包括：
记录删除的第一特征点数目；
在所述从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点之后，所述方法还包括：
记录光流特征点数目；
所述基于所述多个光流特征点进行状态预测，计算得到车辆状态为运动状态的第二置信度，并得到第二预测状态，包括：
根据所述网格数目、所述第一特征点数目及所述光流特征点数目，计算得到车辆状态为运动状态的第二置信度；
根据所述第二置信度，确定第二预测状态。
8.一种车辆状态判定装置，其特征在于，所述装置包括：数据采集单元、算法处理单元及输出单元；所述算法处理单元包括：加速度预测模块、光流预测模块和后处理模块；
所述数据采集单元，用于获取待处理加速度数据及待处理图像数据；
所述加速度预测模块，用于利用预设状态预测方法，对所述待处理加速度数据进行状态预测，得到第一预测状态；
所述光流预测模块，用于对所述待处理图像数据中的像素点进行光流计算，筛选出计算结果处于预设阈值范围内的多个光流特征点；基于所述多个光流特征点进行状态预测，计算得到车辆状态为运动状态的第二置信度，并得到第二预测状态；
所述后处理模块，用于基于所述第一预测状态及所述第二预测状态，确定车辆预测状态，其中，在所述第二置信度大于第二预设阈值时，所述第二预测状态对所述车辆预测状态的影响程度大于所述第一预测状态对所述车辆预测状态的影响程度，在所述第二置信度不大于所述第二预设阈值时，所述第一预测状态对所述车辆预测状态的影响程度大于所述第二预测状态对所述车辆预测状态的影响程度；判断所述车辆预测状态与当前的车辆状态是否相同；若不相同，则累计连续不相同的次数；若所述次数大于第三预设阈值，则确定车辆状态为所述车辆预测状态；
所述输出单元，用于输出所述车辆状态。
9.根据权利要求8所述的装置，其特征在于，所述数据采集单元，具体用于：获取由加速度传感器采集的源加速度数据；
所述算法处理单元，还包括：数据预处理模块；
所述数据预处理模块，用于对所述源加速度数据进行预处理，得到待处理加速度数据。
10.根据权利要求9所述的装置，其特征在于，所述数据预处理模块，具体用于：
从加速度传感器采集的源加速度数据中，缓存当前时刻之前采集的多个源加速度数据作为缓存数据；
分别对相邻的缓存数据做差，并基于各差值构造差分结果；
对所述差分结果进行频域变换，得到频域数据；
对所述频域数据进行归一化处理，得到待处理加速度数据。
11.根据权利要求8所述的装置，其特征在于，所述加速度预测模块，具体用于：
利用预先通过机器学习方法训练得到的状态预测模型，对所述待处理加速度数据进行状态预测，得到第一状态预测结果；
对所述第一状态预测结果回归置信度，得到所述第一状态预测结果的第一置信度；
若所述第一置信度大于或等于第一预设阈值，则确定所述第一状态预测结果为第一预测状态。
12.根据权利要求8所述的装置，其特征在于，所述数据采集单元，具体用于：
获取由图像采集器采集的源图像；
从所述源图像中提取设定区域内的图像数据，得到待处理图像数据。
13.根据权利要求8所述的装置，其特征在于，所述光流预测模块，具体用于：
对所述待处理图像数据进行网格划分，得到所述待处理图像数据中的多个网格；
针对各网格，基于该网格中各像素点及各像素点的灰度值，计算得到各像素点的特征点得分，并提取特征点得分最大的像素点作为该网格的特征点；
从所述待处理图像数据的所有特征点中，删除与预设目标检测信息对应的指定目标的第一特征点；
对所述待处理图像数据中删除所有第一特征点后剩余的第二特征点进行光流计算，得到各第二特征点的幅值；
从所有第二特征点中，筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点。
14.根据权利要求13所述的装置，其特征在于，所述光流预测模块，具体用于：
记录网格数目；
记录删除的第一特征点数目；
记录光流特征点数目；
根据所述网格数目、所述第一特征点数目及所述光流特征点数目，计算得到车辆状态为运动状态的第二置信度；
根据所述第二置信度，确定第二预测状态。
15.一种计算机设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
16.一种车辆状态判定系统，其特征在于，包括加速度传感器、图像采集器和计算机设备，其中，
所述加速度传感器，用于采集车辆的源加速度数据，并将所述源加速度数据发送至所述计算机设备；
所述图像采集器，用于采集源图像，并将所述源图像发送至所述计算机设备；
所述计算机设备，用于在运行时，实现权利要求1-7任一所述的方法步骤。
CN201810480535.1A 2018-05-18 2018-05-18 一种车辆状态判定方法、装置、计算机设备及系统 Active CN110503740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810480535.1A CN110503740B (zh) 2018-05-18 2018-05-18 一种车辆状态判定方法、装置、计算机设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810480535.1A CN110503740B (zh) 2018-05-18 2018-05-18 一种车辆状态判定方法、装置、计算机设备及系统

Publications (2)

Publication Number Publication Date
CN110503740A CN110503740A (zh) 2019-11-26
CN110503740B true CN110503740B (zh) 2021-11-26

Family

ID=68584415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810480535.1A Active CN110503740B (zh) 2018-05-18 2018-05-18 一种车辆状态判定方法、装置、计算机设备及系统

Country Status (1)

Country Link
CN (1) CN110503740B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862206A (zh) * 2019-12-31 2020-10-30 滴图(北京)科技有限公司 一种视觉定位方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102967728A (zh) * 2012-11-19 2013-03-13 珠海德百祺科技有限公司 利用加速度传感器检测车辆运动状态的方法和装置
CN104919418A (zh) * 2013-01-15 2015-09-16 国际商业机器公司 用于分支预测的基于置信度阈值的相对路径执行
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN107123128A (zh) * 2017-04-24 2017-09-01 南京邮电大学 一种保证准确性的车辆运动状态估计方法
US9771017B1 (en) * 2016-08-10 2017-09-26 Dynacraft Bsc, Inc. Electric toy with illuminated handlebar
WO2018090011A1 (en) * 2016-11-14 2018-05-17 Kodak Alaris Inc. System and method of character recognition using fully convolutional neural networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5040237B2 (ja) * 2006-09-29 2012-10-03 株式会社デンソー 車両走行判定装置
CN102903162B (zh) * 2012-09-24 2015-01-14 清华大学 一种汽车行驶状态信息采集处理系统及其处理方法
CN104575003B (zh) * 2013-10-23 2017-07-18 北京交通大学 一种基于道路监控视频的车辆速度检测方法
CN105352495B (zh) * 2015-11-17 2018-03-23 天津大学 加速度与光流传感器数据融合无人机水平速度控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102967728A (zh) * 2012-11-19 2013-03-13 珠海德百祺科技有限公司 利用加速度传感器检测车辆运动状态的方法和装置
CN104919418A (zh) * 2013-01-15 2015-09-16 国际商业机器公司 用于分支预测的基于置信度阈值的相对路径执行
US9771017B1 (en) * 2016-08-10 2017-09-26 Dynacraft Bsc, Inc. Electric toy with illuminated handlebar
WO2018090011A1 (en) * 2016-11-14 2018-05-17 Kodak Alaris Inc. System and method of character recognition using fully convolutional neural networks
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN107123128A (zh) * 2017-04-24 2017-09-01 南京邮电大学 一种保证准确性的车辆运动状态估计方法

Also Published As

Publication number Publication date
CN110503740A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
US10579058B2 (en) Apparatus and method for generating training data to train neural network determining information associated with road included in image
JP7060625B2 (ja) 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位
JP7086111B2 (ja) 自動運転車のｌｉｄａｒ測位に用いられるディープラーニングに基づく特徴抽出方法
CN109937343B (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
US10449958B2 (en) Feedback-based control model generation for an autonomous vehicle
KR102350181B1 (ko) 자율 주행 차량에서 rnn 및 lstm을 사용하여 시간적 평활화를 수행하는 lidar 위치 추정
CN112839855B (zh) 一种轨迹预测方法与装置
US11704554B2 (en) Automated training data extraction method for dynamic models for autonomous driving vehicles
CN108334077B (zh) 确定自动驾驶车辆的速度控制的单位增益的方法和系统
EP2657644B1 (en) Positioning apparatus and positioning method
DE102017101466A1 (de) Verfolgen von objekten in einer dynamischen umgebung zur verbesserten lokalisierung
JP7200897B2 (ja) 占有グリッドマップ生成装置、占有グリッドマップ生成システム、占有グリッドマップ生成方法、およびプログラム
CN110659658B (zh) 一种目标检测方法及其装置
KR20200122987A (ko) 궤적 분류 모델의 트레이닝 방법 및 장치, 및 전가 기기
CN109405827B (zh) 终端定位方法及装置
KR102266996B1 (ko) 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
CN109435940B (zh) 一种公路车道的识别方法、装置及系统
CN112084810A (zh) 一种障碍物检测方法、装置、电子设备及存储介质
JP6908674B2 (ja) 自動運転車両を動作させるための所定のキャリブレーションテーブルに基づく車両制御システム
CN114093171B (zh) 基于多源数据融合的交通运行状态监测方法及装置
CN110503740B (zh) 一种车辆状态判定方法、装置、计算机设备及系统
CN111033423B (zh) 用于评估自动驾驶车辆的定位系统的方法
JP7207227B2 (ja) 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
CN117877136A (zh) 数据采集方法、装置、设备及存储介质
CN117609793A (zh) 一种目标数据生成方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant