CN110633707A - 预测速度的方法和装置 - Google Patents
预测速度的方法和装置 Download PDFInfo
- Publication number
- CN110633707A CN110633707A CN201810641797.1A CN201810641797A CN110633707A CN 110633707 A CN110633707 A CN 110633707A CN 201810641797 A CN201810641797 A CN 201810641797A CN 110633707 A CN110633707 A CN 110633707A
- Authority
- CN
- China
- Prior art keywords
- data
- output
- splicing
- neural network
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 76
- 238000013528 artificial neural network Methods 0.000 claims description 63
- 230000000306 recurrent effect Effects 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Abstract
本发明公开了一种预测速度的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对多种数据分别进行特征提取以得到每种数据对应的输出特征；将每种数据对应的输出特征进行拼接；对拼接后得到的输出特征进行运算处理以得到预测的速度。该实施方式能够通过融合多种数据来共同进行速度预测，从而提升了速度预测的准确率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种预测速度的方法和装置。
背景技术
在自动驾驶领域，车辆的速度是一个重要的信息，如果能够准确地预测出车辆行驶的速度，将对自动驾驶的安全性提升有很大的帮助。
现有的对速度进行预测的方案大多是利用图像数据来预测车辆的行驶速度，通过建立图像到车辆行驶速度的端到端的映射，也就是通过构建一个简单的神经网络，将图像数据作为输入，车辆行驶速度作为输出，即可实现利用图像数据预测车辆的行驶速度。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
仅利用图像数据来预测车辆的行驶速度，数据维度单一，准确率较低。
发明内容
有鉴于此，本发明实施例提供一种预测速度的方法和装置，能够通过融合多种数据来共同进行速度预测，从而提升了速度预测的准确率。
为实现上述目的，根据本发明实施例的一个方面，提供了一种预测速度的方法。
一种预测速度的方法，包括：对多种数据分别进行特征提取以得到每种数据对应的输出特征；将所述每种数据对应的输出特征进行拼接；对拼接后得到的输出特征进行运算处理以得到预测的速度。
可选地，所述多种数据包括图像数据、惯性测量数据和位置数据中的至少两种，并且，使用卷积神经网络对所述图像数据进行特征提取，使用深层神经网络对所述惯性测量数据和/或所述位置数据进行特征提取。
可选地，所述深层神经网络包括不少于两个隐藏层。
可选地，对多种数据分别进行特征提取之后，还包括：通过将提取的所述多种数据的特征分别输入时间递归神经网络，以对所述多种数据分别进行二次特征提取，并将二次特征提取后得到的特征作为每种数据对应的输出特征。
可选地，对拼接后得到的输出特征进行运算处理之前，还包括：通过将拼接后得到的输出特征输入时间递归神经网络，以对所述拼接后得到的输出特征进行二次特征提取，并使用二次特征提取后得到的输出特征来更新所述拼接后得到的输出特征。
可选地，所述时间递归神经网络为长短期记忆网络。
可选地，所述时间递归神经网络的层数为两层。
可选地，对拼接后得到的输出特征进行运算处理以得到预测的速度的步骤包括：将拼接后得到的输出特征输入全连接层以进行运算处理，并将所述全连接层的输出作为预测的速度。
根据本发明实施例的另一方面，提供了一种预测速度的装置。
一种预测速度的装置，包括：特征提取模块，用于对多种数据分别进行特征提取以得到每种数据对应的输出特征；特征拼接模块，用于将所述每种数据对应的输出特征进行拼接；运算处理模块，用于对拼接后得到的输出特征进行运算处理以得到预测的速度。
可选地，所述多种数据包括图像数据、惯性测量数据和位置数据中的至少两种，并且，使用卷积神经网络对所述图像数据进行特征提取，使用深层神经网络对所述惯性测量数据和/或所述位置数据进行特征提取。
可选地，所述深层神经网络包括不少于两个隐藏层。
可选地，所述特征提取模块还用于：在对多种数据分别进行特征提取之后，通过将提取的所述多种数据的特征分别输入时间递归神经网络，以对所述多种数据分别进行二次特征提取，并将二次特征提取后得到的特征作为每种数据对应的输出特征。
可选地，还包括特征更新模块，用于：在对拼接后得到的输出特征进行运算处理之前，通过将拼接后得到的输出特征输入时间递归神经网络，以对所述拼接后得到的输出特征进行二次特征提取，并使用二次特征提取后得到的输出特征来更新所述拼接后得到的输出特征。
可选地，所述时间递归神经网络为长短期记忆网络。
可选地，所述时间递归神经网络的层数为两层。
可选地，所述运算处理模块还用于：将拼接后得到的输出特征输入全连接层以进行运算处理，并将所述全连接层的输出作为预测的速度。
根据本发明实施例的又一方面，提供了一种预测速度的电子设备。
一种预测速度的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的预测速度的方法。
根据本发明实施例的再一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的预测速度的方法。
上述发明中的一个实施例具有如下优点或有益效果：通过对多种数据进行特征提取，并将提取的特征进行拼接和运算处理来预测速度，从而克服了现有技术中由于仅考虑图像数据而带来的速度预测准确率低的问题；同时，本发明还通过时间递归神经网络将历史数据引入算法模型中，以利用历史数据来刻画速度的变化过程，从而进一步提升速度预测的准确率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的预测速度的方法的主要步骤示意图；
图2是本发明一个实施例的实现原理示意图；
图3是根据本发明实施例的预测速度的装置的主要模块示意图；
图4是本发明实施例可以应用于其中的示例性系统架构图；
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了解决现有技术中提出的速度预测准确率低的问题，本发明提供了一种预测速度的方法，除了利用图像数据来预测速度以外，同时还利用可以反映速度变化情况的惯性测量数据和/或位置数据来预测速度，即：通过将多种数据融合来预测速度，从而避免了由于考虑数据维度单一(仅考虑图像数据)而导致的速度预测准确率低的问题。另外，本发明还通过引入历史数据来刻画速度的变化过程，以进一步提高对车辆行驶速度进行预测的准确率。
其中，惯性测量数据指的是通过惯性测量单元IMU(inertial measurement unit，是测量物体三轴姿态角或角速率以及加速度的装置)测量得到的数据，其中包含了加速度数据和角速度数据，加速度数据和角速度数据又分别包含了x轴、y轴和z轴三个方向的值。位置数据主要是通过全球定位系统GPS(global positioning system)测量得到的数据，其中包括了经度、纬度和海拔高度三种信息。
图1是根据本发明实施例的预测速度的方法的主要步骤示意图。如图1所示，本发明实施例的预测速度的方法主要包括如下的步骤S101至步骤S103。
步骤S101：对多种数据分别进行特征提取以得到每种数据对应的输出特征。
根据本发明的实施例，多种数据除了可以包括图像数据外，还可以包括能反映速度变化情况的惯性测量数据和/或位置数据等。具体地，可以包括图像数据、惯性测量数据和位置数据中的至少两种。在对不同数据进行特征提取时，可以使用常用的机器学习算法或模型来实现。
在本发明的一个实施例中，在对图像数据进行特征提取时，可以使用卷积神经网络算法来实现，卷积神经网络(CNN，Convolutional Neural Network)是一种深度前馈人工神经网络，已成功地应用于图像识别。目前常用的卷积神经网络模型例如为VGG16、VGG19(基于牛津大学视觉几何组(VGG，Visual Geometry Group)的论文而创建的卷积神经网络)等。以选择VGG19卷积神经网络为例，将图像数据输入VGG19网络模型中，即可对图像数据进行特征提取，并将VGG19的fc8(fc，fully connected，全连接)层的1000维的输出作为提取的特征，从而得到图像数据对应的输出特征。
在本发明的另一个实施例中，由于惯性测量数据和位置数据都是无固定规律的随机数据，需要进行深度学习，因此，在对惯性测量数据或位置数据进行特征提取时，可以使用深层神经网络算法来实现，深层神经网络(DNN，Deep Neural Network)可以理解为有很多隐藏层的神经网络，从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类：输入层、隐藏层和输出层，一般来说，第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层，且层与层之间是全连接的。其中，隐藏层的个数不同，深层神经网络的特征提取能力也就不同。在本发明的实施例中，在构建深层神经网络模型时，通过使用大量的数据进行机器学习，发现当隐藏层的个数不少于两个时，构建的深层神经网络模型的特征提取的效果比使用一个隐藏层的效果要好。在本发明的实施例中，选择隐藏层的个数为三个，但不限于三个。由于使用更多隐藏层时效果并没有更大幅度的提升，故而本发明的实施例中构建的深层神经网络模型选择的隐藏层的个数为三个，即：构建的深层神经网络模型包括一个输入层和三个隐藏层。
在构建深层神经网络以对惯性测量数据或位置数据进行特征提取时，输入层的节点个数可根据输入数据的维度来确定，并将每次输入的数据称为一帧数据。其中，在确定输入数据的维度时，具体地，以输入数据为惯性测量数据为例，假设IMU的数据采样频率是100Hz，即每秒采集100次数据，每次采集的数据包含三维加速度数据、三维陀螺仪数据，故而每秒采集的数据个数为600个，如果将每秒采集到的数据作为输入，则输入数据的维度即为600维；如果将2秒内采集到的数据作为输入，则输入数据的维度即为1200维，以此类推。又如，以输入数据为位置数据为例，假设GPS每秒采集的数据点个数为25个，每个数据点包含经度、维度、海拔高度3个维度的信息，则GPS每秒采集的数据个数为75个，如果将每秒采集到的数据作为输入，则输入数据的维度即为75维；如果将2秒内采集到的数据作为输入，则输入数据的维度即为150维，以此类推。接着，将输入层的节点个数设置为与输入数据的维度相同，即可实现根据输入数据的维度来确定输入层的节点个数。
另外，在构建深层神经网络时，还需要确定隐藏层的节点个数。具体地，可以通过对现有的大量数据进行机器学习和数据训练，并进行大量的试验，以得到效果最优的隐藏层的节点个数值。在本发明的一个实施例中，确定的三个隐藏层的节点个数例如是500、500、2000。其中，隐藏层的节点个数并不局限于本发明的实施例中的具体数值，本领域技术人员应该知道，在较小的误差范围(例如：1％等，根据不同情况应灵活调整)内的数值也是可以实现相同功能，达到同等效果的。并且，根据实际应用的需要也可对隐藏层的节点个数进行灵活设定。
由于本发明中需要对至少两种类型的数据进行特征提取，且对每种数据进行特征提取时使用的算法模型可能并不相同，而输出节点只有一个(即：本发明要预测的速度值)，因此，可以将两种类型数据的特征进行组合，然后将进行特征提取的不同的算法模型共用一个输出层，以最后进行运算处理并输出预测的速度。
深层神经网络构建完成后，可以分别对惯性测量数据和位置数据进行特征提取。通过将惯性测量数据输入到输入层以实现通过深层神经网络进行特征提取，并将提取的特征(即：最后一个隐藏层输出的特征)作为惯性测量数据对应的输出特征；通过将位置数据输入到输入层以实现通过深层神经网络进行特征提取，并将提取的特征(即：最后一个隐藏层输出的特征)作为位置数据对应的输出特征。本领域技术人员应当知道，对惯性测量数据和位置数据进行特征提取的深层神经网络模型的输入层、隐藏层的节点个数均是可以不同的，根据对数据处理的需要进行灵活设定即可。
步骤S102：将所述每种数据对应的输出特征进行拼接。
在将上述的多种数据分别进行特征提取并得到每种数据对应的输出特征之后，即可将该多种数据的输出特征拼接起来。具体地，可以是按照预设的顺序将每种数据的输出特征进行顺序连接以实现拼接，也可以是按照预先设定的不同的规则将每种数据的输出特征进行拼接，例如，将这两种数据的输出特征进行交叉排列组合以实现拼接等等，具体实现方式比较灵活，可根据需要设定。
步骤S103：对拼接后得到的输出特征进行运算处理以得到预测的速度。
在将每种数据对应的输出特征进行拼接后，将拼接后得到的输出特征输入全连接层以进行运算处理，并将全连接层的输出作为预测的速度。具体地，通过将拼接后得到的输出特征输入步骤S101中介绍的进行特征提取时使用的不同算法模型的共用的输出层(该输出层只有一个输出节点)，以进行线性回归，得到预测的速度并输出。
根据上述的步骤S101至步骤S103，即可实现通过对多种数据进行特征提取，并将提取的特征进行拼接和运算处理来预测速度，从而克服了现有技术中由于仅考虑图像数据而带来的速度预测准确率低的问题。
另外，本发明为了更进一步地提升速度预测的准确率，还可以将历史数据引入算法模型中，根据历史数据更准确地预测车辆的行驶速度。其中，将历史数据引入算法模型中的时间，可以是在将每种数据对应的输出特征进行拼接之前，也可以是在将每种数据对应的输出特征进行拼接之后。
具体地，根据本发明的一个实施例，在对前述的多种数据分别进行特征提取之后，并且将每种数据对应的输出特征进行拼接之前，还可以通过时间递归神经网络(recurrentneural network)对这些数据进行二次特征提取，以利用历史时刻的数据更准确地进行速度预测。具体地，是通过将前面提取的多种数据的特征分别输入时间递归神经网络，以对该多种数据分别进行二次特征提取，并将二次特征提取后得到的特征作为每种数据对应的输出特征。然后，将二次特征提取之后的每种数据对应的输出特征进行拼接以及运算处理，以得到预测的速度。
根据本发明的另一个实施例，在将每种数据对应的输出特征进行拼接之后，并且对拼接后得到的输出特征进行运算处理之前，通过时间递归神经网络(recurrent neuralnetwork)对这些数据进行二次特征提取，以利用历史时刻的数据更准确地进行速度预测。具体地，通过将拼接后得到的输出特征输入时间递归神经网络，以对拼接后得到的输出特征进行二次特征提取，并使用二次特征提取后得到的输出特征来更新该拼接后得到的输出特征。然后，对更新后的该拼接后得到的输出特征进行运算处理以得到预测的速度。
其中，本发明的实施例中选用的时间递归神经网络为长短期记忆网络LSTM(longshort-term memory，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件)。在具体实现时，可根据业务应用需求，选择其他的时间递归神经网络，并不局限于本发明实施例中的长短期记忆网络LSTM。并且，在使用时间递归神经网络进行二次特征提取时，所设置的时间递归神经网络的层数也不局限于一层，还可以是两层以上，以使得特征提取的效果更优。在设置时间递归神经网络的层数时，应综合考虑特征提取的效果及特征提取时的计算量等因素，然后选择满足要求的层数。另外，在对不同数据进行二次特征提取时，所使用的时间递归神经网络的层数也可以不同。例如：在对图像数据进行二次特征提取时，使用一层时间递归神经网络；在对惯性测量数据进行二次特征提取时，使用两层时间递归神经网络，等等。
下面以使用一层时间递归神经网络LSTM模型对惯性传感数据进行二次特征提取为例，介绍时间递归神经网络进行二次特征提取的过程。使用深层神经网络DNN模型对惯性传感数据进行特征提取后，将DNN模型每个时刻的输出特征(即：对应每一帧数据的输出特征)作为LSTM模型的输入，实时地输入到LSTM模型中；LSTM模型在进行二次特征提取时，以每T帧输入(对应T个时刻)作为一个序列，对每个序列，利用上一时刻的LSTM模型的输出和当前时刻的DNN模型的输入进行运算，以得到当前时刻的二次特征提取的特征并作为LSTM模型的输出，同样地，该输出也作为下一时刻的输入之一。其中，LSTM模型在对每一个序列的第一个时刻的数据进行二次特征提取时，该第一个时刻对应的上一时刻的LSTM模型的输出是随机初始化的。
当需要使用多层时间递归神经网络LSTM模型对数据进行二次特征提取时，仅需将LSTM模型的输出再次输入另一个LSTM模型即可。
在本发明的实施过程中，为了确定不同算法模型的参数(例如：深层神经网络模型的隐藏层个数、每一层的节点个数以及与节点对应的权重值等)，需要在算法模型构建好之后，进行大量的数据训练或机器学习。本发明的实施例中，在进行机器学习时，采用反向传播算法和随机梯度下降算法来实现，并且，使用欧氏距离来衡量算法模型的损失。其中，梯度下降(steepest descent或gradient descent)是迭代法的一种，可以用于求解最小二乘问题。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反向传播算法(BP算法，Backpropagation algorithm)是适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。具体地，机器学习的过程，即是求欧氏距离损失函数对各个参数的偏导数，然后偏导数乘以学习率得到更新值，然后再将各个参数减去对应的更新值以完成参数的更新，最后，将满足效果要求的参数作为训练得到的最优参数，以用于构建算法模型。
下面结合一个具体的实施例来介绍本发明的实施过程。如图2所示，是本发明一个实施例的实现原理示意图。在该实施例中，首先，对图像数据、惯性测量数据和位置数据共3种类型的数据进行特征提取，然后通过将提取到的特征分别输入时间递归神经网络LSTM模型以实现对这3种数据进行二次特征提取，之后，将二次特征提取后得到的特征进行拼接，最后通过输出层进行运算处理和结果输出。
具体地，首先，通过将图像数据输入构建的卷积神经网络CNN模型VGG19中，然后将fc8层的1000维的输出作为提取的特征x1(t)；通过将惯性测量数据输入构建的深层神经网络DNN模型1中，该DNN模型1包括三个隐藏层，且三个隐藏层的节点数分别为500、500、2000，然后将该DNN模型1中最后一个隐藏层输出的2000维的特征作为提取的特征x2(t)；通过将位置数据输入构建的深层神经网络DNN模型2中，该DNN模型2包括三个隐藏层，且三个隐藏层的节点数分别为600、600、2000，然后将该DNN模型2中最后一个隐藏层输出的2000维的特征作为提取的特征x3(t)。
然后，将x1(t)、x2(t)、x3(t)分别输入时间递归神经网络LSTM模型中以进行二次特征提取，假设共经过两层LSTM时间递归神经网络，且这两层LSTM时间递归神经网络的输出均为512维。以输入数据为x1(t)为例，LSTM层1将x1(t)和LSTM层1上一时刻的输出h1(t-1)作为输入，进行运算之后输出当前时刻的512维的特征h1(t)，并将h1(t)输入LSTM层2中；LSTM层2将h1(t)和LSTM层2上一时刻的输出g1(t-1)作为输入，进行运算之后输出当前时刻的512维的特征g1(t)以作为二次特征提取的结果。同理，将x2(t)进行二次特征提取后得到的输出为当前时刻的512维的特征g2(t)，将x3(t)进行二次特征提取后得到的输出为当前时刻的512维的特征g3(t)。
之后，通过拼接层将g1(t)、g2(t)、g3(t)进行拼接(例如：顺次连接或交叉组合)，以得到共1536维的当前时刻的输出特征G(t)。
最后，将G(t)输入之前进行特征提取使用的模型CNN模型、DNN模型1和DNN模型2的公共输出层中，该公共输出层是一个全连接层，通过对输入的特征G(t)进行运算，以得到预测的速度值v。该公共输出层只有一个节点，用于输出预测的车辆行驶的速度。
根据以上步骤，即可实现通过对多维度的数据进行分析处理，并且利用历史数据来刻画速度的变化过程，从而提升速度预测的准确率。本领域技术人员应当知道，本发明实施例中所提及的不同类型的数据及所使用的各个数据模型均为示例，并不对本发明的保护范围构成限制，在实际应用中，可根据业务需要进行灵活设定。例如：可考虑对与速度预测相关的更多类型的数据进行分析，也可考虑使用不同的数据模型或算法对数据进行特征提取，还可考虑对每种数据使用不同的时间递归神经网络模型或使用不同层数的时间递归神经网络，以及还可考虑将提取的特征先进行拼接之后再对拼接后的特征进行二次特征提取，等等，本发明对此不做限定。
图3是根据本发明实施例的预测速度的装置的主要模块示意图。如图3所示，本发明实施例的预测速度的装置300主要包括特征提取模块301、特征拼接模块302和运算处理模块303。
特征提取模块301用于对多种数据分别进行特征提取以得到每种数据对应的输出特征；
特征拼接模块302用于将每种数据对应的输出特征进行拼接；
运算处理模块303用于对拼接后得到的输出特征进行运算处理以得到预测的速度。
其中，多种数据例如可包括图像数据、惯性测量数据和位置数据中的至少两种，并且，使用卷积神经网络对图像数据进行特征提取，使用深层神经网络对惯性测量数据和/或位置数据进行特征提取。
根据本发明的实施例，深层神经网络包括不少于两个隐藏层。
根据本发明的一个实施例，特征提取模块301还可以用于：
在对多种数据分别进行特征提取之后，通过将提取的多种数据的特征分别输入时间递归神经网络，以对该多种数据分别进行二次特征提取，并将二次特征提取后得到的特征作为每种数据对应的输出特征。
根据本发明的另一个实施例，本发明实施例的预测速度的装置300还可以包括特征更新模块(图中未示出)，用于：
在对拼接后得到的输出特征进行运算处理之前，通过将拼接后得到的输出特征输入时间递归神经网络，以对拼接后得到的输出特征进行二次特征提取，并使用二次特征提取后得到的输出特征来更新该拼接后得到的输出特征。
在本发明中，时间递归神经网络例如为长短期记忆网络。并且，时间递归神经网络的层数为两层。
根据本发明的技术方案，运算处理模块303还可以用于：
将拼接后得到的输出特征输入全连接层以进行运算处理，并将全连接层的输出作为预测的速度。
根据本发明实施例的技术方案，通过对多种数据进行特征提取，并将提取的特征进行拼接和运算处理来预测速度，从而克服了现有技术中由于仅考虑图像数据而带来的速度预测准确率低的问题；同时，本发明还通过时间递归神经网络将历史数据引入算法模型中，以利用历史数据来刻画速度的变化过程，从而进一步提升速度预测的准确率。
图4示出了可以应用本发明实施例的预测速度的方法或预测速度的装置的示例性系统架构400。
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种应用，例如采集图像数据、惯性测量数据或者位置数据的应用。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所采集的图像数据、惯性测量数据或者位置数据提供分析的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的数据进行分析等处理，并将处理结果(例如当前车辆的速度--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的预测速度的方法一般由服务器405执行，相应地，预测速度的装置一般设置于服务器405中。
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括特征提取模块、特征拼接模块和运算处理模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，特征提取模块还可以被描述为“用于对多种数据分别进行特征提取以得到每种数据对应的输出特征的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：对多种数据分别进行特征提取以得到每种数据对应的输出特征；将所述每种数据对应的输出特征进行拼接；对拼接后得到的输出特征进行运算处理以得到预测的速度。
根据本发明实施例的技术方案，通过对多种数据进行特征提取，并将提取的特征进行拼接和运算处理来预测速度，从而克服了现有技术中由于仅考虑图像数据而带来的速度预测准确率低的问题；同时，本发明还通过时间递归神经网络将历史数据引入算法模型中，以利用历史数据来刻画速度的变化过程，从而进一步提升速度预测的准确率。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (11)
1.一种预测速度的方法，其特征在于，包括：
对多种数据分别进行特征提取以得到每种数据对应的输出特征；
将所述每种数据对应的输出特征进行拼接；
对拼接后得到的输出特征进行运算处理以得到预测的速度。
2.根据权利要求1所述的方法，其特征在于，所述多种数据包括图像数据、惯性测量数据和位置数据中的至少两种，并且，使用卷积神经网络对所述图像数据进行特征提取，使用深层神经网络对所述惯性测量数据和/或所述位置数据进行特征提取。
3.根据权利要求2所述的方法，其特征在于，所述深层神经网络包括不少于两个隐藏层。
4.根据权利要求1所述的方法，其特征在于，对多种数据分别进行特征提取之后，还包括：
通过将提取的所述多种数据的特征分别输入时间递归神经网络，以对所述多种数据分别进行二次特征提取，并将二次特征提取后得到的特征作为每种数据对应的输出特征。
5.根据权利要求1所述的方法，其特征在于，对拼接后得到的输出特征进行运算处理之前，还包括：
通过将拼接后得到的输出特征输入时间递归神经网络，以对所述拼接后得到的输出特征进行二次特征提取，并使用二次特征提取后得到的输出特征来更新所述拼接后得到的输出特征。
6.根据权利要求4或5所述的方法，其特征在于，所述时间递归神经网络为长短期记忆网络。
7.根据权利要求4或5所述的方法，其特征在于，所述时间递归神经网络的层数为两层。
8.根据权利要求1或5所述的方法，其特征在于，对拼接后得到的输出特征进行运算处理以得到预测的速度的步骤包括：
将拼接后得到的输出特征输入全连接层以进行运算处理，并将所述全连接层的输出作为预测的速度。
9.一种预测速度的装置，其特征在于，包括：
特征提取模块，用于对多种数据分别进行特征提取以得到每种数据对应的输出特征；
特征拼接模块，用于将所述每种数据对应的输出特征进行拼接；
运算处理模块，用于对拼接后得到的输出特征进行运算处理以得到预测的速度。
10.一种预测速度的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810641797.1A CN110633707A (zh) | 2018-06-21 | 2018-06-21 | 预测速度的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810641797.1A CN110633707A (zh) | 2018-06-21 | 2018-06-21 | 预测速度的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110633707A true CN110633707A (zh) | 2019-12-31 |
Family
ID=68967036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810641797.1A Pending CN110633707A (zh) | 2018-06-21 | 2018-06-21 | 预测速度的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110633707A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990289A (zh) * | 2021-03-09 | 2021-06-18 | 北京百度网讯科技有限公司 | 基于多任务预测模型的数据处理方法、装置、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105160866A (zh) * | 2015-08-07 | 2015-12-16 | 浙江高速信息工程技术有限公司 | 一种基于深度学习神经网络结构的交通流预测方法 |
| CN105868691A (zh) * | 2016-03-08 | 2016-08-17 | 中国石油大学(华东) | 基于快速区域卷积神经网络的城市车辆追踪方法 |
| EP3219564A1 (en) * | 2016-03-14 | 2017-09-20 | IMRA Europe S.A.S. | Driving prediction with a deep neural network |
-
2018
- 2018-06-21 CN CN201810641797.1A patent/CN110633707A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105160866A (zh) * | 2015-08-07 | 2015-12-16 | 浙江高速信息工程技术有限公司 | 一种基于深度学习神经网络结构的交通流预测方法 |
| CN105868691A (zh) * | 2016-03-08 | 2016-08-17 | 中国石油大学(华东) | 基于快速区域卷积神经网络的城市车辆追踪方法 |
| EP3219564A1 (en) * | 2016-03-14 | 2017-09-20 | IMRA Europe S.A.S. | Driving prediction with a deep neural network |
Non-Patent Citations (2)
| Title |
|---|
| RONALD CLARK ET AL.: "VINet: Visual-Inertial Odometry as a Sequence-to-Sequence Learning Problem", 《ARXIV:1701.08376V2》 * |
| 张海鹏 等: "基于公交车GPS数据的短时交通流预测研究", 《内蒙古工业大学学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990289A (zh) * | 2021-03-09 | 2021-06-18 | 北京百度网讯科技有限公司 | 基于多任务预测模型的数据处理方法、装置、设备和介质 |
| CN112990289B (zh) * | 2021-03-09 | 2024-04-19 | 北京百度网讯科技有限公司 | 基于多任务预测模型的数据处理方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3446260B1 (en) | Memory-efficient backpropagation through time | |
| US11295208B2 (en) | Robust gradient weight compression schemes for deep learning applications | |
| CN110807515A (zh) | 模型生成方法和装置 | |
| CN111523640B (zh) | 神经网络模型的训练方法和装置 | |
| CN111368973B (zh) | 用于训练超网络的方法和装置 | |
| CN111340220B (zh) | 用于训练预测模型的方法和装置 | |
| CN109902446B (zh) | 用于生成信息预测模型的方法和装置 | |
| CN113765928B (zh) | 物联网入侵检测方法、设备及介质 | |
| CN111353601A (zh) | 用于预测模型结构的延时的方法和装置 | |
| CN113050643A (zh) | 无人车路径规划方法、装置、电子设备和计算机可读介质 | |
| CN114240506A (zh) | 多任务模型的建模方法、推广内容处理方法及相关装置 | |
| US11182674B2 (en) | Model training by discarding relatively less relevant parameters | |
| CN116088537B (zh) | 车辆避障方法、装置、电子设备和计算机可读介质 | |
| CN110633707A (zh) | 预测速度的方法和装置 | |
| CN117035842A (zh) | 模型训练方法、业务量预测方法、装置、设备和介质 | |
| CN110633596A (zh) | 预测车辆方向角的方法和装置 | |
| CN109598344A (zh) | 模型生成方法和装置 | |
| CN111754984B (zh) | 文本选取的方法、装置、设备和计算机可读介质 | |
| CN111582456B (zh) | 用于生成网络模型信息的方法、装置、设备和介质 | |
| CN114639072A (zh) | 人流量信息生成方法、装置、电子设备和计算机可读介质 | |
| CN113534790A (zh) | 路径规划方法、装置、电子设备及计算机可读存储介质 | |
| CN116107666B (zh) | 程序业务流信息生成方法、装置、电子设备和计算机介质 | |
| CN111582482B (zh) | 用于生成网络模型信息的方法、装置、设备和介质 | |
| CN117743555B (zh) | 答复决策信息发送方法、装置、设备和计算机可读介质 | |
| CN111625692B (zh) | 特征抽取方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191231 |
|
| RJ01 | Rejection of invention patent application after publication |