CN116092216A - 基于多传感器信息融合的车辆状态预警方法及其系统 - Google Patents
基于多传感器信息融合的车辆状态预警方法及其系统 Download PDFInfo
- Publication number
- CN116092216A CN116092216A CN202310029676.2A CN202310029676A CN116092216A CN 116092216 A CN116092216 A CN 116092216A CN 202310029676 A CN202310029676 A CN 202310029676A CN 116092216 A CN116092216 A CN 116092216A
- Authority
- CN
- China
- Prior art keywords
- vehicle state
- matrix
- feature matrix
- feature
- state parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 285
- 239000013598 vector Substances 0.000 claims description 142
- 238000013527 convolutional neural network Methods 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000007792 addition Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种基于多传感器信息融合的车辆状态预警方法及其系统，其一方面使用包含一维卷积层和全连接层的时序编码器对多个预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第一特征矩阵，另一方面使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第二特征矩阵，然后融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。而且，本申请中通过对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合，以提高所述分类特征矩阵对所述第一特征矩阵和所述第二特征矩阵之间的小尺度特征关联关系的表达效果，从而提高车辆行驶状态评估的精准度。
Description
技术领域
本申请涉及车辆行驶安全领域，且更为具体地，涉及基于多传感器信息融合的车辆状态预警方法及其系统。
背景技术
随着经济的发展和城市化速度的加快,人们的生活水平快速提高,越来越多的人开始享受汽车带来的便利,然而,科技是把双刃剑,汽车的投入使用也引发了各类严重的城市交通问题。因此,如何解决汽车安全带来的问题成为当前社会的首要任务之一。汽车电子稳定系统是重要的主动安全技术之一,能够在极端条件下提高汽车的操纵稳定性,保证汽车的行驶安全。而实时准确的获得汽车当前的行驶状态是汽车电子稳定系统发挥作用的重要前提，如何使用低成本传感器准确估计汽车的行驶状态具有重要意义。
因此，期待一种基于多传感器信息融合的汽车状态评估方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多传感器信息融合的车辆状态预警方法及其系统，其一方面使用包含一维卷积层和全连接层的时序编码器对多个预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第一特征矩阵，该第一特征矩阵用于表示各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征，另一方面使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第二特征矩阵，该第二特征矩阵用于表示各个时间点的作为车辆状态整体的状态特征之间的高维隐含关联特征，然后融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。而且，本申请中通过对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合，以提高所述分类特征矩阵对所述第一特征矩阵和所述第二特征矩阵之间的小尺度特征关联关系的表达效果，从而提高车辆行驶状态评估的精准度。
根据本申请的一个方面，提供了一种基于多传感器信息融合的车辆状态预警方法，包括：
通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；
分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；
将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；
分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；
对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；以及
将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。
在上述基于多传感器信息融合的车辆状态预警方法中，分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量，包括：
将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘；以及
使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
在上述基于多传感器信息融合的车辆状态预警方法中，所述时序编码器由交替排列的全连接层和一维卷积层组成。
在上述基于多传感器信息融合的车辆状态预警方法中，将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵，包括：所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；
对所述卷积特征图进行沿通道维度的全局均值池化以生成池化特征矩阵；以及
对所述池化特征矩阵中各个位置的特征值进行非线性激活以生成激活特征矩阵；
其中，所述第一卷积神经网络的最后一层的输出为所述第一特征矩阵。
在上述基于多传感器信息融合的车辆状态预警方法中，所述深度全连接神经网络由多个相互级联的全连接层组成；
其中，所述分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量，包括：
使用所述深度全连接神经网络以如下公式分别对各个所述预定时间点的多个车辆状态参数进行编码以获得所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
其中，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，V是偏置向量，
表示矩阵乘，且f(·)表示非线性激活函数。
在上述基于多传感器信息融合的车辆状态预警方法中，对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵，包括：
以如下公式对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得所述分类特征矩阵；
其中，所述公式为：
其中，M1表示所述第一特征矩阵，M2表示所述第二特征矩阵，
表示矩阵的按位置相加，
表示矩阵的按位置相减，Mc表示所述分类特征矩阵。
在上述基于多传感器信息融合的车辆状态预警方法中，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警，包括：
使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为特征向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
根据本申请的另一方面，提供一种基于多传感器信息融合的车辆状态预警系统，包括：
输入单元，用于通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；
第一特征向量生成单元，用于分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；
第一特征矩阵生成单元，用于将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；
第二特征向量生成单元，用于分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
第二特征向矩阵生成单元，用于将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；
分类特征矩阵生成单元，用于对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；以及
输出单元，用于将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。
在上述基于多传感器信息融合的车辆状态预警系统中，所述第一特征向量生成单元，进一步用于：
将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘；以及
使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
在上述基于多传感器信息融合的车辆状态预警系统中，所述分类特征矩阵生成单元，进一步用于：
以如下公式对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得所述分类特征矩阵；
其中，所述公式为：
其中，所述公式为：
其中，M1表示所述第一特征矩阵，M2表示所述第二特征矩阵，
表示矩阵的按位置相加，
表示矩阵的按位置相减，Mc表示所述分类特征矩阵。
与现有技术相比，本申请提供了的基于多传感器信息融合的车辆状态预警方法及其系统，其一方面使用包含一维卷积层和全连接层的时序编码器对多个预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第一特征矩阵，该第一特征矩阵用于表示各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征，另一方面使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第二特征矩阵，该第二特征矩阵用于表示各个时间点的作为车辆状态整体的状态特征之间的高维隐含关联特征，然后融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。而且，本申请中通过对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合，以提高所述分类特征矩阵对所述第一特征矩阵和所述第二特征矩阵之间的小尺度特征关联关系的表达效果，从而提高车辆行驶状态评估的精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是根据本申请实施例的基于多传感器信息融合的车辆状态预警方法的应用图；
图2是根据本申请实施例的基于多传感器信息融合的车辆状态预警方法的流程图；
图3是根据本申请实施例的基于多传感器信息融合的车辆状态预警方法的架构图；
图4是根据本申请实施例的基于多传感器信息融合的车辆状态预警系统的框图；
图5图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
本申请人考虑到，与汽车行驶状态相关的数据有很多，为了能够通过低成本传感器来采集到相关数据，对与汽车行驶状态相关的数据进行筛选，剔除那些难以采集或者需通过较贵传感器采集的数据项。因此，在本申请的技术方案中，入选的数据包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩。这里，上述与汽车行驶状态相关的数据都可以通过既有的部署于汽车的现有传感器采集。
上述车辆状态参数之间存在复杂的非线性关联，这种复杂的非线性关联很难通过传统的统计模型捕捉到。近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展，为汽车行驶状态的监测与评估提供了了新的解决思路和方案。
具体地，在本申请的技术方案中，使用包含一维卷积层和全连接层的时序编码器对所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数组成的序列进行处理以提取出各个车辆状态参数在时序维度上的高维隐含关联特征以获得对应于各个车辆状态参数的第一特征向量。在本申请一个具体的示例中，所述时序编码器由交替排列的一维卷积层和全连接层组成。
应可以理解，所述多个车辆状态参数是一个整体。因此，进一步地将对应于各个车辆状态参数的在时序维度上的特征表示(即，所述第一特征向量)进行二维排列为特征矩阵。然后，使用卷积神经网络模型对所述特征矩阵进行编码以提取所述特征矩阵中的高维局部隐含关联特征，即，各个车辆状态参数在时序温度上的高维隐含特征间的高维隐含关联特征，以得到第一特征机矩阵。
进一步地。考虑到同一时间点的各个车辆状态参数之间存在关联且不同时间点的不同车辆状态参数之间也存在关联，因此，为了提高状态评估的精准度，进一步地各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量。也就是，使用深度全连接神经网络对各个所述预定时间点的多个车辆状态参数进行编码以提取出所述多个车辆状态参数中各个车辆状态参数的高维隐含信息和所述多个车辆状态参数中各个车辆状态参数间的高维隐含关联，以获得对应于一个预定时间点的作为车辆状态整体的状态特征向量，即，所述第二特征向量。为了捕捉各个时间点的作为车辆状态整体的状态特征向量之间的关联，进一步地将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵，并使用卷积神经网络模型对所述特征矩阵进行编码以得到第二特征矩阵。这里，卷积神经网络模型在提取二维数据的局部关联方面具有优异表现，因此，其适于提取各个时间点的作为车辆状态整体的状态特征向量之间的高维隐含关联。
在得到所述第一特征矩阵和所述第二特征矩阵后，可以选择融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。但是，考虑到由于第一特征矩阵M1和第二特征矩阵M2在特征提取中分别遵循预定方向(时序-样本时序和样本-时序样本)，如果直接以特征矩阵之间的按位置点加来将两者进行逐位置融合，其会导致第一特征矩阵M1和第二特征矩阵M2中的处于分类目标域边缘的特征值被失配地约束在相反的优化方向。
因此，在本申请的技术方案中，对第一特征矩阵M1和第二特征矩阵M2进行基于局部表达的小尺度关联式融合以获得分类特征矩阵Mc：
其中，
和
分别表示矩阵的按位置相加和相减。
也就是，通过计算所述第一特征矩阵M1和所述第二特征矩阵M2之间的小尺度局部衍生特征，可以基于所述第一特征矩阵M1和所述第二特征矩阵M2之间的相应位置的几何逼近来模仿数据之间的互表达的物理性，从而以特征矩阵间的按位置逐点回归来增强跨特征域位置的局部非线性依赖。这样，通过以所述小尺度局部衍生特征矩阵来作为所述第一特征矩阵M1和所述第二特征矩阵M2的分类特征矩阵，就可以提高所述分类特征矩阵Mc对所述第一特征矩阵M1和所述第二特征矩阵M2之间的小尺度特征关联关系的表达效果，从而提高所述分类特征矩阵Mc的分类结果的准确性。
图1图示了根据本申请实施例的基于多传感器信息融合的车辆状态预警方法的应用场景图。如图1所示，在该应用场景中，首先，通过部署于车辆(例如，如图1中所示意的E)的传感器组(例如，如图1中所示意的C，其他传感器未示出)来获取多个预定时间点的多个车辆状态参数。然后，将获得的车辆状态参数输入至部署有多层级数据关联的车辆状态预警算法的服务器中(例如，如图1中所示意的S)，其中，所述服务器能够以多层级数据关联的车辆状态预警算法对所述车辆状态参数进行处理，以生成用于表示车辆状态预警的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2图示了根据本申请实施例的基于多传感器信息融合的车辆状态预警方法的流程图，如图2和图3所示，上述车辆状态预警方法可以包括：S110，通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；S120，分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；S130，将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；S140，分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；S150，将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；S160，对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；S170，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。
在上述步骤S110中，通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数。应可以理解，与汽车行驶状态相关的数据有很多，为了能够通过低成本传感器来采集到相关数据，对与汽车行驶状态相关的数据进行筛选，剔除那些难以采集或者需通过较贵传感器采集的数据项。在步骤S110中，入选的数据包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩。这里，上述与汽车行驶状态相关的数据都可以通过既有的部署于汽车的现有传感器采集。
在本实施例中，上述预定时间点可以用于表示在车辆行驶过程中按照预设时间间隔进行上述车辆状态参数采集的时间点或时刻。也就是说，在步骤S110中，在车辆行驶过程中，通过部署于车辆的传感器实时地(如每隔预设时间间隔等)采集车辆当前的多个车辆状态参数，从而获取到多个预定时间点的多个车辆状态参数。
由于上述车辆状态参数之间存在复杂的非线性关联，这种复杂的非线性关联很难通过传统的统计模型捕捉到。近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。因此，本申请实施例中，一方面使用包含一维卷积层和全连接层的时序编码器对多个预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第一特征矩阵，该第一特征矩阵用于表示各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征，另一方面使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第二特征矩阵，该第二特征矩阵用于表示各个时间点的作为车辆状态整体的状态特征之间的高维隐含关联特征，然后融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估，从而提高对车辆行驶状态评估的准确度。
具体地，在上述步骤S120中，分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量。也就是说，通过包含一维卷积层和全连接层的时序编码器对所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数进行编码，得到对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量，其中，该第一特征向量用于表示各个车辆状态参数在时序维度上的高维隐含关联特征。
在上述步骤S120中进一步包括：
S121,将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；
S122,使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘；以及
S123,使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
优选地，所述时序编码器(例如图3中所示意的E)由交替排列的全连接层和一维卷积层组成。也就是说，将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别(如以小时或天为单位等)沿时间维度构造为分别对应于各个车辆状态参数的输入向量。然后使用所述时序编码器的全连接层对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息。最后使用所述时序编码器的一维卷积层对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，即获得上述第一特征向量。
在上述步骤S130中，将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵。应可以理解，所述多个车辆状态参数是一个整体。因此，在步骤S130中，进一步地将对应于各个车辆状态参数的在时序维度上的特征表示(即，所述第一特征向量)进行二维排列为特征矩阵。然后，使用卷积神经网络模型对所述特征矩阵进行编码以提取所述特征矩阵中的高维局部隐含关联特征，即，各个车辆状态参数在时序温度上的高维隐含特征间的高维隐含关联特征，以得到第一特征矩阵。也就是说，该第一特征矩阵可以用于表示各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征。
在上述步骤S130中进一步包括：
所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行：
S131,对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；
S132,对所述卷积特征图进行沿通道维度的全局均值池化以生成池化特征矩阵；以及
S133,对所述池化特征矩阵中各个位置的特征值进行非线性激活以生成激活特征矩阵；其中，所述第一卷积神经网络的最后一层的输出为所述第一特征矩阵。
具体地，在本实施例中使用到的卷积神经网络(如第一卷积神经网络或第二卷积神经网络等)可以包括具有卷积核的多个节点，其中，所述多个节点被配置为对输入数据进行基于卷积核的卷积处理、沿通道维度的池化处理和激活处理以由所述多个节点的最后一层输出特征矩阵(如第一特征矩阵或第二特征矩阵等)，其中，激活函数可以选用Sigmoid激活函数等，所述卷积核的尺寸可以根据实际应用情况来设定，如二维卷积核等，在此不受限制。
在上述步骤S140中，分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量。
也就是说，考虑到同一时间点的各个车辆状态参数之间存在关联且不同时间点的不同车辆状态参数之间也存在关联，因此，为了提高状态评估的精准度，在步骤S140中，进一步地各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量。也就是，使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码以提取出所述多个车辆状态参数中各个车辆状态参数的高维隐含信息和所述多个车辆状态参数中各个车辆状态参数间的高维隐含关联，以获得对应于一个预定时间点的作为车辆状态整体的状态特征向量，即，所述第二特征向量。
进一步地，在上述步骤S140中，所述深度全连接神经网络由多个相互级联的全连接层组成；
其中，所述分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量，包括：
使用所述深度全连接神经网络以如下公式分别对各个所述预定时间点的多个车辆状态参数进行编码以获得所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
其中，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘，且f(·)表示非线性激活函数。
在本申请实施例中，所述深度全连接网络包括具有预设深度且相互级联的全连接层，所述预设深度大于等于十。应可以理解，神经网络的深度越高，其提取的特征越抽象，越关注于细节，这里，全连接层的深度加深，可以充分利用各个所述预定时间点的多个车辆状态参数之间的高维隐含关联，确保编码的效果。
在上述步骤S150中，将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵。
也就是说，为了捕捉各个时间点的作为车辆状态整体的状态特征向量之间的关联，在步骤S150中，将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵，并使用卷积神经网络模型对所述特征矩阵进行编码以得到第二特征矩阵。这里，卷积神经网络模型在提取二维数据的局部关联方面具有优异表现，因此，其适于提取各个时间点的作为车辆状态整体的状态特征向量之间的高维隐含关联，该第二卷积神经网络模型可以参考上述步骤S130中第一卷积神经网络模型的相关描述或原理，在此不再赘述。
在上述步骤S160中，对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵。
在本申请实施例中，在得到所述第一特征矩阵和所述第二特征矩阵后，可以选择融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。但是，考虑到由于第一特征矩阵M1和第二特征矩阵M2在特征提取中分别遵循预定方向(时序-样本时序和样本-时序样本)，如果直接以特征矩阵之间的按位置点加来将两者进行逐位置融合，其会导致第一特征矩阵M1和第二特征矩阵M2中的处于分类目标域边缘的特征值被失配地约束在相反的优化方向。
因此，在上述步骤S160中，对第一特征矩阵M1和第二特征矩阵M2进行基于局部表达的小尺度关联式融合以获得分类特征矩阵Mc，具体地，步骤S160包括：
其中，所述公式为：
其中，M1表示所述第一特征矩阵，M2表示所述第二特征矩阵，
表示矩阵的按位置相加，
表示矩阵的按位置相减，Mc表示所述分类特征矩阵。这样，通过计算所述第一特征矩阵M1和所述第二特征矩阵M2之间的小尺度局部衍生特征，可以基于所述第一特征矩阵M1和所述第二特征矩阵M2之间的相应位置的几何逼近来模仿数据之间的互表达的物理性，从而以特征矩阵间的按位置逐点回归来增强跨特征域位置的局部非线性依赖。这样，通过以所述小尺度局部衍生特征矩阵来作为所述第一特征矩阵M1和所述第二特征矩阵M2的分类特征矩阵，就可以提高所述分类特征矩阵Mc对所述第一特征矩阵M1和所述第二特征矩阵M2之间的小尺度特征关联关系的表达效果，从而提高所述分类特征矩阵Mc的分类结果的准确性。
在上述步骤S170中，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。
也就是说，由于所述分类特征矩阵保留了各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征，以及各个时间点的作为车辆状态整体的状态特征之间的高维隐含关联特征。因此，将所述分类特征矩阵通过分类器进行分类处理，并输出分类结果，以提高车辆行驶状态评估的精准度，该分类结果可以用于表示车辆状态是否发生异常，用以预警用户，从而提高车辆驾驶的安全性。
在上述步骤S170，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警，包括：
使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为特征向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
具体地，使用所述分类器的多个全连接层对所述分类特征矩阵进行全连接编码以生成分类特征向量，然后，将所述分类特征向量输入Softmax分类函数值以获得所述分类特征向量归属于各个信用评价标签的概率值，最后，将所述概率值中最大者对应的信用评价标签确定为所述分类结果。
综上，在本申请实施例中，一方面使用包含一维卷积层和全连接层的时序编码器对多个预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第一特征矩阵，该第一特征矩阵用于表示各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征，另一方面使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第二特征矩阵，该第二特征矩阵用于表示各个时间点的作为车辆状态整体的状态特征之间的高维隐含关联特征，然后融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。进一步地，本申请中通过对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合，以提高所述分类特征矩阵对所述第一特征矩阵和所述第二特征矩阵之间的小尺度特征关联关系的表达效果，从而提高车辆行驶状态评估的精准度。
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
示例性系统
图4图示了根据本申请实施例的基于多传感器信息融合的车辆状态预警系统的框图。所述基于多传感器信息融合的车辆状态预警系统包括：输入单元10、第一特征向量生成单元20、第一特征矩阵生成单元30、第二特征向量生成单元40、第二特征向矩阵生成单元50、分类特征矩阵生成单元60以及输出单元70。所述输入单元10用于通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；所述第一特征向量生成单元20用于分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；所述第一特征矩阵生成单元30用于将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；所述第二特征向量生成单元40，用于分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；所述第二特征向矩阵生成单元50用于将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；所述分类特征矩阵生成单元60用于对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；以及所述输出单元70用于将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。
在上述基于多传感器信息融合的车辆状态预警系统中，所述第一特征向量生成单元20，进一步用于：
将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘；以及
使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
在上述基于多传感器信息融合的车辆状态预警系统中，所述时序编码器由交替排列的全连接层和一维卷积层组成。
在上述基于多传感器信息融合的车辆状态预警系统中，所述第一特征矩阵生成单元30，还用于：所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；
对所述卷积特征图进行沿通道维度的全局均值池化以生成池化特征矩阵；以及
对所述池化特征矩阵中各个位置的特征值进行非线性激活以生成激活特征矩阵；
其中，所述第一卷积神经网络的最后一层的输出为所述第一特征矩阵。
在上述基于多传感器信息融合的车辆状态预警系统中，所述深度全连接神经网络由多个相互级联的全连接层组成；
其中，所述第二特征向量生成单元40，还用于：
使用所述深度全连接神经网络以如下公式分别对各个所述预定时间点的多个车辆状态参数进行编码以获得所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
其中，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘，且f(·)表示非线性激活函数。
在上述基于多传感器信息融合的车辆状态预警系统中，所述分类特征矩阵生成单元60，还用于：
以如下公式对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得所述分类特征矩阵；
其中，所述公式为：
其中，M1表示所述第一特征矩阵，M2表示所述第二特征矩阵，
表示矩阵的按位置相加，
表示矩阵的按位置相减，Mc表示所述分类特征矩阵。
在上述基于多传感器信息融合的车辆状态预警系统中，所述输出单元70还用于：
使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为特征向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
这里，本领域技术人员可以理解，上述基于多传感器信息融合的车辆状态预警系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的基于多传感器信息融合的车辆状态预警方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于多传感器信息融合的车辆状态预警系统可以实现在各种无线终端中，例如用于车辆状态预警等。在一个示例中，根据本申请实施例的基于多传感器信息融合的车辆状态预警系统可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于多传感器信息融合的车辆状态预警系统可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于多传感器信息融合的车辆状态预警系统同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该基于多传感器信息融合的车辆状态预警系统与该无线终端也可以是分立的设备，并且该基于多传感器信息融合的车辆状态预警系统可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图5来描述根据本申请实施例的电子设备。
图5图示了根据本申请实施例的电子设备的框图。
如图5所示，电子设备100包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的神经网络的更新方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如交叉熵损失值、一致性损失值等各种内容。
在一个示例中，电子设备100还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括更新后的神经网络、对图像进行图像语义分割的结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备100还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于多传感器信息融合的车辆状态预警方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于多传感器信息融合的车辆状态预警方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于多传感器信息融合的车辆状态预警方法，其特征在于，包括：
通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；
分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；
将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；
分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；
对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；以及
将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。
2.根据权利要求1所述的基于多传感器信息融合的车辆状态预警方法，其中，分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量，包括：
将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘；以及
使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
3.根据权利要求2所述的基于多传感器信息融合的车辆状态预警方法，其中，所述时序编码器由交替排列的全连接层和一维卷积层组成。
4.根据权利要求3所述的基于多传感器信息融合的车辆状态预警方法，其中，将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵，包括：所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；
对所述卷积特征图进行沿通道维度的全局均值池化以生成池化特征矩阵；以及
对所述池化特征矩阵中各个位置的特征值进行非线性激活以生成激活特征矩阵；
其中，所述第一卷积神经网络的最后一层的输出为所述第一特征矩阵。
5.根据权利要求4所述的基于多传感器信息融合的车辆状态预警方法，其中，所述深度全连接神经网络由多个相互级联的全连接层组成；
其中，所述分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量，包括：
使用所述深度全连接神经网络以如下公式分别对各个所述预定时间点的多个车辆状态参数进行编码以获得所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
其中，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘，且f(·)表示非线性激活函数。
6.根据权利要求5所述的基于多传感器信息融合的车辆状态预警方法，其中，对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵，包括：
以如下公式对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得所述分类特征矩阵；
其中，所述公式为：
其中，M1表示所述第一特征矩阵，M2表示所述第二特征矩阵，
表示矩阵的按位置相加，
表示矩阵的按位置相减，Mc表示所述分类特征矩阵。
7.根据权利要求6所述的基于多传感器信息融合的车辆状态预警方法，其中，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警，包括：
使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Projext(F)}，其中Project(F)表示将所述分类特征矩阵投影为特征向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
8.一种基于多传感器信息融合的车辆状态预警系统，其特征在于，包括：
输入单元，用于通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；
第一特征向量生成单元，用于分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；
第一特征矩阵生成单元，用于将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；
第二特征向量生成单元，用于分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；
第二特征向矩阵生成单元，用于将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；
分类特征矩阵生成单元，用于对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；以及
输出单元，用于将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。
9.根据权利要求8所述的基于多传感器信息融合的车辆状态预警系统，其中，所述第一特征向量生成单元，进一步用于：
将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
表示矩阵乘；以及
使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
10.根据权利要求8所述的基于多传感器信息融合的车辆状态预警系统，其中，所述分类特征矩阵生成单元，进一步用于：
以如下公式对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得所述分类特征矩阵；
其中，所述公式为：
其中，M1表示所述第一特征矩阵，M2表示所述第二特征矩阵，
表示矩阵的按位置相加，
表示矩阵的按位置相减，Mc表示所述分类特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310029676.2A CN116092216A (zh) | 2023-01-09 | 2023-01-09 | 基于多传感器信息融合的车辆状态预警方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310029676.2A CN116092216A (zh) | 2023-01-09 | 2023-01-09 | 基于多传感器信息融合的车辆状态预警方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116092216A true CN116092216A (zh) | 2023-05-09 |
Family
ID=86207821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310029676.2A Withdrawn CN116092216A (zh) | 2023-01-09 | 2023-01-09 | 基于多传感器信息融合的车辆状态预警方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116092216A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680557A (zh) * | 2023-08-03 | 2023-09-01 | 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) | 用于煤层气钻井工程的实时监测系统及其方法 |
-
2023
- 2023-01-09 CN CN202310029676.2A patent/CN116092216A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680557A (zh) * | 2023-08-03 | 2023-09-01 | 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) | 用于煤层气钻井工程的实时监测系统及其方法 |
| CN116680557B (zh) * | 2023-08-03 | 2023-10-27 | 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) | 用于煤层气钻井工程的实时监测系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hanselmann et al. | CANet: An unsupervised intrusion detection system for high dimensional CAN bus data | |
| US20200019794A1 (en) | A neural network and method of using a neural network to detect objects in an environment | |
| JP6742554B1 (ja) | 情報処理装置およびそれを備えた電子機器 | |
| US11654934B2 (en) | Methods and systems for diversity-aware vehicle motion prediction via latent semantic sampling | |
| Liu et al. | DSDCLA: Driving style detection via hybrid CNN-LSTM with multi-level attention fusion | |
| KR20210040415A (ko) | 물체 분류 방법 및 디바이스 | |
| Shi et al. | Real-time driving risk assessment using deep learning with XGBoost | |
| CN115834433B (zh) | 基于物联网技术的数据处理方法及系统 | |
| CN115456789B (zh) | 基于交易模式识别的异常交易检测方法及其系统 | |
| CN116015837A (zh) | 用于计算机网络信息安全的入侵检测方法及系统 | |
| Schlegel et al. | Multivariate time series analysis for driving style classification using neural networks and hyperdimensional computing | |
| Pan et al. | Deep learning based data fusion for sensor fault diagnosis and tolerance in autonomous vehicles | |
| CN116092216A (zh) | 基于多传感器信息融合的车辆状态预警方法及其系统 | |
| CN118277770A (zh) | 一种障碍物感知方法、装置、电子设备及存储介质 | |
| CN116486622A (zh) | 基于道路数据的交通智能规划系统及其方法 | |
| Amrutsamanvar | Modeling lateral movement decisions of powered two wheelers in disordered heterogeneous traffic conditions | |
| Zhao et al. | Road friction estimation based on vision for safe autonomous driving | |
| CN117591813A (zh) | 基于多维特征的复杂装备故障诊断方法及系统 | |
| CN116204821B (zh) | 用于轨道交通车辆的振动评估方法及系统 | |
| WO2021038812A1 (ja) | 分類装置、学習装置、分類方法、学習方法、分類プログラム、及び学習プログラム | |
| CN114863680B (zh) | 预测处理方法、装置、计算机设备及存储介质 | |
| CN115788793A (zh) | 全局监控预警方法及其系统 | |
| CN115169971A (zh) | 车辆行驶性能评估系统及其评估方法 | |
| Kim et al. | Revitalizing self-organizing map: Anomaly detection using forecasting error patterns | |
| Ranjbar et al. | Scene novelty prediction from unsupervised discriminative feature learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230509 |
|
| WW01 | Invention patent application withdrawn after publication |