CN115311609B - 渣土车运输管理系统及其管理方法 - Google Patents

渣土车运输管理系统及其管理方法 Download PDF

Info

Publication number
CN115311609B
CN115311609B CN202211243854.3A CN202211243854A CN115311609B CN 115311609 B CN115311609 B CN 115311609B CN 202211243854 A CN202211243854 A CN 202211243854A CN 115311609 B CN115311609 B CN 115311609B
Authority
CN
China
Prior art keywords
feature
convolution
vehicle driving
vector
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211243854.3A
Other languages
English (en)
Other versions
CN115311609A (zh
Inventor
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Laolan Electronic Technology Co ltd
Original Assignee
Shandong Laolan Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Laolan Electronic Technology Co ltd filed Critical Shandong Laolan Electronic Technology Co ltd
Priority to CN202211243854.3A priority Critical patent/CN115311609B/zh
Publication of CN115311609A publication Critical patent/CN115311609A/zh
Application granted granted Critical
Publication of CN115311609B publication Critical patent/CN115311609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及渣土车管理技术领域，其具体地公开了一种渣土车运输管理系统及其管理方法，其通过多尺度邻域特征提取模块和第一卷积神经网络模型对预定时间段内多个预定时间点的车辆行驶参数进行车辆行驶状态特征提取，同时，通过使用时间注意力机制的第二卷积神经网络模型对预定时间段的司机面部监控视频进行驾驶员的面部特征提取，最后，将车辆行驶状态特征和驾驶员的面部特征进行融合并通过分类器以得到用于表示司机是否存在不规范驾驶行为的分类结果，通过这样的方式，更为准确的对司机的驾驶状态进行监测以在检测到司机存在疲劳驾驶或分心驾驶等不合规驾驶状态时，能够及时地产生预警，以确保司机人身安全和避免不必要的损失发生。

Description

渣土车运输管理系统及其管理方法
技术领域
本申请涉及渣土车管理技术领域，且更为具体地，涉及一种渣土车运输管理系统及其管理方法。
背景技术
近年来，随着城市经济社会的快速发展，城市化进程的提速，运载建筑垃圾的重型载货汽车“渣土车”越来越多。随着工程渣土车数量的大幅增长，不但城市环境遭到破坏，同时造成交通违法高发、屡屡发生撞人死亡事故。众所周知，渣土车问题一直是城市管理的重点、热点问题，尽管对渣土车的整治政府相关部门一直在采取措施进行积极治理，但取得的成效却不尽如人意。
在对渣土车进行治理的过程中，对于人员的治理尤为重要，特别是很多渣土车车主或驾驶员重效益、轻安全，运输过程中，由于生理疲劳，驾驶员往往会不由自主的发生打瞌睡、闭眼等行为，存在严重的交通安全隐患。另外，驾驶员还可能因侥幸心理发生分心驾驶行为，如：抽烟、看手机、打电话等，导致车道保持能力减弱，一旦发生突发事件，驾驶员则极有可能因反应不及，造成严重的交通事故。
因此，一种渣土车运输管理系统，能够对司机的驾驶状态进行监测。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种渣土车运输管理系统及其管理方法，其融合车辆行驶状态特征和驾驶员的面部特征来构建渣土车运输管理方案，以智能地确定驾驶员是否存在不规范的驾驶行驶。
根据本申请的一个方面，提供了一种渣土车运输管理系统，其包括：监控模块，用于获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数；单点行驶参数关联特征提取模块，用于将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量；差分模块，用于计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量；参数变化特征提取模块，用于将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量；监控视频编码模块，用于将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图；降维模块，用于对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量；特征表达优化模块，用于基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；多源特征融合模块，用于融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量；以及管理结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为。
根据本申请的另一方面，提供了一种渣土车运输管理方法，其包括：获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数；将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量；计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量；将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量；将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图；对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量；基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量；以及将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为。
与现有技术相比，本申请提供的一种渣土车运输管理系统及其管理方法，其融合车辆行驶状态特征和驾驶员的面部特征来构建渣土车运输管理方案，以智能地确定驾驶员是否存在不规范的驾驶行驶。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的渣土车运输管理系统及其管理方法的应用场景图。
图2图示了根据本申请实施例的渣土车运输管理系统的框图示意图。
图3图示了根据本申请实施例的渣土车运输管理系统中单点行驶参数关联特征提取模块的框图。
图4图示了根据本申请实施例的渣土车运输管理系统中监控视频编码模块的框图。
图5图示了根据本申请实施例的渣土车运输管理系统中时间注意力卷积编码单元的框图。
图6图示了根据本申请实施例的渣土车运输管理方法的流程图。
图7图示了根据本申请实施例的渣土车运输管理方法的系统架构的示意图。
图8图示了根据本申请实施例的渣土车运输管理方法中，基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量的流程图。
图9图示了根据本申请实施例的渣土车运输管理系统及其管理方法中，将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图的流程图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，在渣土车运输管理中，期待对司机的驾驶状态进行监测以在检测到司机存在疲劳驾驶或分心驾驶等不合规驾驶状态时，能够及时地产生预警，以确保司机人身安全和避免不必要的损失发生。
现有一些用于司机驾驶状态监测的技术方案，这些技术方案大多集中于对司机的面部状态进行监测以确定其是否存在疲劳驾驶或分心驾驶等不规范驾驶行为。但是这些技术方案难以满足实际应用场景的需求，其原因为司机是否存在不规范的驾驶行为，在很大程度上，也与车辆的行驶状态有关，例如，当车辆出于熄火或者停车状态，驾驶员可能在打瞌睡，但其应当视为合规行为。也就是，如果脱离车辆行驶状态而仅依赖驾驶员的面部状态监测来确定驾驶员是否存在不规范的驾驶行为，这显然是不合理的。
相应地，在本申请的技术方案中，尝试融合车辆行驶状态特征和驾驶员的面部特征来构建渣土车运输管理方案，以智能地确定驾驶员是否存在不规范的驾驶行驶。
具体地，首先获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数，这里，所述车辆行驶参数包括车辆行驶速度，行驶加速度、转向盘转角、油门开度以及刹车踏板开度。接着，将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量。也就是，利用包含多个一维卷积层的多尺度邻域特征提取模块来提取不同跨度的车辆行驶参数间的关联特征。应可以理解，在利用所述多尺度邻域特征提取模块进行编码时，不同长度的一维卷积层对应于不同长度的数据项分布，因此，其能够提取车辆行驶参数中不同长度的数据项组合的高维隐含关联特征模式。
在本申请的技术方案中，更关注车辆行驶状态的变化，因此，进一步计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量。接着，将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量。也就是，将相邻时间点的车辆行驶状态特征变化在数据层面进行二维结构化，并使用在局部特征提取领域具有优异性能表现的卷积神经网络模型作为过滤器对所述二维特征矩阵进行卷积编码以得到不同时间点的车辆状态变化特征信息。
对于所述司机面部监控视频，考虑到所述司机面部监控视频中存在诸多内容相近的图像帧，即所述司机面部监控视频中存在诸多冗余信息，这会增加额外的计算量。因此，在对所述司机面部监控视频进行编码以提取司机面部状态变化特征之前，先对所述司机面部监控视频进行关键帧提取处理。在本申请的一个具体的示例中，以预定采样频率对所述司机面部监控视频进行采样处理以得到多个监控关键帧。然后，将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图。这里，本领域普通技术人员应知晓，卷积神经网络模型在图像特征提取领域具有优异性能表现，特别地，在本申请的技术方案中，因为期待捕捉司机面部特征在时间维度上的变化模式，因此，将时间注意力机制引入所述第二卷积神经网络模型。通过所述时间注意力机制，所述第二卷积神经网络能够对不同时间帧的面部特征中不同特征部分施加不同的权重，以利于提高司机驾驶状态监测的精准度。
接着，融合所述面部监控特征图和所述车辆行驶参数变化特征向量就可以基于融合特征并通过分类器来进行分类判断，以得到用于表示司机是否存在不规范驾驶行为的分类结果。但是，应注意到，所述面部监控特征图为三维特征张量，而所述车辆行驶参数变化特征向量为一维特征向量，两者在特征维度上存在差异，因此，两者无法在高维特征空间中直接进行融合。
为此，在本申请的技术方案中，首先对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量，然后，融合所述面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量。
这里，在对所述面部监控特征图的沿通道维度的特征矩阵进行全局均值池化以得到面部监控特征向量时，由于所述面部监控特征图的沿通道维度的各个特征矩阵的全局池化降低了所述面部监控特征向量的特征值之间的分布相关性，因此，为了提高所述面部监控特征向量的特征值关于所述面部监控特征图的特征分布的表达一致性，对所述面部监控特征向量进行通道递归的压榨-激励优化，具体为：
Figure 196166DEST_PATH_IMAGE001
Figure 348799DEST_PATH_IMAGE002
和
Figure 468065DEST_PATH_IMAGE003
是特征集合
Figure 844688DEST_PATH_IMAGE004
的均值和方差，其中
Figure 682194DEST_PATH_IMAGE005
是所述面部监控特征向量
Figure 441115DEST_PATH_IMAGE006
的特征值。
也就是，通过计算所述面部监控特征向量的沿所述面部监控特征图的通道维度的特征集合的统计特性，可以激活所述面部监控特征向量的特征分布的通道递归，以推断所述面部监控特征向量的特征值在所述面部监控特征图的每个通道采样位置的通道维度分布。此外，通过采用由
Figure 680466DEST_PATH_IMAGE007
-
Figure 962412DEST_PATH_IMAGE008
函数构成的压榨-激励机制，来获取所述面部监控特征图的通道方向上注意力增强的置信度值，以增强所述面部监控特征向量在其分布方向上与所述面部监控特征图的通道方向的分布相关性，这样就获得了相对于所述面部监控特征图的特征分布具有高表达一致性的所述面部监控特征向量。由此，提高了所述面部监控特征向量对所述面部监控特征图的表达效果。这样，提高对于司机驾驶状态判断的精准度。
基于此，本申请提供了一种渣土车运输管理系统，其包括：监控模块，用于获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数；单点行驶参数关联特征提取模块，用于将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量；差分模块，用于计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量；参数变化特征提取模块，用于将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量；监控视频编码模块，用于将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图；降维模块，用于对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量；特征表达优化模块，用于基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；多源特征融合模块，用于融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量；以及，管理结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为。
图1图示了根据本申请实施例的渣土车运输管理系统及其管理方法的应用场景图。如图1所示，在该应用场景中，首先，通过部署在渣土车（例如，如图1中所示意的M）上的摄像头（例如，如图1中所示意的C）采集预定时间段的司机面部监控视频，同时，通过部署在渣土车上的参数采集装置（例如，如图1中所示意的P）采集预定时间段内多个预定时间点的车辆行驶参数。这里，所述车辆行驶参数包括车辆行驶速度，行驶加速度、转向盘转角、油门开度以及刹车踏板开度。然后，将采集的所述司机面部监控视频和所述车辆行驶参数输入至部署有渣土车运输管理算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述渣土车运输管理算法对所述司机面部监控视频和所述车辆行驶参数进行处理以生成用于表示司机是否存在不规范驾驶行为的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的渣土车运输管理系统的框图示意图。如图2所示，根据本申请实施例的所述渣土车运输管理系统100，包括：监控模块110，用于获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数；单点行驶参数关联特征提取模块120，用于将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量；差分模块130，用于计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量；参数变化特征提取模块140，用于将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量；监控视频编码模块150，用于将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图；降维模块160，用于对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量；特征表达优化模块170，用于基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；多源特征融合模块180，用于融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量；以及，管理结果生成模块190，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为。
在本申请实施例中，所述监控模块110，用于获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数。如上所述，在渣土车运输管理中，期待对司机的驾驶状态进行监测以在检测到司机存在疲劳驾驶或分心驾驶等不合规驾驶状态时，能够及时地产生预警，以确保司机人身安全和避免不必要的损失发生。
现有一些用于司机驾驶状态监测的技术方案，这些技术方案大多集中于对司机的面部状态进行监测以确定其是否存在疲劳驾驶或分心驾驶等不规范驾驶行为。但是这些技术方案难以满足实际应用场景的需求，其原因为司机是否存在不规范的驾驶行为，在很大程度上，也与车辆的行驶状态有关，例如，当车辆出于熄火或者停车状态，驾驶员可能在打瞌睡，但其应当视为合规行为。也就是，如果脱离车辆行驶状态而仅依赖驾驶员的面部状态监测来确定驾驶员是否存在不规范的驾驶行为，这显然是不合理的。
相应地，在本申请的技术方案中，尝试融合车辆行驶状态特征和驾驶员的面部特征来构建渣土车运输管理方案，以智能地确定驾驶员是否存在不规范的驾驶行驶。
在本申请一个具体的实施例中，通过部署在渣土车上的摄像头采集预定时间段的司机面部监控视频，同时，通过部署在渣土车上的参数采集装置采集预定时间段内多个预定时间点的车辆行驶参数。这里，所述车辆行驶参数包括车辆行驶速度，行驶加速度、转向盘转角、油门开度以及刹车踏板开度。
在本申请实施例中，所述单点行驶参数关联特征提取模块120，用于将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量。应可以理解，考虑到所述车辆行驶参数的各个数据项之间是相互关联的，而在利用卷积神经网络模型进行局部特征提取，如果使用单一卷积核虽然也能提取到车辆行驶参数间的关联特征，但无法同时提取到小跨度和大跨度的车辆行驶参数间的关联特征，利用包含多个一维卷积层的多尺度邻域特征提取模块来提取不同跨度的车辆行驶参数间的关联特征。应可以理解，在利用所述多尺度邻域特征提取模块进行编码时，不同长度的一维卷积层对应于不同长度的数据项分布，因此，其能够提取车辆行驶参数中不同长度的数据项组合的高维隐含关联特征模式。
图3图示了根据本申请实施例的渣土车运输管理系统中单点行驶参数关联特征提取模块的框图。如图3所示，在本申请一个具体的实施例中，所述单点行驶参数关联特征提取模块120，包括：第一跨度参数间关联特征提取单元121，用于将所述各个预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度行驶参数特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；第二跨度参数间关联特征提取单元122，用于将所述各个预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度行驶参数特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，多尺度级联单元123，用于将所述第一尺度行驶参数特征向量和所述第二尺度行驶参数特征向量分别进行级联以得到所述车辆行驶参数特征向量。
在本申请一个具体的实施例中，所述第一跨度参数间关联特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述各个预定时间点的车辆行驶参数中所有数据项分别进行一维卷积编码以得到所述多个第一尺度成分特征向量；其中，所述公式为：
Figure 208586DEST_PATH_IMAGE009
其中，
Figure 781649DEST_PATH_IMAGE010
为第一卷积核在
Figure 859196DEST_PATH_IMAGE011
方向上的宽度、
Figure 859513DEST_PATH_IMAGE012
为第一卷积核参数向量、
Figure 655299DEST_PATH_IMAGE013
为与卷积核函数运算的局部向量矩阵，
Figure 766475DEST_PATH_IMAGE014
为第一卷积核的尺寸，
Figure 964107DEST_PATH_IMAGE015
表示所述各个预定时间点的车辆行驶参数中所有数据项。
在本申请一个具体的实施例中，所述第二跨度参数间关联特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述各个预定时间点的车辆行驶参数中所有数据项进行一维卷积编码以得到所述第二尺度成分特征向量；其中，所述公式为：
Figure 135325DEST_PATH_IMAGE016
其中，
Figure 152829DEST_PATH_IMAGE017
为第二卷积核在
Figure 536536DEST_PATH_IMAGE018
方向上的宽度、
Figure 57517DEST_PATH_IMAGE019
为第二卷积核参数向量、
Figure 399636DEST_PATH_IMAGE020
为与卷积核函数运算的局部向量矩阵，
Figure 164156DEST_PATH_IMAGE021
为第二卷积核的尺寸，
Figure 351554DEST_PATH_IMAGE015
表示所述输入向量。
在本申请实施例中，所述差分模块130，用于计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量。应可以理解，在对司机状态进行评估时，更关注车辆行驶状态的变化，因此，进一步计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到表征相邻时间点的车辆行驶状态变化的多个差分特征向量。
在本申请实施例中，所述参数变化特征提取模块140，用于将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量。应可以理解，考虑到在司机疲劳驾驶或分心驾驶时，车辆行驶状态会持续性的变化，因此，除了获得相邻时间点的车辆行驶状态变化特征，还需要获得其他时间点的车辆状态变化特征信息，所以，将相邻时间点的车辆行驶状态特征变化在数据层面进行二维结构化，并使用在局部特征提取领域具有优异性能表现的卷积神经网络模型作为过滤器对所述二维特征矩阵进行卷积编码以得到不同时间点的车辆状态变化特征信息。
在本申请一个具体的实施例中，所述参数变化特征提取模块150，进一步用于：所述第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：使用所述第一卷积神经网络模型的各层的卷积单元对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；使用所述第一卷积神经网络模型的各层的池化单元对所述卷积特征图进行基于特征矩阵的全局均值池化以得到池化特征图；以及，使用所述第一卷积神经网络模型的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述车辆行驶参数变化特征向量。
在本申请实施例中，所述监控视频编码模块150，用于将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图。应可以理解，考虑到所述司机面部监控视频中存在诸多内容相近的图像帧，即所述司机面部监控视频中存在诸多冗余信息，这会增加额外的计算量。因此，在对所述司机面部监控视频进行编码以提取司机面部状态变化特征之前，先对所述司机面部监控视频进行关键帧提取处理。在本申请的一个具体的示例中，以预定采样频率对所述司机面部监控视频进行采样处理以得到多个监控关键帧。然后，将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图。这里，本领域普通技术人员应知晓，卷积神经网络模型在图像特征提取领域具有优异性能表现，特别地，在本申请的技术方案中，因为期待捕捉司机面部特征在时间维度上的变化模式，因此，将时间注意力机制引入所述第二卷积神经网络模型。通过所述时间注意力机制，所述第二卷积神经网络能够对不同时间帧的面部特征中不同特征部分施加不同的权重，以利于提高司机驾驶状态监测的精准度。
图4图示了根据本申请实施例的渣土车运输管理系统中监控视频编码模块的框图。如图4所示，在本申请一个具体的实施例中，所述监控视频编码模块150，包括：采样单元151，用于以预定采样频率从所述司机面部监控视频得到多个监控关键帧；以及，时间注意力卷积编码单元152，用于将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图。
图5图示了根据本申请实施例的渣土车运输管理系统中时间注意力卷积编码单元的框图。如图5所示在本申请一个具体的实施例中，所述时间注意力卷积编码单元152，包括；相邻帧提取子单元1521，用于从所述多个监控关键帧中提取相邻的第一监控关键帧和第二监控关键帧；第一卷积编码单元1522，用于将所述第一监控关键帧所述第二监控关键帧分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第二卷积特征图；时间注意力单元1523，用于计算所述第一卷积特征图和所述第二卷积特征图之间的按位置点乘以得到时间注意力图；注意力激活单元1524，用于将所述时间注意力图输入Softmax激活函数以得到时间注意力特征图；第二卷积编码单元1525，用于将所述第二监控关键帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图；以及，注意力施加单元1526，用于计算所述第三卷积特征图和所述时间注意力特征图之间的按位置点乘以得到对应于所述第二监控关键帧的时间注意力特征图。
在本申请实施例中，所述降维模块160，用于对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量。应可以理解，接着，融合所述面部监控特征图和所述车辆行驶参数变化特征向量就可以基于融合特征并通过分类器来进行分类判断，以得到用于表示司机是否存在不规范驾驶行为的分类结果。但是，应注意到，所述面部监控特征图为三维特征张量，而所述车辆行驶参数变化特征向量为一维特征向量，两者在特征维度上存在差异，因此，两者无法在高维特征空间中直接进行融合，所以，对所述面部监控特征图进行降维以得到面部监控特征向量。
在本申请实施例中，所述特征表达优化模块170，用于基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量。应可以理解，在对所述面部监控特征图的沿通道维度的特征矩阵进行全局均值池化以得到面部监控特征向量时，由于所述面部监控特征图的沿通道维度的各个特征矩阵的全局池化降低了所述面部监控特征向量的特征值之间的分布相关性，因此，为了提高所述面部监控特征向量的特征值关于所述面部监控特征图的特征分布的表达一致性，对所述面部监控特征向量进行通道递归的压榨-激励优化。
在本申请一个具体的实施例中，所述特征表达优化模块170，进一步用于：基于所述面部监控特征向量的全局统计特征，以如下公式对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；
其中，所述公式为：
Figure 523779DEST_PATH_IMAGE001
其中，
Figure 771220DEST_PATH_IMAGE002
表示特征集合
Figure 28895DEST_PATH_IMAGE004
的均值，
Figure 754406DEST_PATH_IMAGE003
表示特征集合
Figure 46716DEST_PATH_IMAGE022
的方差，
Figure 199479DEST_PATH_IMAGE005
表示所述面部监控特征向量
Figure 678871DEST_PATH_IMAGE006
的特征值，
Figure 739231DEST_PATH_IMAGE023
表示计算以特征集合
Figure 620468DEST_PATH_IMAGE024
的方差的相反数为幂的自然指数函数值，
Figure 944133DEST_PATH_IMAGE025
表示
Figure 176400DEST_PATH_IMAGE007
函数，
Figure 509293DEST_PATH_IMAGE026
表示
Figure 245037DEST_PATH_IMAGE008
函数，且
Figure 270761DEST_PATH_IMAGE027
表示所述优化面部监控特征向量的特征值。
在本申请实施例中，所述多源特征融合模块180，用于融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量。
在本申请实施例中，所述管理结果生成模块190，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为。
在本申请一个具体的实施例中，所述管理结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以得到所述分类结果；其中，所述公式为：
Figure 465025DEST_PATH_IMAGE028
，其中，
Figure 850876DEST_PATH_IMAGE029
到
Figure 191859DEST_PATH_IMAGE030
为权重矩阵，
Figure 637753DEST_PATH_IMAGE031
到
Figure 329765DEST_PATH_IMAGE032
为偏置向量，
Figure 253728DEST_PATH_IMAGE033
为分类特征向量。
综上，基于本申请实施例的所述渣土车运输管理系统，其融合车辆行驶状态特征和驾驶员的面部特征来构建渣土车运输管理方案，以智能地确定驾驶员是否存在不规范的驾驶行驶。
示例性方法
图6图示了根据本申请实施例的渣土车运输管理方法的流程图。如图6所示，根据本申请实施例的所述渣土车运输管理方法，包括：S110，获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数；S120，将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量；S130，计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量；S140，将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量；S150，将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图；S160，对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量；S170，基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；S180，融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量；以及，S190，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为。
图7图示了根据本申请实施例的渣土车运输管理方法的系统架构的示意图。如图7所示，在本申请实施例的所述渣土车运输管理方法的系统架构中，首先，获取预定时间段内多个预定时间点的车辆行驶参数，并将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量。然后，计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量，并将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量。同时，获取预定时间段的司机面部监控视频，并将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图。然后，对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到面部监控特征向量，并基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量。接着，融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量。最后，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为。
图8图示了根据本申请实施例的渣土车运输管理方法中，基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量的流程图。如图8所示，在本申请一个具体的实施例中，所述基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量，包括：S210，以预定采样频率从所述司机面部监控视频得到多个监控关键帧；以及，S220，将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图。
图9图示了根据本申请实施例的渣土车运输管理系统及其管理方法中，将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图的流程图。如图9所示，在本申请一个具体的实施例中，所述将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图，包括；S310，从所述多个监控关键帧中提取相邻的第一监控关键帧和第二监控关键帧；S320，将所述第一监控关键帧所述第二监控关键帧分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第二卷积特征图；S330，计算所述第一卷积特征图和所述第二卷积特征图之间的按位置点乘以得到时间注意力图；S340，将所述时间注意力图输入Softmax激活函数以得到时间注意力特征图；S350，将所述第二监控关键帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图；以及，S360，计算所述第三卷积特征图和所述时间注意力特征图之间的按位置点乘以得到对应于所述第二监控关键帧的时间注意力特征图。
这里，本领域技术人员可以理解，上述渣土车运输管理方法中的各个步骤的具体操作已经在上面参考图1到图5的渣土车运输管理系统的描述中得到了详细介绍，并因此，将省略其重复描述。

Claims (7)

1.一种渣土车运输管理系统，其特征在于，包括：
监控模块，用于获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数；
单点行驶参数关联特征提取模块，用于将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量；
差分模块，用于计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量；
参数变化特征提取模块，用于将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量；
监控视频编码模块，用于将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图；
降维模块，用于对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局平均池化以得到面部监控特征向量；
特征表达优化模块，用于基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；
多源特征融合模块，用于融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量；以及
管理结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为；
所述单点行驶参数关联特征提取模块，包括：
第一跨度参数间关联特征提取单元，用于将各个所述预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度行驶参数特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；
第二跨度参数间关联特征提取单元，用于将各个所述预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度行驶参数特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及
多尺度级联单元，用于将所述第一尺度行驶参数特征向量和所述第二尺度行驶参数特征向量分别进行级联以得到所述车辆行驶参数特征向量；
所述第一跨度参数间关联特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对各个所述预定时间点的车辆行驶参数中所有数据项分别进行一维卷积编码以得到所述多个第一尺度行驶参数特征向量；
其中，所述公式为：
Figure FDA0003971711680000021
其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x-a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示各个所述预定时间点的车辆行驶参数中所有数据项；
所述第二跨度参数间关联特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对各个所述预定时间点的车辆行驶参数中所有数据项进行一维卷积编码以得到所述第二尺度行驶参数特征向量；
其中，所述公式为：
Figure FDA0003971711680000022
其中，b为第二卷积核在x方向上的宽度、F(b)为第二卷积核参数向量、G(x-b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示各个所述预定时间点的车辆行驶参数中所有数据项。
2.根据权利要求1所述的渣土车运输管理系统，其特征在于，所述参数变化特征提取模块，进一步用于：所述第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
使用所述第一卷积神经网络模型的各层的卷积单元对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；
使用所述第一卷积神经网络模型的各层的池化单元对所述卷积特征图进行基于特征矩阵的全局平均池化以得到池化特征图；以及
使用所述第一卷积神经网络模型的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述车辆行驶参数变化特征向量。
3.根据权利要求2所述的渣土车运输管理系统，其特征在于，所述监控视频编码模块，包括：
采样单元，用于以预定采样频率从所述司机面部监控视频得到多个监控关键帧；以及
时间注意力卷积编码单元，用于将所述多个监控关键帧通过所述使用时间注意力机制的第二卷积神经网络模型以得到所述面部监控特征图。
4.根据权利要求3所述的渣土车运输管理系统，其特征在于，所述时间注意力卷积编码单元，包括；
相邻帧提取子单元，用于从所述多个监控关键帧中提取相邻的第一监控关键帧和第二监控关键帧；
第一卷积编码单元，用于将所述第一监控关键帧所述第二监控关键帧分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第二卷积特征图；
时间注意力单元，用于计算所述第一卷积特征图和所述第二卷积特征图之间的按位置点乘以得到时间注意力图；
注意力激活单元，用于将所述时间注意力图输入Softmax激活函数以得到时间注意力特征图；
第二卷积编码单元，用于将所述第二监控关键帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图；以及
注意力施加单元，用于计算所述第三卷积特征图和所述时间注意力特征图之间的按位置点乘以得到对应于所述第二监控关键帧的时间注意力特征图。
5.根据权利要求4所述的渣土车运输管理系统，其特征在于，所述特征表达优化模块，进一步用于：基于所述面部监控特征向量的全局统计特征，以如下公式对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；
其中，所述公式为：
Figure FDA0003971711680000041
其中，μ表示特征集合vi∈V的均值，σ表示特征集合vi∈V的方差，vi表示所述面部监控特征向量V的特征值，exp(-σ)表示计算以特征集合vi∈V的方差的相反数为幂的自然指数函数值，ReLU(·)表示ReLU函数，Sigmoid|·|表示Sigmoid函数，且vi'表示所述优化面部监控特征向量的特征值。
6.根据权利要求5所述的渣土车运输管理系统，其特征在于，所述管理结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以得到所述分类结果；
其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为分类特征向量。
7.一种渣土车运输管理方法，其特征在于，包括：
获取预定时间段的司机面部监控视频以及所述预定时间段内多个预定时间点的车辆行驶参数；
将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量；
计算所述多个车辆行驶参数特征向量中相邻两个时间点的车辆行驶参数特征向量之间的差分特征向量以得到多个差分特征向量；
将所述多个差分特征向量进行二维排列为特征矩阵后通过作为过滤器的第一卷积神经网络模型以得到车辆行驶参数变化特征向量；
将所述司机面部监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到面部监控特征图；
对所述面部监控特征图的沿通道维度的各个特征矩阵进行全局平均池化以得到面部监控特征向量；
基于所述面部监控特征向量的全局统计特征，对所述面部监控特征向量进行特征优化以得到优化面部监控特征向量；
融合所述优化面部监控特征向量和所述车辆行驶参数变化特征向量以得到分类特征向量；以及
将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示司机是否存在不规范驾驶行为；
将各个所述预定时间点的车辆行驶参数中所有数据项通过多尺度邻域特征提取模块以得到多个车辆行驶参数特征向量，包括：
将各个所述预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度行驶参数特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；
将各个所述预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度行驶参数特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及
将所述第一尺度行驶参数特征向量和所述第二尺度行驶参数特征向量分别进行级联以得到所述车辆行驶参数特征向量；
将各个所述预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度行驶参数特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对各个所述预定时间点的车辆行驶参数中所有数据项分别进行一维卷积编码以得到所述多个第一尺度行驶参数特征向量；
其中，所述公式为：
Figure FDA0003971711680000051
其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x-a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示各个所述预定时间点的车辆行驶参数中所有数据项；
将各个所述预定时间点的车辆行驶参数中所有数据项输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度行驶参数特征向量，包括：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对各个所述预定时间点的车辆行驶参数中所有数据项进行一维卷积编码以得到所述第二尺度行驶参数特征向量；
其中，所述公式为：
Figure FDA0003971711680000061
其中，b为第二卷积核在x方向上的宽度、F(b)为第二卷积核参数向量、G(x-b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示各个所述预定时间点的车辆行驶参数中所有数据项。
CN202211243854.3A 2022-10-12 2022-10-12 渣土车运输管理系统及其管理方法 Active CN115311609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211243854.3A CN115311609B (zh) 2022-10-12 2022-10-12 渣土车运输管理系统及其管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211243854.3A CN115311609B (zh) 2022-10-12 2022-10-12 渣土车运输管理系统及其管理方法

Publications (2)

Publication Number Publication Date
CN115311609A CN115311609A (zh) 2022-11-08
CN115311609B true CN115311609B (zh) 2023-02-10

Family

ID=83867729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211243854.3A Active CN115311609B (zh) 2022-10-12 2022-10-12 渣土车运输管理系统及其管理方法

Country Status (1)

Country Link
CN (1) CN115311609B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116111906A (zh) * 2022-11-17 2023-05-12 浙江精盾科技股份有限公司 带液压制动车铣复合专用电机及其控制方法
CN115535482B (zh) * 2022-11-23 2023-04-07 克拉玛依市科林恩能源科技有限责任公司 原油储罐密封方法及其系统
CN115761900B (zh) * 2022-12-06 2023-07-18 深圳信息职业技术学院 用于实训基地管理的物联网云平台
CN115641045A (zh) * 2022-12-23 2023-01-24 河南新飞电器集团有限公司 一种冷链运输远程监控系统
CN116000297A (zh) * 2023-01-03 2023-04-25 赣州市光华有色金属有限公司 高强度钨镧丝的制备装置及其方法
CN115937792B (zh) * 2023-01-10 2023-09-12 浙江非线数联科技股份有限公司 基于区块链的智慧社区运营管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014121182A1 (en) * 2013-02-04 2014-08-07 Intel Corporation Assessment and management of emotional state of a vehicle operator
CN114969435A (zh) * 2022-05-20 2022-08-30 陈强 智慧安防的监控查看系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258409B1 (en) * 2014-07-29 2016-02-09 Verizon Patent And Licensing Inc. Determining that a user is in a vehicle or driving a vehicle based on sensor data gathered by a user device
US10349032B2 (en) * 2016-09-30 2019-07-09 Veoneer Us, Inc. Vehicle occupant head positioning system
CN114564993A (zh) * 2022-02-28 2022-05-31 上海济垚软件科技有限公司 基于多源信息融合的疲劳检测系统及其操作方法
CN114581998A (zh) * 2022-03-14 2022-06-03 重庆紫光华山智安科技有限公司 一种基于目标对象关联特征融合的布控方法、系统、设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014121182A1 (en) * 2013-02-04 2014-08-07 Intel Corporation Assessment and management of emotional state of a vehicle operator
CN114969435A (zh) * 2022-05-20 2022-08-30 陈强 智慧安防的监控查看系统

Also Published As

Publication number Publication date
CN115311609A (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN115311609B (zh) 渣土车运输管理系统及其管理方法
US11164259B2 (en) System and method for adverse vehicle event determination
Moujahid et al. Machine learning techniques in ADAS: A review
Sarala et al. Emotionally adaptive driver voice alert system for advanced driver assistance system (ADAS) applications
Dozza et al. Recognising safety critical events: Can automatic video processing improve naturalistic data analyses?
KR20190072077A (ko) 차량 사고 예측 시스템 및 그 방법
Peng et al. Rough set based method for vehicle collision risk assessment through inferring driver's braking actions in near-crash situations
JP2009096365A (ja) リスク認識システム
Seyedi et al. Safety assessment and a parametric study of forward collision‐avoidance assist based on real‐world crash simulations
Takimoto et al. Predicting traffic accidents with event recorder data
Kumar et al. FCW: a forward collision warning system using convolutional neural network
CN110097571B (zh) 快速高精度的车辆碰撞预测方法
Kabir et al. Real-time vehicular accident prevention system using deep learning architecture
Sandblom et al. Probabilistic threat assessment and driver modeling in collision avoidance systems
Rendon-Velez et al. Progress with situation assessment and risk prediction in advanced driver assistance systems: A survey
Ali et al. Real-time snowy weather detection based on machine vision and vehicle kinematics: A non-parametric data fusion analysis protocol
Narkhede et al. Review of advanced driver assistance systems and their applications for collision avoidance in urban driving scenario
Aghav et al. Deep Learning for Real Time Collision Detection and Avoidance
Garate et al. Numerical modeling of ADA system for vulnerable road users protection based on radar and vision sensing
Ahmad et al. Comparative study of dashcam-based vehicle incident detection techniques
Ramzi et al. Road obstacle detection
Parthiban et al. A Deep Learning-Based Accident Detection in Emergency Situation from CCTV Camera Using H-RNN Algorithm
Srinivasan et al. Advanced Driver Assistance System (ADAS) in Autonomous Vehicles: A Complete Analysis
Basori et al. iDriveAR: In-vehicle driver awareness and drowsiness framework based on facial tracking and augmented reality
Bao et al. Personalized Causal Factor Generalization for Subjective Risky Scene Understanding with Vision Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant