CN114564993A - 基于多源信息融合的疲劳检测系统及其操作方法 - Google Patents

基于多源信息融合的疲劳检测系统及其操作方法 Download PDF

Info

Publication number
CN114564993A
CN114564993A CN202210190431.3A CN202210190431A CN114564993A CN 114564993 A CN114564993 A CN 114564993A CN 202210190431 A CN202210190431 A CN 202210190431A CN 114564993 A CN114564993 A CN 114564993A
Authority
CN
China
Prior art keywords
signal
feature
neural network
convolutional neural
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210190431.3A
Other languages
English (en)
Inventor
江奇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiyao Software Technology Co ltd
Original Assignee
Shanghai Jiyao Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiyao Software Technology Co ltd filed Critical Shanghai Jiyao Software Technology Co ltd
Priority to CN202210190431.3A priority Critical patent/CN114564993A/zh
Publication of CN114564993A publication Critical patent/CN114564993A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及疲劳驾驶智能检测的领域，其具体地公开了一种基于多源信息融合的疲劳检测系统及其操作方法，其通过卷积神经网络对所述多个时间点中的每个时间点的脑电信号图进行深层的特征提取，并利用基于上下文的编码器模型对所述每个时间点的车辆运动信息进行全局性的运动关联信息提取，进一步再以周期混沌映射来进行处理，以改进所述信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力。这样，就可以准确地对驾驶者是否在疲劳驾驶进行检测，进而避免事故的发生。

Description

基于多源信息融合的疲劳检测系统及其操作方法
技术领域
本发明涉及疲劳驾驶智能检测的领域，且更为具体地，涉及一种基于多源信息融合的疲劳检测系统及其操作方法。
背景技术
疲劳驾驶极易引起交通事故，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易缺乏内源氧出现疲劳。
疲劳驾驶检测技术在道路安全方面起着至关重要的作用。在现有技术中，存在多种疲劳检测方案，例如，基于驾驶员生理信号、基于面部特征、基于汽车运动信息等。但每种疲劳检测防范都有其自身的缺陷，例如，侵入性测试、误检测和漏检测等。因此，需要一种基于多源信息融合的疲劳检测系统以对驾驶员的是否存在疲劳驾驶进行准确地检测，从而避免事故的发生。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多源信息融合的疲劳检测系统及其操作方法，其通过卷积神经网络对所述多个时间点中的每个时间点的脑电信号图进行深层的特征提取，并利用基于上下文的编码器模型对所述每个时间点的车辆运动信息进行全局性的运动关联信息提取，进一步再以周期混沌映射来进行处理，以改进所述信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力。这样，就可以准确地对驾驶者是否在疲劳驾驶进行检测，进而避免事故的发生。
根据本申请的一个方面，提供了一种基于多源信息融合的疲劳检测系统，其包括：
监测数据获取单元，用于获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角；
第一脑电信号编码单元，用于将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量；
第二脑电信号编码单元，用于将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图；
第一运动信息编码单元，用于将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量；
第二运动信息编码单元，用于将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图；
特征图增强单元，用于对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中；
融合单元，用于融合所述修正特征图和所述运动特征图以获得分类特征图；以及
检测结果生成单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
在上述基于多源信息融合的疲劳检测系统中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述信号特征向量，其中，所述第一卷积神经网络的输入为所述各个时间点的脑电信号图。
在上述基于多源信息融合的疲劳检测系统中，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述信号特征图，其中，所述第一卷积神经网络的输入为所述信号特征矩阵。
在上述基于多源信息融合的疲劳检测系统中，所述第一运动信息编码单元，进一步用于：使用所述编码器模型的嵌入层分别将所述车辆运行信息中的各项数据分别转化为嵌入向量以获得嵌入向量的序列；以及，使用所述编码器模型的转换器对所述嵌入向量的序列进行基于上下文的全局编码以生成所述多个特征向量。
在上述基于多源信息融合的疲劳检测系统中，所述特征图增强单元，进一步用于：对所述信号特征图以如下公式进行周期混沌映射处理以获得所述修正特征图；其中，所述公式为：
Figure BDA0003524985920000031
其中f为所述信号特征图中的各个位置的特征值映射到概率空间后获得的概率率特征值，a和b为超参数。
在上述基于多源信息融合的疲劳检测系统中，所述融合单元，进一步用于：计算所述修正特征图和所述运动特征图之间的按位置加权和以获得所述分类特征图。
在上述基于多源信息融合的疲劳检测系统中，所述检测结果生成单元，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
根据本申请的另一方面，一种基于多源信息融合的疲劳检测系统的操作方法，其包括：
获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角；
将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量；
将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图；
将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量；
将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图；
对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中；
融合所述修正特征图和所述运动特征图以获得分类特征图；以及
将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
在上述基于多源信息融合的疲劳检测系统的操作方法中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述信号特征向量，其中，所述第一卷积神经网络的输入为所述各个时间点的脑电信号图。
在上述基于多源信息融合的疲劳检测系统的操作方法中，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述信号特征图，其中，所述第一卷积神经网络的输入为所述信号特征矩阵。
在上述基于多源信息融合的疲劳检测系统的操作方法中，将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量，包括：使用所述编码器模型的嵌入层分别将所述车辆运行信息中的各项数据分别转化为嵌入向量以获得嵌入向量的序列；以及，使用所述编码器模型的转换器对所述嵌入向量的序列进行基于上下文的全局编码以生成所述多个特征向量。
在上述基于多源信息融合的疲劳检测系统的操作方法中，对所述信号特征图进行周期混沌映射处理以获得修正特征图，包括：对所述信号特征图以如下公式进行周期混沌映射处理以获得所述修正特征图；
其中，所述公式为：
Figure BDA0003524985920000041
其中f为所述信号特征图中的各个位置的特征值映射到概率空间后获得的概率率特征值，a和b为超参数。
在上述基于多源信息融合的疲劳检测系统的操作方法中，融合所述修正特征图和所述运动特征图以获得分类特征图，包括：计算所述修正特征图和所述运动特征图之间的按位置加权和以获得所述分类特征图。
在上述基于多源信息融合的疲劳检测系统的操作方法中，将所述分类特征图通过分类器以获得分类结果，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
根据本申请的又一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于多源信息融合的疲劳检测系统的操作方法。
根据本申请的再又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于多源信息融合的疲劳检测系统的操作方法。
与现有技术相比，本申请提供的基于多源信息融合的疲劳检测系统及其操作方法，其通过卷积神经网络对所述多个时间点中的每个时间点的脑电信号图进行深层的特征提取，并利用基于上下文的编码器模型对所述每个时间点的车辆运动信息进行全局性的运动关联信息提取，进一步再以周期混沌映射来进行处理，以改进所述信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力。这样，就可以准确地对驾驶者是否在疲劳驾驶进行检测，进而避免事故的发生。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于多源信息融合的疲劳检测系统的应用场景图。
图2为根据本申请实施例的基于多源信息融合的疲劳检测系统的框图。
图3为根据本申请实施例的基于多源信息融合的疲劳检测系统的操作方法的流程图。
图4为根据本申请实施例的基于多源信息融合的疲劳检测系统的操作方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，疲劳驾驶极易引起交通事故，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易缺乏内源氧出现疲劳。
疲劳驾驶检测技术在道路安全方面起着至关重要的作用。在现有技术中，存在多种疲劳检测方案，例如，基于驾驶员生理信号、基于面部特征、基于汽车运动信息等。但每种疲劳检测防范都有其自身的缺陷，例如，侵入性测试、误检测和漏检测等。因此，需要一种基于多源信息融合的疲劳检测系统以对驾驶员的是否存在疲劳驾驶进行准确地检测，从而避免事故的发生。
基于此，在本申请的技术方案中，将多个时间点中的每个时间点的脑电信号图输入卷积神经网络，以获得与每个时间点的脑电信号图对应的信号特征向量，再将各信号特征向量进行二维排列得到信号特征矩阵，并输入卷积神经网络以获得信号特征图。
每个时间点的车辆运动信息输入包含嵌入层的基于上下文的编码器，并将获得的特征向量级联以获得运动特征向量，然后将各个时间点的运动特征向量进行二维排列得到运动特征矩阵，并输入卷积神经网络以获得运动特征图。
基于脑电信号图中的信息具有一定的周期性和混沌性，因此首先以周期混沌映射来进行处理，以改进信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力：
Figure BDA0003524985920000061
其中f为信号特征图中的各个位置的特征值映射到概率空间后获得的概率率特征值，a和b为超参数，初始值例如可以设置为a＝0.5，b＝0.2。
然后，将获得的修正特征图与运动特征图进行融合，并通过分类器获得分类结果。
基于此，本申请提出了一种基于多源信息融合的疲劳检测系统，其包括：监测数据获取单元，用于获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角；第一脑电信号编码单元，用于将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量；第二脑电信号编码单元，用于将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图；第一运动信息编码单元，用于将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量；第二运动信息编码单元，用于将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图；特征图增强单元，用于对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中；融合单元，用于融合所述修正特征图和所述运动特征图以获得分类特征图；以及，检测结果生成单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
图1图示了根据本申请实施例的基于多源信息融合的疲劳检测系统的应用场景图。如图1所示，在该应用场景中，首先，通过驾驶者(例如，如图1中所示意的P)佩戴的多传感器电子设备(例如，如图1中所示意的T)中获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角。然后，将所述多个时间点的待监测驾驶者的脑电信号图和所述车辆运动信息输入至部署有基于多源信息融合的疲劳检测算法的服务器中(例如，如图1中所示意的云服务器S)，其中，所述服务器能够以基于多源信息融合的疲劳检测算法对所述多个时间点的待监测驾驶者的脑电信号图和所述车辆运动信息进行处理，以生成用于表示待监测驾驶者是否在疲劳驾驶的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的基于多源信息融合的疲劳检测系统的框图。如图2所示，根据本申请实施例的基于多源信息融合的疲劳检测系统200，包括：监测数据获取单元210，用于获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角；第一脑电信号编码单元220，用于将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量；第二脑电信号编码单元230，用于将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图；第一运动信息编码单元240，用于将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量；第二运动信息编码单元250，用于将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图；特征图增强单元260，用于对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中；融合单元270，用于融合所述修正特征图和所述运动特征图以获得分类特征图；以及，检测结果生成单元280，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
具体地，在本申请实施例中，所述监测数据获取单元210和所述第一脑电信号编码单元220，用于获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角，并将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量。如前所述，应可以理解，在现有技术中，存在多种疲劳检测方案，例如，基于驾驶员生理信号、基于面部特征、基于汽车运动信息等，但每种疲劳检测防范都有其自身的缺陷，例如，侵入性测试、误检测和漏检测等。因此，在本申请的技术方案中，期望通过驾驶者的脑电信号图和车辆的运动信息综合对所述待监测驾驶者是否存在疲劳驾驶进行准确地判断，以确保行驶的安全性。
也就是，具体地，在本申请的技术方案中，首先通过驾驶者佩戴的多传感器电子设备中获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角。然后，将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络中进行处理，以提取出所述脑电信号图中的局部特征在高维空间中的特征分布表示，从而获得与所述各个时间点的脑电信号图对应的信号特征向量。相应地，在一个具体示例中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述信号特征向量，其中，所述第一卷积神经网络的输入为所述各个时间点的脑电信号图。
具体地，在本申请实施例中，所述第二脑电信号编码单元230，用于将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图。也就是，在本申请的技术方案中，为了提取出所述各个时间点的脑电信号图的局部特征信息间的隐含关联特征，还需要将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络中进行处理，以提取到更多图像深层次的抽象关联特征，从而获得信号特征图。在一个具体示例中，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述信号特征图，其中，所述第一卷积神经网络的输入为所述信号特征矩阵。
具体地，在本申请实施例中，所述第一运动信息编码单元240和所述第二运动信息编码单元250，用于将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量，再将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图。也就是，在本申请的技术方案中，对于所述各个时间点的所述车辆运动信息，首先将其输入包含嵌入层的基于上下文的编码器模型进行编码处理，以提取出所述数据间的全局性高维关联信息，从而获得多个特征向量。这样，将得到的所述多个特征向量进行级联就能够获得与各个时间点的所述车辆运动信息对应的运动特征向量。然后，将各个时间点的所述车辆运动信息对应的运动特征向量二维排列，以整合各个时间点的所述车辆运动信息为运动特征矩阵后通过第三卷积神经网络中进行高维关联特征提取，从而获得运动特征图。
更具体地，在本申请实施例中，所述第一运动信息编码单元，进一步用于：使用所述编码器模型的嵌入层分别将所述车辆运行信息中的各项数据分别转化为嵌入向量以获得嵌入向量的序列；以及，使用所述编码器模型的转换器对所述嵌入向量的序列进行基于上下文的全局编码以生成所述多个特征向量。应可以理解，由于基于转换器的编码器模型能够基于上下文对所述嵌入向量进行编码处理，因此所获得的特征向量具有全局性的运动关联信息。
具体地，在本申请实施例中，所述特征图增强单元260，用于对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中。应可以理解，由于基于所述脑电信号图中的信息具有一定的周期性和混沌性，因此，在本申请的技术方案中，首先以周期混沌映射来进行处理，以改进所述信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力。这里，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中。
更具体地，在本申请实施例中，所述特征图增强单元，进一步用于：对所述信号特征图以如下公式进行周期混沌映射处理以获得所述修正特征图；
其中，所述公式为：
Figure BDA0003524985920000101
其中f为所述信号特征图中的各个位置的特征值映射到概率空间后获得的概率率特征值，a和b为超参数，初始值例如可以设置为a＝0.5，b＝0.2。
具体地，在本申请实施例中，所述融合单元270和所述检测结果生成单元280，用于融合所述修正特征图和所述运动特征图以获得分类特征图，并将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。也就是，在本申请的技术方案中，在得到所述修正特征图后，进一步将所述修正特征图和所述运动特征图进行融合，以融合所述修正后的脑电信号特征与所述运动特征，从而获得分类特征图。然后，将所述分类特征图通过分类器以获得用于表示待监测驾驶者是否在疲劳驾驶的分类结果。
更具体地，在本申请实施例中，所述检测结果生成单元，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
综上，基于本申请实施例的所述基于多源信息融合的疲劳检测系统200被阐明，其通过卷积神经网络对所述多个时间点中的每个时间点的脑电信号图进行深层的特征提取，并利用基于上下文的编码器模型对所述每个时间点的车辆运动信息进行全局性的运动关联信息提取，进一步再以周期混沌映射来进行处理，以改进所述信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力。这样，就可以准确地对驾驶者是否在疲劳驾驶进行检测，进而避免事故的发生。
如上所述，根据本申请实施例的基于多源信息融合的疲劳检测系统200可以实现在各种终端设备中，例如基于多源信息融合的疲劳检测算法的服务器等。在一个示例中，根据本申请实施例的基于多源信息融合的疲劳检测系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于多源信息融合的疲劳检测系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于多源信息融合的疲劳检测系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于多源信息融合的疲劳检测系统200与该终端设备也可以是分立的设备，并且该基于多源信息融合的疲劳检测系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图3图示了基于多源信息融合的疲劳检测系统的操作方法的流程图。如图3所示，根据本申请实施例的基于多源信息融合的疲劳检测系统的操作方法，包括步骤：S110，获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角；S120，将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量；S130，将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图；S140，将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量；S150，将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图；S160，对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中；S170，融合所述修正特征图和所述运动特征图以获得分类特征图；以及，S180，将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
图4图示了根据本申请实施例的基于多源信息融合的疲劳检测系统的操作方法的架构示意图。如图4所示，在所述基于多源信息融合的疲劳检测系统的操作方法的网络架构中，首先，将获得的所述多个时间点中的各个时间点的脑电信号图(例如，如图4中所示意的P1)输入第一卷积神经网络(例如，如图4中所示意的CNN1)以获得与所述各个时间点的脑电信号图对应的信号特征向量(例如，如图4中所示意的VF1)；接着，将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵(例如，如图4中所示意的MF1)后通过第二卷积神经网络(例如，如图4中所示意的CNN2)以获得信号特征图(例如，如图4中所示意的F)；然后，将各个时间点的所述车辆运动信息(例如，如图4中所示意的P2)输入包含嵌入层的基于上下文的编码器模型(例如，如图4中所示意的E)以获得多个特征向量(例如，如图4中所示意的VF2)，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量(例如，如图4中所示意的VF3)；接着，将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵(例如，如图4中所示意的MF2)后通过第三卷积神经网络(例如，如图4中所示意的CNN3)以获得运动特征图(例如，如图4中所示意的F1)；然后，对所述信号特征图进行周期混沌映射处理以获得修正特征图(例如，如图4中所示意的F2)；接着，融合所述修正特征图和所述运动特征图以获得分类特征图(例如，如图4中所示意的FC)；以及，最后，将所述分类特征图通过分类器(例如，如图4中所示意的分类器)以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
更具体地，在步骤S110和S120中，获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角，并将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量。应可以理解，在现有技术中，存在多种疲劳检测方案，例如，基于驾驶员生理信号、基于面部特征、基于汽车运动信息等，但每种疲劳检测防范都有其自身的缺陷，例如，侵入性测试、误检测和漏检测等。因此，在本申请的技术方案中，期望通过驾驶者的脑电信号图和车辆的运动信息综合对所述待监测驾驶者是否存在疲劳驾驶进行准确地判断，以确保行驶的安全性。
也就是，具体地，在本申请的技术方案中，首先通过驾驶者佩戴的多传感器电子设备中获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角。然后，将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络中进行处理，以提取出所述脑电信号图中的局部特征在高维空间中的特征分布表示，从而获得与所述各个时间点的脑电信号图对应的信号特征向量。相应地，在一个具体示例中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述信号特征向量，其中，所述第一卷积神经网络的输入为所述各个时间点的脑电信号图。
更具体地，在步骤S130中，将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图。也就是，在本申请的技术方案中，为了提取出所述各个时间点的脑电信号图的局部特征信息间的隐含关联特征，还需要将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络中进行处理，以提取到更多图像深层次的抽象关联特征，从而获得信号特征图。在一个具体示例中，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述信号特征图，其中，所述第一卷积神经网络的输入为所述信号特征矩阵。
更具体地，在步骤S140和步骤S150中，将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量，并将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图。也就是，在本申请的技术方案中，对于所述各个时间点的所述车辆运动信息，首先将其输入包含嵌入层的基于上下文的编码器模型进行编码处理，以提取出所述数据间的全局性高维关联信息，从而获得多个特征向量。这样，将得到的所述多个特征向量进行级联就能够获得与各个时间点的所述车辆运动信息对应的运动特征向量。然后，将各个时间点的所述车辆运动信息对应的运动特征向量二维排列，以整合各个时间点的所述车辆运动信息为运动特征矩阵后通过第三卷积神经网络中进行高维关联特征提取，从而获得运动特征图。
更具体地，在步骤S160中，对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中。应可以理解，由于基于所述脑电信号图中的信息具有一定的周期性和混沌性，因此，在本申请的技术方案中，首先以周期混沌映射来进行处理，以改进所述信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力。这里，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中。
具体地，在本申请实施例中，对所述信号特征图进行周期混沌映射处理以获得修正特征图的过程，包括：对所述信号特征图以如下公式进行周期混沌映射处理以获得所述修正特征图；
其中，所述公式为：
Figure BDA0003524985920000141
其中f为所述信号特征图中的各个位置的特征值映射到概率空间后获得的概率率特征值，a和b为超参数，初始值例如可以设置为a＝0.5，b＝0.2。
更具体地，在步骤S170和步骤S180中，融合所述修正特征图和所述运动特征图以获得分类特征图，并将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。也就是，在本申请的技术方案中，在得到所述修正特征图后，进一步将所述修正特征图和所述运动特征图进行融合，以融合所述修正后的脑电信号特征与所述运动特征，从而获得分类特征图。然后，将所述分类特征图通过分类器以获得用于表示待监测驾驶者是否在疲劳驾驶的分类结果。在一个具体示例中，使用所述分类器以如下公式对所述分类特征图进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
综上，基于本申请实施例的所述基于多源信息融合的疲劳检测系统的操作方法被阐明，其通过卷积神经网络对所述多个时间点中的每个时间点的脑电信号图进行深层的特征提取，并利用基于上下文的编码器模型对所述每个时间点的车辆运动信息进行全局性的运动关联信息提取，进一步再以周期混沌映射来进行处理，以改进所述信号特征图中的高维特征的随机分布，使得改进后的特征分布能够扩展特征集合的覆盖范围，增强特征值位置的多样性，并改进全局优化能力。这样，就可以准确地对驾驶者是否在疲劳驾驶进行检测，进而避免事故的发生。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于多源信息融合的疲劳检测系统，其特征在于，包括：
监测数据获取单元，用于获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角；
第一脑电信号编码单元，用于将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量；
第二脑电信号编码单元，用于将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图；
第一运动信息编码单元，用于将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量；
第二运动信息编码单元，用于将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图；
特征图增强单元，用于对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中；
融合单元，用于融合所述修正特征图和所述运动特征图以获得分类特征图；以及
检测结果生成单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
2.根据权利要求1所述的基于多源信息融合的疲劳检测系统，其中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述信号特征向量，其中，所述第一卷积神经网络的输入为所述各个时间点的脑电信号图。
3.根据权利要求2所述的基于多源信息融合的疲劳检测系统，其中，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述信号特征图，其中，所述第一卷积神经网络的输入为所述信号特征矩阵。
4.根据权利要求3所述的基于多源信息融合的疲劳检测系统，其中，所述第一运动信息编码单元，进一步用于使用所述编码器模型的嵌入层分别将所述车辆运行信息中的各项数据分别转化为嵌入向量以获得嵌入向量的序列；以及，使用所述编码器模型的转换器对所述嵌入向量的序列进行基于上下文的全局编码以生成所述多个特征向量。
5.根据权利要求4所述的基于多源信息融合的疲劳检测系统，其中，所述特征图增强单元，进一步用于对所述信号特征图以如下公式进行周期混沌映射处理以获得所述修正特征图；
其中，所述公式为：
Figure FDA0003524985910000021
其中f为所述信号特征图中的各个位置的特征值映射到概率空间后获得的概率率特征值，a和b为超参数。
6.根据权利要求5所述的基于多源信息融合的疲劳检测系统，其中，所述融合单元，进一步用于计算所述修正特征图和所述运动特征图之间的按位置加权和以获得所述分类特征图。
7.根据权利要求6所述的基于多源信息融合的疲劳检测系统，其中，所述检测结果生成单元，进一步用于使用所述分类器以如下公式对所述分类特征图进行处理以生成所述分类结果，其中，所述公式为：softmax{(Wn,Bn)：...：(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
8.一种基于多源信息融合的疲劳检测系统的操作方法，其特征在于，包括：
获取多个时间点的待监测驾驶者的脑电信号图和车辆运动信息，所述车辆运动信息包括车速、加速度和方向盘转角；
将所述多个时间点中的各个时间点的脑电信号图输入第一卷积神经网络以获得与所述各个时间点的脑电信号图对应的信号特征向量；
将所述各个时间点的脑电信号图对应的信号特征向量二维排列为信号特征矩阵后通过第二卷积神经网络以获得信号特征图；
将各个时间点的所述车辆运动信息输入包含嵌入层的基于上下文的编码器模型以获得多个特征向量，并将所述多个特征向量进行级联以获得与各个时间点的所述车辆运动信息对应的运动特征向量；
将各个时间点的所述车辆运动信息对应的运动特征向量二维排列为运动特征矩阵后通过第三卷积神经网络以获得运动特征图；
对所述信号特征图进行周期混沌映射处理以获得修正特征图，其中，所述周期混沌映射处理表示将所述信号特征图中各个位置的特征值整合到周期函数中；
融合所述修正特征图和所述运动特征图以获得分类特征图；以及
将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示待监测驾驶者是否在疲劳驾驶。
9.根据权利要求8所述的基于多源信息融合的疲劳检测系统的操作方法，其中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述信号特征向量，其中，所述第一卷积神经网络的输入为所述各个时间点的脑电信号图。
10.根据权利要求8所述的基于多源信息融合的疲劳检测系统的操作方法，其中，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述信号特征图，其中，所述第一卷积神经网络的输入为所述信号特征矩阵。
CN202210190431.3A 2022-02-28 2022-02-28 基于多源信息融合的疲劳检测系统及其操作方法 Withdrawn CN114564993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210190431.3A CN114564993A (zh) 2022-02-28 2022-02-28 基于多源信息融合的疲劳检测系统及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210190431.3A CN114564993A (zh) 2022-02-28 2022-02-28 基于多源信息融合的疲劳检测系统及其操作方法

Publications (1)

Publication Number Publication Date
CN114564993A true CN114564993A (zh) 2022-05-31

Family

ID=81714986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210190431.3A Withdrawn CN114564993A (zh) 2022-02-28 2022-02-28 基于多源信息融合的疲劳检测系统及其操作方法

Country Status (1)

Country Link
CN (1) CN114564993A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099684A (zh) * 2022-07-18 2022-09-23 江西中科冠物联网科技有限公司 企业安全生产管理系统及其管理方法
CN115294639A (zh) * 2022-07-11 2022-11-04 惠州市慧昊光电有限公司 色温可调灯带及其控制方法
CN115311609A (zh) * 2022-10-12 2022-11-08 山东劳兰电子科技有限公司 渣土车运输管理系统及其管理方法
CN115909291A (zh) * 2022-11-07 2023-04-04 江西航盛电子科技有限公司 基于车辆数据的驾驶员驾驶状态监测系统及其方法
CN117124910A (zh) * 2023-09-20 2023-11-28 漳州建源电力工程有限公司 智慧城市充电桩节点故障报警系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294639A (zh) * 2022-07-11 2022-11-04 惠州市慧昊光电有限公司 色温可调灯带及其控制方法
CN115294639B (zh) * 2022-07-11 2023-07-07 惠州市慧昊光电有限公司 色温可调灯带及其控制方法
CN115099684A (zh) * 2022-07-18 2022-09-23 江西中科冠物联网科技有限公司 企业安全生产管理系统及其管理方法
CN115311609A (zh) * 2022-10-12 2022-11-08 山东劳兰电子科技有限公司 渣土车运输管理系统及其管理方法
CN115909291A (zh) * 2022-11-07 2023-04-04 江西航盛电子科技有限公司 基于车辆数据的驾驶员驾驶状态监测系统及其方法
CN115909291B (zh) * 2022-11-07 2023-08-25 江西航盛电子科技有限公司 基于车辆数据的驾驶员驾驶状态监测系统及其方法
CN117124910A (zh) * 2023-09-20 2023-11-28 漳州建源电力工程有限公司 智慧城市充电桩节点故障报警系统及方法

Similar Documents

Publication Publication Date Title
CN114564993A (zh) 基于多源信息融合的疲劳检测系统及其操作方法
Tamanani et al. Estimation of driver vigilance status using real-time facial expression and deep learning
CN114782882B (zh) 基于多模态特征融合的视频目标行为异常检测方法和系统
Yang et al. Spatio-temporal domain awareness for multi-agent collaborative perception
WO2023226228A1 (zh) 用于电子级双氧水制备的智能化有毒有害气体报警系统
CN115235612B (zh) 伺服电机的故障智能诊断系统及其诊断方法
CN115013298B (zh) 污水泵的实时性能在线监测系统及其监测方法
KR20210040415A (ko) 물체 분류 방법 및 디바이스
CN111860427B (zh) 基于轻量级类八维卷积神经网络的驾驶分心识别方法
CN110991377B (zh) 一种基于单目视觉神经网络的汽车安全辅助系统前方目标识别方法
CN113095228B (zh) 图像中的目标检测方法、装置及计算机可读存储介质
CN110875797A (zh) 智能驾驶汽车的数据传输方法、装置及设备
CN114757301A (zh) 车载视觉感知方法和装置、可读存储介质、电子设备
CN115410069A (zh) 基于多重注意力机制的故障检测方法及其系统
CN115294639A (zh) 色温可调灯带及其控制方法
CN114648496A (zh) 智慧医疗系统
CN115146676A (zh) 电路故障检测方法及其系统
CN113807298B (zh) 行人过街意图预测方法、装置、电子设备及可读存储介质
Ma et al. Distracted Driving Behavior and Driver’s Emotion Detection Based on Improved YOLOv8 with Attention Mechanism
Wang et al. Rs2g: Data-driven scene-graph extraction and embedding for robust autonomous perception and scenario understanding
Mudassar et al. An unsupervised anomalous event detection framework with class aware source separation
CN116092216A (zh) 基于多传感器信息融合的车辆状态预警方法及其系统
CN115222798A (zh) 车辆加工状态监测系统及其方法
CN115788793A (zh) 全局监控预警方法及其系统
CN113298017B (zh) 一种针对视频行为检测的行为提议生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220531