CN117508196A - 疲劳驾驶提醒方法、装置、系统、车辆及可读存储介质 - Google Patents

Abstract

本申请公开了一种疲劳驾驶提醒方法、装置、系统、车辆及可读存储介质，涉及车辆技术领域，以准确的确定驾驶员是否存在疲劳驾驶，提高车辆行驶的安全性。该方法包括：获取车辆的驾驶员的脑电信号；将脑电信号进行时频转换，得到时频谱图；将时频谱图输入到疲劳检测模型，得到驾驶员的疲劳等级；疲劳等级与驾驶员的疲劳程度正相关；向自动驾驶系统发送疲劳等级，以使得自动驾驶系统在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

Description

疲劳驾驶提醒方法、装置、系统、车辆及可读存储介质

技术领域

本发明涉及车辆技术领域，具体涉及一种疲劳驾驶提醒方法、装置、系统、车辆及可读存储介质。

背景技术

随着车辆数量的增多，车辆驾驶的安全性是逐渐成为人们关注的焦点。驾驶行为安全则是最后的保障，需要驾驶员保持注意力集中，做好接管车辆的准备。但由于自动驾驶过程中不太需要驾驶员的参与，这会导致驾驶员极易分散注意力，导致驾驶员疲劳驾驶，因此需要对驾驶员的注意力进行实时监测。

因此，如何准确的确定驾驶员是否存在疲劳驾驶，提高车辆行驶的安全性是亟待解决的技术问题。

发明内容

本发明的目的在于提供一种疲劳驾驶提醒方法、装置、系统、车辆及可读存储介质，以准确的确定驾驶员是否存在疲劳驾驶，提高车辆行驶的安全性。

第一方面，提供一种疲劳驾驶提醒方法，应用于疲劳驾驶提醒系统，该方法包括：涉及车辆技术领域，以准确的确定驾驶员是否存在疲劳驾驶，提高车辆行驶的安全性。该方法包括：获取车辆的驾驶员的脑电信号；将脑电信号进行时频转换，得到时频谱图；将时频谱图输入到疲劳检测模型，得到驾驶员的疲劳等级；疲劳等级与驾驶员的疲劳程度正相关；向自动驾驶系统发送疲劳等级，以使得自动驾驶系统在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

基于本申请提供的技术方案，可以在获取驾驶员的脑电信号之后，将脑电信号进行时频转换，得到时频谱图。由于时频谱图为三维信息，而脑电信号为一维信号，这样，可以更为明显的反映驾驶员脑电的变化状态。进一步，利用将时频谱图输入到疲劳驾驶提醒，得到驾驶员的疲劳等级；由于上述分析本申请时频谱图可以更为明显的反映驾驶员脑电的变化状态，这样，可以更为准确的确定驾驶员是否存在疲劳驾驶。另外，在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息，可以及时使驾驶员脱离疲劳状态，提高车辆行驶的安全性。

进一步，获取驾驶员的脑电信号，包括：将疲劳驾驶提醒系统与自动驾驶系统进行时间同步，并基于时间同步后的疲劳驾驶提醒系统获取驾驶员的脑电信号。

进一步，自动驾驶系统的时钟为第一从时钟，且与预设系统的主时钟同步，将疲劳驾驶提醒系统与自动驾驶系统的进行时间同步，包括：获取第二从时钟与主时钟之间的时间偏差；第二从时钟为疲劳驾驶提醒系统的时钟；基于时间偏差，对第二从时钟进行调整；调整后的第二从时钟与主时钟同步。

进一步，获取第二从时钟与主时钟之间的时间偏差，包括：在接收到来自主时钟的请求响应报文的情况下，向主时钟发送响应报文；响应报文包括第一时刻以及第二时刻；第一时刻为疲劳驾驶提醒系统接收请求响应报文的时刻，第二时刻为疲劳驾驶提醒系统发送请求响应报文的时刻；接收来自主时钟的时间偏差；时间偏差为主时钟根据第一时刻、第二时刻、第三时刻以及第四时刻确定的；第三时刻为主时钟发送响应报文的时刻，第四时刻为主时钟接收响应报文的时刻。

进一步，时间偏差满足时间偏差公式，时间偏差公式为：Pdelay_mean＝(T4-T3-r*(T2-T1))/2；其中，Pdelay_mean表示时间偏差，T4表示第四时刻，T3表示第三时刻，T2表示第二时刻，T1表示第一时刻，r表示主时钟的时钟端口的频率与第二从时钟的时钟端口的频率之间的比值。

进一步，将脑电信号进行时频转换，得到时频谱图，包括：利用离散小波变换对脑电信号进行时频转换，得到时频谱图。

进一步，疲劳检测模型为利用多组样本数据对残差学习网络ResNet模型进行训练得到的，多组样本数据包括多个样本时频谱图和对应的样本疲劳等级。

第二方面，提供了一种疲劳驾驶提醒装置，应用于车辆中的疲劳驾驶提醒系统，车辆还设置有自动驾驶系统，装置包括：获取单元、处理单元、发送单元；获取单元，用于获取车辆的驾驶员的脑电信号；处理单元，用于将脑电信号进行时频转换，得到时频谱图；处理单元，还用于将时频谱图输入到疲劳检测模型，得到驾驶员的疲劳等级；疲劳等级与驾驶员的疲劳程度正相关；发送单元，用于向自动驾驶系统发送疲劳等级，以使得自动驾驶系统在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

进一步，获取单元，具体用于将疲劳驾驶提醒系统与自动驾驶系统进行时间同步，并基于时间同步后的疲劳驾驶提醒系统获取驾驶员的脑电信号。

进一步，自动驾驶系统的时钟为第一从时钟，且与预设系统的主时钟同步，获取单元，还用于获取第二从时钟与主时钟之间的时间偏差；第二从时钟为疲劳驾驶提醒系统的时钟；基于时间偏差，对第二从时钟进行调整；调整后的第二从时钟与主时钟同步。

进一步，获取单元，具体用于：在接收到来自主时钟的请求响应报文的情况下，向主时钟发送响应报文；响应报文包括第一时刻以及第二时刻；第一时刻为第二从时钟接收请求响应报文的时刻，第二时刻为第二从时钟发送请求响应报文的时刻；接收来自主时钟的时间偏差；时间偏差为主时钟根据第一时刻、第二时刻、第三时刻以及第四时刻确定的；第三时刻为主时钟发送响应报文的时刻，第四时刻为主时钟接收响应报文的时刻。

进一步，时间偏差满足时间偏差公式，时间偏差公式为：Pdelay_mean＝(T4-T3-r*(T2-T1))/2；其中，Pdelay_mean表示时间偏差，T4表示第四时刻，T3表示第三时刻，T2表示第二时刻，T1表示第一时刻，r表示主时钟的时钟端口的频率与第二从时钟的时钟端口的频率之间的比值。

进一步，处理单元，具体用于：利用离散小波变换对脑电信号进行时频转换，得到时频谱图。

进一步，疲劳检测模型为利用多组样本数据对残差学习网络ResNet模型进行训练得到的，多组样本数据包括多个样本时频谱图和对应的样本疲劳等级。

第三方面，提供了一种疲劳驾驶提醒装置，包括：处理器；用于存储处理器可执行指令的存储器；处理器被配置为执行指令，第一方面或第一方面的任一可能的设计中所执行的功能。

第四方面，提供了一种疲劳驾驶提醒系统，疲劳驾驶提醒系统包括疲劳驾驶提醒装置，疲劳驾驶提醒装置用于执行如第一方面或第一方面的任一可能的设计中的方法。

第五方面，疲劳驾驶提醒方法应用于一种车辆，该车辆包括如第六方面所提供的疲劳驾驶提醒系统。

第六方面，提供了一种电子设备，该电子设备可以实现上述各方面或者各可能的设计中疲劳驾驶提醒装置所执行的功能，功能可以通过硬件实现，如：一种可能的设计中，该电子设备可以包括：处理器和通信接口，处理器可以用于支持电子设备实现上述第一方面或者第一方面的任一种可能的设计中所涉及的功能。

第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质可以为可读的非易失性存储介质，该计算机可读存储介质存储有计算机指令或者程序，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的疲劳驾驶提醒方法。

第八方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的设计的疲劳驾驶提醒方法。

本发明的有益效果：

(1)可以在获取驾驶员的脑电信号之后，将脑电信号进行时频转换，得到时频谱图。由于时频谱图为三维信息，而脑电信号为一维信号，这样，可以更为明显的反映驾驶员脑电的变化状态。进一步，利用将时频谱图输入到疲劳检测模型，得到驾驶员的疲劳等级；由于上述分析本申请时频谱图可以更为明显的反映驾驶员脑电的变化状态，这样，可以更为准确的确定驾驶员是否存在疲劳驾驶。另外，在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息，可以及时使驾驶员脱离疲劳状态，提高车辆行驶的安全性。

(2)通过将疲劳驾驶提醒系统与自动驾驶系统的进行时间同步，并基于同步后的疲劳驾驶提醒系统获取驾驶员的脑电信号，这样，可以消除疲劳驾驶提醒系统与自动驾驶系统之间的时间偏差，保证脑电信号和的驾驶员的疲劳等级实时传输，提高了车辆行驶的安全性。

(3)通过对疲劳驾驶提醒系统的时钟进行调整，可以使调整后的疲劳驾驶提醒系统的时钟作为第二从时钟与主时钟同步，且由于自动驾驶系统作为第一从时钟与主时钟同步。这样，可以使疲劳驾驶提醒系统可以与自动驾驶系统进行时间同步，实现脑电信号的检测结果实时传输，缩小了在驾驶员在疲劳驾驶时至发出告警信息之间的时长，进一步提高了车辆行驶的安全性。

(4)可以通过请求响应报文和响应报文，确定疲劳驾驶提醒系统作为第二从时钟与主时钟之间的时间偏差，进而可以基于时间偏差对第二从时钟进行调整，实现疲劳驾驶提醒系统与自动驾驶系统之间的时间同步。

(5)可以确定疲劳驾驶提醒系统作为第二从时钟与主时钟之间的时间偏差，进而可以基于时间偏差公式和时间偏差对第二从时钟进行调整，实现疲劳驾驶提醒系统与自动驾驶系统之间的时钟同步。

(6)通过离散小波变换，可以将一维脑电信号扩展为三维的时频谱图，这样，可以更为明显的反映驾驶员脑电的变化状态，进而更为准确的确定驾驶员是否存在疲劳驾驶。

(7)通过对ResNet模型进行训练得到的疲劳检测模型，可以能够实现对微小变化的观测特征量之间的区分，对时频谱图进行更好识别，进而更准确的确定驾驶员是否存在疲劳驾驶。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。

图1为本申请实施例提供的一种疲劳驾驶提醒系统的结构示意图；

图2为本申请实施例提供的一种疲劳驾驶提醒装置的结构示意图；

图3为本申请实施例提供的一种疲劳驾驶提醒方法的流程示意图；

图4为本申请实施例提供的一种时频谱图示意图；

图5为本申请实施例提供的一种卷积神经网络模型的结构示意图；

图6为本申请实施例提供的又一种疲劳驾驶提醒方法的流程示意图；

图7为本申请实施例提供的一种第二从时钟的调整流程示意图；

图8为本申请实施例提供的又一种第二从时钟的调整流程示意图；

图9为本申请实施例提供的一种ResNet模型训练过程的过程示意图；

图10为本申请实施例提供的一种ResNet模型对不同时频谱图的识别结果示意图；

图11为本申请实施例提供的一种ResNet模型对测试数据的识别结果示意图；

图12为本申请实施例提供的又一种疲劳驾驶提醒装置的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。

还应当理解的是，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

近年来，自动驾驶技术快速发展，已逐步成为汽车行业发展的焦点。与传统的汽车相比较，具备自动驾驶功能的汽车系统将会更加复杂，自动驾驶汽车所面临的安全挑战也极其严峻。目前，安全性依旧是最需要解决的难题之一，特别是在自动驾驶领域。

自动驾驶汽车安全至少有三个层面：功能安全、信息安全和驾驶行为安全。其中功能安全、信息安全由汽车固有的软硬件状态决定，而驾驶行为安全则是最后的保障，需要驾驶员保持注意力集中，做好接管车辆的准备。但由于自动驾驶过程中不太需要驾驶员的参与，这会导致驾驶员极易分散注意力，因此需要对驾驶员的注意力进行实时监测。

鉴于此，本申请实施例提供一种疲劳驾驶提醒方法，该方法包括：获取车辆的驾驶员的脑电信号；将脑电信号进行时频转换，得到时频谱图；将时频谱图输入到疲劳检测模型，得到驾驶员的疲劳等级；疲劳等级与驾驶员的疲劳程度正相关；向自动驾驶系统发送疲劳等级，以使得自动驾驶系统在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

需要说明的是，本申请实施例描述的疲劳驾驶提醒系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着疲劳驾驶提醒系统的演变和其他疲劳驾驶提醒系统的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请实施例提供的疲劳驾驶提醒系统可以应用于疲劳驾驶提醒装置。本申请的实施例对车辆所采用的具体技术、具体数量和具体设备形态不做限定。疲劳驾驶提醒装置设置于车辆内。车辆的类型可以为新能源汽车、混动汽车以及燃油汽车等，不予限制。

图1为本申请实施例提供的一种疲劳驾驶提醒系统10的组成示意图，如图1所示，疲劳驾驶提醒系统10可以包括脑电检测系统11和自动驾驶系统12。

其中，脑电检测系统11和自动驾驶系统12相互连接。例如，脑电检测系统11和自动驾驶系统12之间可以通过有线的方式进行连接；本发明实施例对此不作限定。

脑电检测系统11，用于采集驾驶员的脑电信号，并向自动驾驶系统12发送驾驶员的脑电信号。例如，脑电检测系统11可以包括可伸缩电极。本申请的实施例对脑电检测系统11所采用的具体技术、具体数量和具体设备形态不做限定。

实际应用中，可伸缩电极可以设置于驾驶员的座椅头枕处。

自动驾驶系统12用于接收来自脑电检测系统11的驾驶员的脑电信号，并根据驾驶员的脑电信号确定驾驶员是否为疲劳驾驶，以及，在驾驶员为疲劳驾驶的情况下，对驾驶员进行提醒。

需要说明的是，图1仅为示例性框架图，图1中包括的各个模块的名称不受限制，且除图1所示功能模块外，还可以包括其他模块，本申请实施例对此不进行限定。

具体实现时，图1中的各个设备可以采用图2所示的组成结构，或者包括图2所示的部件。图2为本申请实施例提供的一种疲劳驾驶提醒装置200的结构示意图。如图2所示，该疲劳驾驶提醒装置200包括处理器201，通信接口202以及通信线路203。

进一步的，该疲劳驾驶提醒装置200还可以包括存储器204。其中，处理器201，存储器204以及通信接口202之间可以通过通信线路203连接。

其中，处理器201是CPU、通用处理器、网络处理器(network processor，NP)、数字信号处理器(digital signal processing，DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device，PLD)或它们的任意组合。处理器201还可以是其它具有处理功能的装置，例如电路、器件或软件模块，不予限制。

通信接口202，用于与其他设备或其它通信网络进行通信。通信接口202可以是模块、电路、通信接口或者任何能够实现通信的装置。

通信线路203，用于在疲劳驾驶提醒装置200所包括的各部件之间传送信息。

存储器204，用于存储处理器201可执行的指令。其中，指令可以是计算机程序。

其中，存储器204可以是只读存储器(read-only memory，ROM)或可存储静态信息和/或指令的其他类型的静态存储设备，也可以是随机存取存储器(random accessmemory，RAM)或可存储信息和/或指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或其他磁存储设备等，不予限制。

需要指出的是，存储器204可以独立于处理器201存在，也可以和处理器201集成在一起。存储器204可以用于存储指令或者程序代码或者一些数据等。存储器204可以位于疲劳驾驶提醒装置200内，也可以位于疲劳驾驶提醒装置200外，不予限制。处理器201，用于执行存储器204中存储的指令，以实现本申请下述实施例提供的疲劳驾驶提醒方法。

在一种示例中，处理器201可以包括一个或多个CPU，例如，图2中的CPU0和CPU1。

作为一种可选的实现方式，疲劳驾驶提醒装置200包括多个处理器，例如，除图2中的处理器201之外，还可以包括处理器205。

需要指出的是，图2中示出的组成结构并不构成对该图1中的各个设备的限定，除图2所示部件之外，图1中的各个设备可以包括比图2更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。

此外，本申请的各实施例之间涉及的动作、术语等均可以相互参考，不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称，不予限制。

下面结合图1所示疲劳驾驶提醒系统，对本申请实施例提供的疲劳驾驶提醒方法进行描述。

本申请实施例以应用于疲劳驾驶提醒系统为例进行说明。疲劳驾驶提醒系统存储于疲劳驾驶提醒装置。疲劳驾驶提醒系统可以设置于车辆，如图3所示，该方法包括下述S301-S304：

S301、获取车辆的驾驶员的脑电信号。

作为一种可能的实现方式，疲劳驾驶提醒装置可以从与疲劳驾驶提醒系统连接的脑电信号采集设备处获取车辆的驾驶员的脑电信号。

需要说明的，脑电信号采集设备的类型可以根据需要设置。例如，可以为可伸缩电极。

一些实施例中，疲劳驾驶提醒系统可以设定滑动时间窗口，并基于滑动时间窗口获取驾驶员的脑电信号。滑动时间窗口的长度可以需要设置。例如，可以为1秒。

一些实施例中，疲劳驾驶提醒系统可以与自动驾驶系统进行时间同步，同步后可实时获取驾驶员的脑电信号。

在实际应用中，疲劳驾驶提醒系统可以在车辆启动的情况下，开始获取驾驶员的脑电信号。

或者，在车辆处于自动驾驶状态的情况下，开始获取驾驶员的脑电信号。

例如，在脑电信号采集设备为可伸缩电极的情况下，脑电信号采集设备可以设置在车辆座椅头部靠枕，并连接驾驶员的头皮。

S302、将脑电信号进行时频转换，得到时频谱图。

作为一种可能的实现方式，疲劳驾驶提醒系统可以利用离散小波变换对脑电信号进行处理，以使得脑电信号进行时频转换，得到时频谱图。

其中，离散小波变换可以用以下公式一表示：

其中，W(α,β)W为离散小波变换结果，α是尺度参数，控制小波函数长度的伸缩变化。β是平移量，控制小波函数平移的量级大小。ψ(t)是小波母函数。m为频率范围指数，n为时间步长变化指数。

一种示例中，时频谱图可以如图4所示。不同的时频谱图可以对应不同的疲劳等级。

一些实施例中，时频谱图中不同频率还可以对应不同的颜色。颜色的深浅变化表示幅值能量大小的变化。

可以理解的，通过离散小波变换，可以将一维脑电信号扩展为三维的时频谱图，这样，可以更为明显的反映驾驶员脑电的变化状态，进而更为准确的确定驾驶员是否存在疲劳驾驶。

S303、将时频谱图输入到疲劳检测模型，得到驾驶员的疲劳等级。

其中，疲劳检测模型可以为卷积神经网络，疲劳检测模型是根据多个样本时频谱图和样本疲劳等级训练生成的；疲劳等级用于指示驾驶员的疲劳程度，疲劳等级与驾驶员的疲劳程度正相关。

例如，疲劳等级包括一级疲劳(也可以称为不疲劳)、二级疲劳(也可以称为轻微疲劳)、三级疲劳(也可以称为比较疲劳)以及四级疲劳(也可以称为严重疲劳)，疲劳等级与驾驶员的疲劳程度正相关。

作为一种可能的实现方式，疲劳驾驶提醒系统可以将时频谱图输入到卷积神经网络模型，卷积神经网络模型对时频谱图进行分类处理之后输出驾驶员的疲劳等级。

一种示例中，卷积神经网络模型的结构示意图可以如图5所示，卷积神经网络模型可以包括多个卷积层。

S304、向自动驾驶系统发送疲劳等级，以使得自动驾驶系统在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

其中，疲劳等级阈值可以根据需要设置，例如，可以为1级。告警信息的类型可以为音频告警、也可以为音频告警与画面告警相结合的告警信息。

作为一种可能的实现方式，疲劳驾驶提醒系统可以利用TSN协议向自动驾驶系统发送疲劳等级，以使得自动驾驶系统在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

一种示例中，在告警信息的类型为音频告警与画面告警相结合的告警信息的情况下，自动驾驶系统可以控制车载播放器播放音频告警，并通过控制车载显示屏显示画面告警。

基于本申请提供的技术方案，可以在获取驾驶员的脑电信号之后，将脑电信号进行时频转换，得到时频谱图。由于时频谱图为三维信息，而脑电信号为一维信号，这样，可以更为明显的反映驾驶员脑电的变化状态。进一步，利用将时频谱图输入到疲劳驾驶提醒，得到驾驶员的疲劳等级；由于上述分析本申请时频谱图可以更为明显的反映驾驶员脑电的变化状态，这样，可以更为准确的确定驾驶员是否存在疲劳驾驶。另外，在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息，可以及时使驾驶员脱离疲劳状态，提高车辆行驶的安全性。

在一些实施例中，如图6所示，自动驾驶系统的时钟为第一从时钟，且与预设系统的主时钟同步，为了保证确定驾驶员的疲劳等级的实时性，本申请的疲劳驾驶提醒方法还可以包括下述S401-S402。

其中，预设系统的主时钟可以为TSN协议对应的主时钟。

S401、获取第二从时钟与主时钟之间的时间偏差。

其中，第二从时钟为疲劳驾驶提醒系统的时钟。TSN中用于实现精确时间同步的协议为IEEE 802.1AS协议，也可以称为广义时钟同步(generalized precision timeprotocol，gPTP)协议。

作为一种可能的实现方式，疲劳驾驶提醒系统可以从TSN获取第二从时钟与主时钟之间的时间偏差。

例如，疲劳驾驶提醒系统在接收到来自主时钟的同步报文的情况下，可以向主时钟发送同步响应报文，以使得主时钟根据第一时刻(T1)、第二时刻(T2)、第三时刻(T3)以及第四时刻(T4)确定第二从时钟与主时钟之间的时间偏差，并向疲劳驾驶提醒装置发送该时间偏差。

需要说明的，第一时刻为第二从时钟接收同步报文的时刻，第二时刻为第二从时钟发送同步响应报文的时刻；第三时刻为主时钟发送同步报文的时刻，第四时刻为主时钟接收同步响应报文的时刻。

一种示例中，时间偏差(也可以称为对等延时)可以用以下公式二表示：

Pdelay_mean＝(T4-T3-(T2-T1))/2公式二

其中，Pdelay_mean为时间偏差。

一些实施例中，在第二从时钟的端口频率与主时钟的端口频率不同的情况下，时间偏差可以用以下公式三表示：

Pdelay_mean＝(T4-T3-r*(T2-T1))/2公式三

其中，r为第二从时钟的端口频率与主时钟的端口频率的比值。

S402、基于时间偏差，对第二从时钟进行调整。

其中，调整后的第二从时钟与主从时钟同步。

作为一种可能的实现方式，疲劳驾驶提醒系统可以将第二从时钟与时间偏差相加，得到目标时钟，并将第二时钟更新为目标时钟，以完成对第二从时钟的调整。

下面结合图7和图8中的S1-S5，对第二从时钟调整过程进行说明。

S1、主时钟向第二从时钟发送请求响应报文。相应的，第二从时钟接收请求响应报文。

其中，请求响应报文可以为Pdelay_Req报文。

需要说明的，主时钟向第二从时钟发送请求响应报文之后，还可以记录向第二从时钟发送请求响应报文的第三时刻。第二从时钟可以记录接收请求响应报文的第一时刻。

S2、第二从时钟向主时钟发送响应报文。相应的，主时钟接收响应报文。

其中，响应报文可以为Pdelay_Resp报文。

需要说明的，第二从时钟向主时钟发送响应报文之后，还可以记录向主时钟发送响应报文的第二时刻。主时钟在接收响应报文之后，还可以记录接收响应报文的第四时刻。

S3、第二从时钟向主时钟发送延迟请求响应报文。相应的，主时钟接收延迟请求响应报文。

其中，延迟请求响应报文可以为Pdelay_Resp_FollowUp报文。延迟请求响应报文可以包括第二时刻与第一时刻的差值。

S4、主时钟向第二从时钟发送同步报文。相应的，第二从时钟接收同步报文。

其中，同步报文可以为Sync报文。主时钟向第二从时钟发送同步报文的时刻可以为tsA。第二从时钟接收同步报文的时刻可以为tsB。

S5、TSN向第二从时钟发送跟随报文。相应的，第二从时钟接收跟随报文。

其中，跟随报文可以为FollowUp报文。例如，跟随报文可以包括preciseOrigintimestamp_A、rateRatio_A以及correctionField_A字段。时间偏差存储于correctionField_A字段中。

进一步的，基于时间偏差，对第二从时钟进行调整。

其中，该步骤的具体步骤可以参考上述S402的说明，不予赘述。

可以理解的，通过对疲劳驾驶提醒系统的时钟进行调整，可以使调整后的疲劳驾驶提醒系统的时钟作为第二从时钟与主时钟同步，且由于自动驾驶系统作为第一从时钟与主时钟同步。这样，可以使疲劳驾驶提醒系统可以与自动驾驶系统进行时间同步，实现脑电信号的检测结果实时传输，缩小了在驾驶员在疲劳驾驶时至发出告警信息之间的时长，进一步提高了车辆行驶的安全性。

在一些实施例中，疲劳检测模型为利用多组样本数据对残差学习网络ResNet模型进行训练得到的。

其中，多组样本数据包括多个样本时频谱图和对应的样本疲劳等级。例如，可以按照预设比例将多组样本数据划分为训练集和测试集；并将作为训练集的样本数据输入ResNet模型中进行训练，调节ResNet模型中网络参数，至输出的结果为与对应的样本疲劳等级相同为止，训练完成后将作为测试集的样本数据输入ResNet模型，验证ResNet模型的准确性，并在准确性大于准确性阈值的情况下，将该训练后的ResNet模型确定为疲劳检测模型。

其中，准确性阈值以及ResNet模型的深度可以根据需要设置。例如，准确性阈值可以为80％等。ResNet模型的深度可以为50等。

一种示例中，ResNet模型训练的过程可以如图9所示，模型的准确率随着损失函数的下降逐渐提升。

一种示例中，训练后的ResNet模型对不同时频谱图的识别结果可以如图10所示，能够实现对微小变化的观测特征量之间的区分。然后对测试集的数据分类结果可以如图11所示。结果表明可以对不同的时频谱图进行状态分类。

可以理解的，通过对ResNet模型进行训练得到的疲劳检测模型，可以能够实现对微小变化的观测特征量之间的区分，对时频谱图进行更好识别，进而更准确的确定驾驶员是否存在疲劳驾驶。

本申请实施例可以根据上述方法示例对疲劳驾驶提醒装置或者疲劳驾驶提醒装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图12示出了一种疲劳驾驶提醒装置700的结构示意图，该疲劳驾驶提醒装置700可以为疲劳驾驶提醒装置，也可以为应用于待检测车辆中的疲劳驾驶提醒装置中的芯片，该疲劳驾驶提醒装置700可以用于执行上述实施例中涉及的对疲劳驾驶提醒装置的功能。图12所示的疲劳驾驶提醒装置700可以包括：获取单元701、处理单元702、发送单元703；获取单元701、处理单元702、发送单元703；获取单元701，用于获取车辆的驾驶员的脑电信号；处理单元702，用于将脑电信号进行时频转换，得到时频谱图；处理单元702，还用于将时频谱图输入到疲劳检测模型，得到驾驶员的疲劳等级；疲劳等级与驾驶员的疲劳程度正相关；发送单元703，用于向自动驾驶系统发送疲劳等级，以使得自动驾驶系统在驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

进一步，获取单元701，具体用于将疲劳驾驶提醒系统与自动驾驶系统进行时间同步，并基于时间同步后的疲劳驾驶提醒系统获取驾驶员的脑电信号。

进一步，自动驾驶系统的时钟为第一从时钟，且与预设系统的主时钟同步；获取单元701，还用于获取第二从时钟与主时钟之间的时间偏差；第二从时钟为疲劳驾驶提醒系统的时钟；基于时间偏差，对第二从时钟进行调整；调整后的第二从时钟与主时钟同步。

进一步，获取单元701，具体用于：在接收到来自主时钟的请求响应报文的情况下，向主时钟发送响应报文；响应报文包括第一时刻以及第二时刻；第一时刻为第二从时钟接收请求响应报文的时刻，第二时刻为第二从时钟发送请求响应报文的时刻；接收来自主时钟的时间偏差；时间偏差为主时钟根据第一时刻、第二时刻、第三时刻以及第四时刻确定的；第三时刻为主时钟发送响应报文的时刻，第四时刻为主时钟接收响应报文的时刻。

进一步，时间偏差满足时间偏差公式，时间偏差公式为：Pdelay_mean＝(T4-T3-r*(T2-T1))/2；其中，Pdelay_mean表示时间偏差，T4表示第四时刻，T3表示第三时刻，T2表示第二时刻，T1表示第一时刻，r表示主时钟的时钟端口的频率与第二从时钟的端口的频率之间的比值。

进一步，处理单元702，具体用于：利用离散小波变换对脑电信号进行时频转换，得到时频谱图。

进一步，疲劳检测模型为利用多组样本数据对残差学习网络ResNet模型进行训练得到的，多组样本数据包括多个样本时频谱图和对应的样本疲劳等级。

本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成，该程序可存储于上述计算机可读存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的疲劳驾驶提醒装置或者控制器(包括数据发送端和/或数据接收端)的内部存储单元，例如疲劳驾驶提醒装置的硬盘或内存。上述计算机可读存储介质也可以是上述疲劳驾驶提醒装置的外部存储设备，例如上述疲劳驾驶提醒装置上配备的插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flashcard)等。进一步地，上述计算机可读存储介质还可以既包括上述疲劳驾驶提醒装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述疲劳驾驶提醒装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例疲劳驾驶提醒方法应用于一种车辆，该车辆包括上述方法实施例中涉及的疲劳驾驶提醒系统或者疲劳驾驶提醒装置。

此外，本申请的各实施例之间涉及的动作、术语等均可以相互参考，不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称，不予限制。

需要说明的是，本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种疲劳驾驶提醒方法，其特征在于，应用于车辆中的疲劳驾驶提醒系统，所述车辆还设置有自动驾驶系统，所述方法包括：

获取所述车辆的驾驶员的脑电信号；

将所述脑电信号进行时频转换，得到时频谱图；

将所述时频谱图输入到疲劳检测模型，得到所述驾驶员的疲劳等级；所述疲劳等级与所述驾驶员的疲劳程度正相关；

向所述自动驾驶系统发送所述疲劳等级，以使得所述自动驾驶系统在所述驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

2.根据权利要求1所述的疲劳驾驶提醒方法，其特征在于，所述获取所述车辆的驾驶员的脑电信号，包括：

将所述疲劳驾驶提醒系统与所述自动驾驶系统进行时间同步，并基于时间同步后的所述疲劳驾驶提醒系统获取所述驾驶员的脑电信号。

3.根据权利要求2所述的疲劳驾驶提醒方法，其特征在于，所述自动驾驶系统的时钟为第一从时钟，且与预设系统的主时钟同步，所述将所述疲劳驾驶提醒系统与所述自动驾驶系统进行时间同步，包括：

获取第二从时钟与所述主时钟之间的时间偏差；所述第二从时钟为所述疲劳驾驶提醒系统的时钟；

基于所述时间偏差，对所述第二从时钟进行调整；调整后的所述第二从时钟与所述主时钟同步。

4.根据权利要求3所述的疲劳驾驶提醒方法，其特征在于，所述获取所述第二从时钟与所述主时钟之间的时间偏差，包括：

在接收到来自所述主时钟的请求响应报文的情况下，向所述主时钟发送响应报文；所述响应报文包括第一时刻以及第二时刻；所述第一时刻为所述第二从时钟接收所述请求响应报文的时刻，所述第二时刻为所述第二从时钟发送所述请求响应报文的时刻；

接收来自所述主时钟的所述时间偏差；所述时间偏差为根据所述第一时刻、所述第二时刻、第三时刻以及第四时刻确定的；所述第三时刻为所述主时钟发送所述响应报文的时刻，所述第四时刻为所述主时钟接收所述响应报文的时刻。

5.根据权利要求4所述的疲劳驾驶提醒方法，其特征在于，所述时间偏差满足时间偏差公式，所述时间偏差公式为：

Pdelay_mean＝(T4-T3-r*(T2-T1))/2；

其中，所述Pdelay_mean表示所述时间偏差，T4表示所述第四时刻，T3表示所述第三时刻，T2表示所述第二时刻，T1表示所述第一时刻，r表示所述主时钟的时钟端口的频率与所述第二从时钟的时钟端口的频率之间的比值。

6.根据权利要求1所述的疲劳驾驶提醒方法，其特征在于，所述将所述脑电信号进行时频转换，得到时频谱图，包括：

利用离散小波变换对所述脑电信号进行时频转换，得到所述时频谱图。

7.根据权利要求1-6中任一项所述的疲劳驾驶提醒方法，其特征在于，所述疲劳检测模型为利用多组样本数据对残差学习网络ResNet模型进行训练得到的，所述多组样本数据包括多个样本时频谱图和对应的样本疲劳等级。

8.一种疲劳驾驶提醒装置，其特征在于，应用于车辆中的疲劳驾驶提醒系统，所述车辆还设置有自动驾驶系统，所述装置包括：获取单元、处理单元、发送单元；

所述获取单元，用于获取所述车辆的驾驶员的脑电信号；

所述处理单元，用于将所述脑电信号进行时频转换，得到时频谱图；

所述处理单元，还用于将所述时频谱图输入到疲劳检测模型，得到所述驾驶员的疲劳等级；所述疲劳等级与所述驾驶员的疲劳程度正相关；

所述发送单元，用于向所述自动驾驶系统发送所述疲劳等级，以使得所述自动驾驶系统在所述驾驶员的疲劳等级大于疲劳等级阈值的情况下输出告警信息。

9.一种疲劳驾驶提醒系统，其特征在于，所述疲劳驾驶提醒系统包括疲劳驾驶提醒装置，

所述疲劳驾驶提醒装置用于执行如权利要求1至7中任一项所述的方法。

10.一种车辆，其特征在于，包括如权利要求9所述的疲劳驾驶提醒系统。

11.一种电子设备，其特征在于，所述电子设备用于执行如权利要求1至7中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中存储的计算机执行指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1至7中任一项所述的方法。