CN115272645A - 多模态数据采集设备及训练中枢疲劳检测模型的方法 - Google Patents

Abstract

本发明涉及一种多模态数据采集设备，包括：灯组部件，其配置为产生用于刺激用户眼部反应的刺激信号；信息采集部件，其配置为采集在所述刺激信号作用下产生的测试信息；以及主控部件，其分别连接至所述灯组部件和所述信息采集部件，并配置为接收所述测试信息，并基于对所述测试信息的分析得到用于中枢疲劳检测的多模态数据。通过本发明的方案，可以高效及精准地采集到中枢疲劳检测相关的多模态数据。另外，本发明还提出了一种训练中枢疲劳检测模型的方法及相关产品，可以利用多模态数据采集设备所采集到的多模态数据有效训练中枢疲劳检测模型。

Description

多模态数据采集设备及训练中枢疲劳检测模型的方法

技术领域

本发明一般地涉及计算机视觉技术领域。更具体地，本发明涉及一种多模态数据采集设备、一种训练中枢疲劳检测模型的方法以及执行前述方法的设备和计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。

中枢疲劳检测对保障重要场景的作业安全至关重要。目前，用于疲劳检测的数据主要通过评价量表方式来获取。具体地，这种方式需要受试者针对量表的问题选择匹配的选项，其中不同的选项对应不同的分值，从而能够利用受试者所选的选项及对应的分值计算出受试者的中枢疲劳状态。然而，这种评价量表的方式主观程度高，使得所采集到选项等数据也无法客观反应受试者中枢系统的真实疲劳状态。对此，目前还未有有效的数据采集方案。

发明内容

为了至少解决上述背景技术部分所描述的技术问题，本发明提出了一种多模态数据采集设备。利用本发明的方案，可以高效及精准地采集到中枢疲劳检测相关的多模态数据。

另外，本发明还提出了一种训练中枢疲劳检测模型的方法，可以利用多模态数据采集设备所采集到的多模态数据有效训练中枢疲劳检测模型。

鉴于此，本发明在如下的多个方面提供解决方案。

本发明的第一方面提供了一种用于中枢疲劳检测的多模态数据采集设备，包括：灯组部件，其配置为产生用于刺激用户眼部反应的刺激信号；信息采集部件，其配置为采集在所述刺激信号作用下产生的测试信息；以及主控部件，其分别连接至所述灯组部件和所述信息采集部件，并配置为接收所述测试信息，以及基于对所述测试信息的分析得到用于中枢疲劳检测的多模态数据。

在一个实施例中，所述灯组部件包括多个产生不同刺激信号的测试灯，所述主控部件与每个所述测试灯连接，且还配置为调控每个所述测试灯以产生相应的刺激信号。

在一个实施例中，其中所述灯组部件包括第一测试灯，其配置为产生不同频率的闪烁信号，所述信息采集部件具体配置为采集所述第一测试灯从高频率闪烁信号降至低频率闪烁信号过程中的第一闪光融合临界频率，以及从低频率闪烁信号升至高频率闪烁信号过程中的第二闪光临界频率。

在一个实施例中，其中所述灯组部件包括第二测试灯，所述第二测试灯配置为产生视标信号，所述信息采集部件具体配置为采集用户眼部从所述第一测试灯移动至第二测试灯过程中的第一图像信息，所述主控部件具体配置为基于所述第一图像信息确定眼部的扫视速度。

在一个实施例中，其中所述主控部件具体配置为基于所述第一图像信息确定瞳孔与每个所述第二测试灯之间的夹角以及扫视时长，以及根据所述瞳孔与每个所述第二测试灯之间的夹角以及扫视时长计算眼部的扫视速度。

在一个实施例中，其中所述灯组部件包括第三测试灯，其配置为产生用于刺激瞳孔收缩的信号，所述信号采集部件具体配置为采集瞳孔在所述信号作用下的收缩过程的第二图像信息，所述主控部件具体配置为基于所述第二图像信息确定瞳孔收缩速度。

在一个实施例中，其中所述主控部件具体配置为基于所述第二图像信息确定瞳孔收缩前后的大小以及收缩时间，以及根据所述瞳孔收缩前后的大小以及收缩时间计算瞳孔收缩速度。

在一个实施例中，其中所述信息采集部件还包括图像采集器，其配置为采集用户面部的图像信息和用户眼部在所述刺激信号作用下产生的图像信息，所述主控部件还配置为基于对所述用户面部的图像信息和用户眼部在所述刺激信号作用下产生的图像信息的分析得到所述多模态数据。

在一个实施例中，其中所述灯组部件还包括用于对用户面部和/或眼部产生补光光源的补光灯，所述图像采集器在所述补光灯的补光光源辅助下进行图像采集。

本发明的第二方面提供了一种训练中枢疲劳检测模型的方法，包括：获取作为训练样本的多模态数据，其中所述多模态数据是由本法民的第一方面所述的多模态数据采集设备生成的；以及利用所述多模态数据对中枢疲劳检测模型进行训练，以基于中枢疲劳检测模型输出用户中枢疲劳的概率。

本发明的第三方面提供了一种设备，包括：处理器；以及存储器，其存储有训练中枢疲劳检测模型的计算机指令，当所述计算机指令由所述处理器运行时，使得所述设备执行根据本发明的第二方面所述的方法。

本发明的第四方面提供了一种计算机可读存储介质，包含训练中枢疲劳检测模型的计算机指令，当所述程序指令由处理器执行时，使得实现根据本发明的第二方面所述的方法。

利用本发明所提供的方案，可以通过多模态数据采集设备中各个部件之间的配合以智能化地获取多模态数据。可以看出，本发明的方案能够避免人为过多干预，从而实现对用于中枢疲劳检测的多模态数据的高效及精准地采集。

此外，本发明还提供了利用多模态数据采集设备所得到的多模态数据来训练中枢疲劳检测模型，以精准和客观的多模态数据作为模型输入来提升中枢疲劳检测模型的训练结果的精准度。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本发明一个实施例的多模态数据采集设备的结构框图；

图2是示出根据本发明另一个实施例的多模态数据采集设备的结构框图；

图3是示出根据本发明又一个实施例的多模态数据采集设备的结构框图；

图4是示出根据本发明实施例的多模态数据采集设备中部分部件的分布示意图；

图5是示出根据本发明实施例的多模态数据采集设备的应用场景示意图；

图6是示出根据本发明实施例的训练中枢疲劳检测模型的方法的流程示意图；

图7是示出根据本发明实施例的训练中枢疲劳检测模型的建模过程示意图；

图8是示出根据本发明实施例的中枢疲劳检测模型的网络结构框架图；以及

图9是示出根据本发明实施例的设备的结构框图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施方式的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

发明人在研究中发现，现阶段人工智能在中枢疲劳检测的应用还在起步阶段，特别是涉及中枢疲劳检测的相关数据的采集还缺乏有效手段。例如，目前多采用评价量表的方式来采集受试者针对评价量表中问题所填写的数据。这种方式不仅耗时耗力，且所采集到的数据主观程度高及精准度差，其无法客观反应受试者中枢系统的真实疲劳状态。对此，发明人发现可以构建智能化数据采集设备采集与中枢疲劳检测相关的多样化的多模态数据，降低人为干预，以实现对多模态数据客观及精准地采集。

下面结合附图来详细描述本发明的具体实施方式。

图1是示出根据本发明一个实施例的多模态数据采集设备100的结构框图。

如图1所示，多模态数据采集设备100可以包括灯组部件101、信息采集部件102和主控部件103。在一些实施例中，灯组部件101具体可以配置为产生用于刺激用户眼部反应的刺激信号。人的中枢系统是否处于疲劳状态，可以通过身体一些部位来反应。特别是，通过眼部来反应是否处于疲劳状态。因此，设备中可以集成产生刺激信号的灯组部件以刺激眼部对其产生反应，从而反应出真实的中枢系统状态。

信息采集部件102具体可以配置为采集在刺激信号作用下产生的测试信息。眼部针对不同的刺激信号可以产生不同的反应，通过信息采集部件有效记录在刺激信号作用下产生的测试信息，整个过程无需用户过多人为主观干预，从而确保采集到信息的客观性。

主控部件103可以连接至灯组部件101和信息采集部件102，并具体配置为接收前述的测试信息，以及基于对前述的测试信息的分析得到用于中枢疲劳检测的多模态数据。

可以看出，本发明的方案通过构建包含有灯组部件、信息采集部件和主控部件的多模态数据采集设备，以利用各个部件之间的配合以智能化地获取多模态数据，可以有效避免人为过多干预，从而实现对用于中枢疲劳检测的多模态数据的高效及精准地采集。

图2是示出根据本发明另一个实施例的多模态数据采集设备200的结构框图。可以理解的是，多模态数据采集设备200可以理解为是多模态数据采集设备100结构及功能进一步限定和/或补充。因此，前文结合图1的相关描述同样也适用于下文。

多模态数据采集设备200可以包括灯组部件、信息采集部件和主控部件。在一些实施例中，灯组部件可以包括多个产生不同刺激信号的测试灯，而主控部件具体还可以与每个测试灯连接，且还配置为调控每个测试灯以产生相应的刺激信号。如图2所示，多模态数据采集设备200具体可以包括第一测试灯201、第二测试灯202、第三测试灯203、补光灯204、信息采集部件205和主控部件206。

其中，第一测试灯201具体可以配置为产生不同频率的闪烁信号，而信息采集部件205具体配置为采集第一测试灯201从高频率闪烁信号降至低频率闪烁信号过程中的第一闪光融合临界频率，以及从低频率闪烁信号升至高频率闪烁信号过程中的第二闪光临界频率。在一些实施例中，第一测试灯201的颜色优选地可以采用红色，且第一测试灯201的闪烁频率可调，具体可由主控部件206根据中枢疲劳的测试需求来调整第一测试灯201的工作状态（包括闪烁频率等）。例如，主控部件206可以调控第一测试灯201的闪烁频率从高频率闪烁信号（例如40HZ）降至低频率闪烁信号，直至受试者感受不到第一测试灯的闪烁，并由信息采集部件205记录第一测试灯201当前的频率，并确定其为第一闪光融合临界频率。然后主控部件206再次控制第一测试灯201的闪烁频率从低频率闪烁信号（例如10HZ）升至高频率闪烁信号，直至受试者感受到第一测试灯的闪烁，并由信息采集部件205记录第一测试灯201当前的频率，并确定其为第二闪光融合临界频率。可以理解的是，受试者是否能感受到第一测试灯闪烁可由受试者反馈至主控部件，具体反馈方式可以根据多模态数据采集设备200的人机交互模式来调整，例如可以在设备200上设置触控按钮，以通过触控按钮来进行反馈，或者也可以结合语音识别技术或图像识别技术来进行信息反馈。此外，还需理解的是，这里对第一测试灯的性能（例如颜色和工作状态等）以及闪光融合临界频率的相关细节性描述仅是示例性说明，本发明的方案并不受此限制，例如第一和第二闪光融合临界频率的测试顺序可结合应用需求进行调整等。

第二测试灯202具体可以配置为产生视标信号。在使用过程中，第二测试灯202具体可以通过其灯光颜色来为眼部产生视标信号，其中灯光颜色具体可以根据眼部对光的敏感程度来设置，优选地，可以采用红色。另外，第二测试灯202具体可以设置1个或多个。在一些实施例中，第二测试灯202可以设置成两个，并与第一测试灯201配合进行眼部扫视速度的测试。具体地，初始状态下，眼部可以盯着第一测试灯201，然后依次点亮两个第二测试灯202。利用信息采集部件205采集用户眼部从第一测试灯201移动至第二测试灯202过程中的第一图像信息（可以包括从第一测试灯移动至一个第二测试灯的图像信息，以及从第一测试灯移动至另一第二测试灯的图像信息）。最后，利用主控部件206基于第一图像信息确定眼部的扫视速度。

主控部件通过多种方式对采集到的第一图像信息进行分析以得到眼部的扫视速度。例如，在一些实施例中，主控部件具体配置为基于第一图像信息确定瞳孔与每个所述测试灯之间的夹角以及扫视时长，以及根据瞳孔与每个第二测试灯之间的夹角以及扫视时长计算眼部的扫视速度。其中，具体可以利用瞳孔定位技术对第一图像信息进行分析得到图像上瞳孔的位置，并可以利用双目相机重建技术可以进一步确定瞳孔与两个第二测试灯之间的夹角，然后利用瞳孔与任一第二测试灯之间的夹角除以对应的扫视时间即可得到眼部扫视任一第二测试灯的扫视速度。

第三测试灯203具体配置为产生用于刺激瞳孔收缩的信号。在使用过程中，第三测试灯203具体可以通过其灯光颜色来产生上述刺激瞳孔收缩的信号，其中灯光颜色具体可以根据眼部对光的敏感程度来设置，优选地，可以采用绿色。另外，第三测试灯203具体可以设置1个或多个。在一些实施例中，第三测试灯203可以设置成两个，并与第一测试灯201配合进行瞳孔收缩速度的测试。

具体地，初始状态下，眼部可以目视第一测试灯201，然后同时点亮两个第三测试灯以刺激瞳孔收缩。信号采集部件205可以采集瞳孔在上述信号作用下的收缩过程的第二图像信息。主控部件206具体配置为基于前述的第二图像信息确定瞳孔收缩速度。在一些实施例中，主控部件具体配置为基于第二图像信息确定瞳孔收缩前后的大小以及收缩时间，以及根据瞳孔收缩前后的大小以及收缩时间计算瞳孔收缩速度。具体地，可以利用瞳孔定位技术对第二图像信息进行分析得到图像上瞳孔的位置，并可以利用双目相机重建技术可以进一步确定瞳孔收缩过程中瞳孔大小的变化，然后利用瞳孔大小变化前后的差值除以对应的瞳孔收缩时间即可得到瞳孔收缩速度。

需要说明的是，这里对图像分析过程中所涉及的具体技术（例如瞳孔定位技术、双目相机重建技术等）并未具体限定，在使用过程中可以采用目前通用的瞳孔定位技术、双目相机重建技术来具体实施上述瞳孔的定位和与测试灯之间的夹角定位。

进一步地，灯组部件还可以包括用于对用户面部和/或眼部产生补光光源的补光灯，图像采集器在所述补光灯的补光光源辅助下进行图像采集。其中图像采集器优选可以采用两个相机来构建双目系统，以通过补光光源辅助下的双目系统清晰及精准地捕捉眼部的图像。在一些实施例中，补光灯具体可以采用能够照亮用户面部、眼部等区域等红外补光灯。

进一步地，多模态数据除了来自上述的眼部的一些测试信息，还可以从面部图像中获取。在一些实施例中，图像采集器还可以配置为采集用户面部的图像信息，主控部件206还配置为基于对用户面部的图像信息（例如面部多器官的状态等）的分析得到多模态数据。

图3是示出根据本发明又一个实施例的多模态数据采集设备300的结构框图。可以理解的是，多模态数据采集设备300可以理解为是多模态数据采集设备100和200结构及功能进一步限定和/或补充。因此，前文结合图1和图2的相关描述同样也适用于下文。

如图3所示，多模态数据采集设备300包括用于产生刺激信号以配合多模态数据采集的灯组部件、用于采集眼部与面部数据的信息采集部件（包括相机11和相机21）以及作为主控部件的系统主控。

其中，灯组部件具体可以包括产生视标光源的测试灯和产生补光光源的补光灯。具体地，测试灯又包括红光的闪光融合测试灯（也即前述的第一测试灯）、红光的扫视灯13和扫视灯23（也即前述的第二测试灯）以及绿光的瞳孔对光反应测试灯14和瞳孔对光反应测试灯24。补光灯具体可以包括能够照亮面部和眼部等区域的红外补光灯12和红外补光灯22（详见图4）。

由相机11和相机21构成的信息采集部件不仅可以通过相机来采集眼部及面部的视频等图像信息，还可利用相机11和相机21构成双目系统以实现对瞳孔的大小和空间位置等进行精确的分析。

在实际应用中，系统主控可以包括闪光灯频率调整模块，以调整闪光融合测试灯的工作状态（例如以一定调整步长从高闪烁频率到低闪烁频率或者从低闪烁频率到高闪烁频率）。系统主控还包括用于调控补光灯亮度的补光灯亮度调整模块、利用相机11和相机21构建双目系统的双目重建模块、对采集到的图像进行分析等瞳孔分析模块、面部分析模块以及所采集到的信息进行综合分析以得到多模态数据的疲劳综合分析模块。可以理解的是，这里对系统主控内部的各个模块的划分仅是实例性说明，具体可以根据应用需求进行合并、删减或增加等。

在具体应用中，可以综合部件组装复杂程度以及用户舒适度等多个因素来具体调整多模态数据采集设备300中各部件的具体分布。图4和图5分别展示了设备内部部件的分布和用户眼部与设备内部的部件之间分布。如图4所示，多模态数据采集设备上可以设置安装部，闪光融合测试灯可以分布在该安装部的中间，在该闪光融合测试灯15的两侧由内及外依次分布瞳孔对光反应测试灯14和24、扫视灯13和23、红外补光灯12和22以及相机11和21。在一些实施例中，瞳孔对光反应测试灯14和24之间的相对距离a1、以及相机11和相机21之间的相对距离a2均可以结合实际需求进行调整，例如a1可以设置为100mm，a2可以设置为150mm。而对于图5中眼球与设备中相机及刺激信号灯组之间的相对距离a3，可以具体结合眼部的舒适程度进行调整，例如a3可以设置为250mm。

在利用上述多模态数据采集设备进行数据采集时，可以针对设备的使用场景需要，从受试者的年龄、性别分布等多个方面，尽可能全面的覆盖场景的使用人群。采集的样本越丰富，有利于提高后续中枢疲劳检测的整体精度。同时，针对同一个受试者，可以在不同时间和场景下，分多次进行数据采集。例如，分别采集受试者精神状态好和将神疲惫状态下的闪光融合数据、瞳孔扫视速度数据、瞳孔对光反应数据和面部的数据（称为1对数据）。另外整体样本量建议2000人以上，采集成对样本建议在20000份以上，也即每个受试者需要在精神状态好和精神疲惫状态下各采集数据10次。需要说明的是，这里对多模态数据采集设备的具体使用过程的相关细节性描述仅是示例性说明，本发明的方案并不对此进行限制。

可以理解的是，上述多模态数据采集设备具有很好的可实施性与扩展性，可以根据不同业务场景需求，适当的增加（如脑电、肌电、呼吸频率、心电信息等）或减少多模态数据的采集。

在利用多模态数据采集设备完成多模态数据的采集之后，可以利用多模态数据进行多模态数据采集设备的训练。图6是示出根据本发明实施例的训练中枢疲劳检测模型的一种可行的方法600。如图6所示，在步骤S601处，可以获取作为训练样本的多模态数据。其中，该多模态数据具体可以通过图1至图3中的任一多模态数据采集设备来生成。在一些实施例中，这些多模态数据具体可以包括闪光融合临界频率、眼部扫视速度、瞳孔收缩速度、面部图像等数据。然后在步骤S602处，利用前述的多模态数据对中枢疲劳检测模型进行训练，以基于中枢疲劳检测模型输出用户中枢疲劳的概率。

其中，中枢疲劳检测模型可以包括深度学习网络模型。该中枢疲劳检测模型（也即深度学习网络模型）可以采用如图7所示的建模过程进行模型的构建以及信息处理。具体地，如图7所示，中枢疲劳检测模型具体可以涉及多个卷积层以池化层以及全连接层。在中枢疲劳检测模型的架构中，经多个卷积层和池化层后可以连接着1个或1个以上的全连接层．其中全连接层中的每个神经元与其前一层的所有神经元进行全连接．全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。由此，多模态数据经过卷积、池化以及全连接处理后可以输出用户中枢疲劳的概率值，通过用户中枢疲劳的概率值可以确定用户是否处于中枢系统疲劳状态。其中，输出的概率值越高，指示用户中枢疲劳的可能性越大，疲劳的程度越高。

需要说明的是，这里对中枢疲劳检测模型的具体架构的描述仅是示例性说明，本发明的方案并不受此限制。也即，中枢疲劳检测模型可以根据实际应用需求进行调整。图8是示出根据本发明实施例的中枢疲劳检测模型的一种可行的网络结构。如图8所示，该中枢疲劳检测模型的网络架构具体可以涉及输入input、多层卷积层Conv、激活函数层Relu、极大池化层MaxPool、Reshape函数层、通用矩阵乘法Gemm层、激光函数Softmax层以及输出层，将闪光融合临界频率、眼部扫视速度、瞳孔收缩速度、面部图像等多模态数据作为样本，并将该样本以及这些样本对应的是否疲劳的装填标签输入至该网络模型以对模型进行有效训练，使得模型最终能够正确区分用户是否中枢疲劳。其中，该网络模型中各个层级中的变量W、B和C的具体取值仅是示例性说明。

图9是示出根据本发明实施例的设备900的结构图。如图9所示，设备900可以包括处理器901和存储器902。其中存储器902存储有训练中枢疲劳检测模型的计算机指令，当所述计算机指令由处理器901运行时，使得设备900执行根据前文结合图6所描述的方法。例如，在一些实施例中，设备900可以利用多模态数据采集设备所得到的多模态数据来训练中枢疲劳检测模型，以精准和客观的多模态数据作为模型输入来提升中枢疲劳检测模型的训练结果的精准度。

还应当理解，本发明示例的执行操作的主体（例如设备、模块或组件等）可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。基于此，本发明也公开了一种计算机可读存储介质，其上存储有训练中枢疲劳检测模型的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现在前结合附图所描述的方法和操作。

虽然本说明书已经示出和描述了本发明的多个实施方式，但对于本领域技术人员显而易见的是，这样的实施方式是仅以示例的方式提供的。本领域技术人员在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解在实践本发明的过程中，可以采用本文所描述的本发明实施方式的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (12)

1.一种多模态数据采集设备，其特征在于，包括：

灯组部件，其配置为产生用于刺激用户眼部反应的刺激信号；

信息采集部件，其配置为采集在所述刺激信号作用下产生的测试信息；以及

主控部件，其分别连接至所述灯组部件和所述信息采集部件，并配置为接收所述测试信息，以及基于对所述测试信息的分析得到用于中枢疲劳检测的多模态数据。

2.根据权利要求1所述的多模态数据采集设备，其特征在于，所述灯组部件包括多个产生不同刺激信号的测试灯，所述主控部件与每个所述测试灯连接，且还配置为调控每个所述测试灯以产生相应的刺激信号。

3.根据权利要求2所述的多模态数据采集设备，其特征在于，其中所述灯组部件包括第一测试灯，其配置为产生不同频率的闪烁信号，所述信息采集部件具体配置为采集所述第一测试灯从高频率闪烁信号降至低频率闪烁信号过程中的第一闪光融合临界频率，以及从低频率闪烁信号升至高频率闪烁信号过程中的第二闪光临界频率。

4.根据权利要求3所述的多模态数据采集设备，其特征在于，其中所述灯组部件包括第二测试灯，所述第二测试灯配置为产生视标信号，所述信息采集部件具体配置为采集用户眼部从所述第一测试灯移动至第二测试灯过程中的第一图像信息，所述主控部件具体配置为基于所述第一图像信息确定眼部的扫视速度。

5.根据权利要求4所述的多模态数据采集设备，其特征在于，其中所述主控部件具体配置为基于所述第一图像信息确定瞳孔与每个所述第二测试灯之间的夹角以及扫视时长，以及根据所述瞳孔与每个所述第二测试灯之间的夹角以及扫视时长计算眼部的扫视速度。

6.根据权利要求2所述的多模态数据采集设备，其特征在于，其中所述灯组部件包括第三测试灯，其配置为产生用于刺激瞳孔收缩的信号，所述信号采集部件具体配置为采集瞳孔在所述信号作用下的收缩过程的第二图像信息，所述主控部件具体配置为基于所述第二图像信息确定瞳孔收缩速度。

7.根据权利要求6所述的多模态数据采集设备，其特征在于，其中所述主控部件具体配置为基于所述第二图像信息确定瞳孔收缩前后的大小以及收缩时间，以及根据所述瞳孔收缩前后的大小以及收缩时间计算瞳孔收缩速度。

8.根据权利要求1至7中任一项所述的多模态数据采集设备，其特征在于，其中所述信息采集部件还包括图像采集器，其配置为采集用户面部的图像信息和用户眼部在所述刺激信号作用下产生的图像信息，所述主控部件还配置为基于对所述用户面部的图像信息和用户眼部在所述刺激信号作用下产生的图像信息的分析得到所述多模态数据。

9.根据权利要求8所述的多模态数据采集设备，其特征在于，其中所述灯组部件还包括用于对用户面部和/或眼部产生补光光源的补光灯，所述图像采集器在所述补光灯的补光光源辅助下进行图像采集。

10.一种训练中枢疲劳检测模型的方法，其特征在于，包括：

获取作为训练样本的多模态数据，其中所述多模态数据是由权利要求1至9中任一项所述的多模态数据采集设备生成的；以及

利用所述多模态数据对中枢疲劳检测模型进行训练，以基于中枢疲劳检测模型输出用户中枢疲劳的概率。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其存储有训练中枢疲劳检测模型的计算机指令，当所述计算机指令由所述处理器运行时，使得所述电子设备执行根据权利要求10的所述的方法。

12.一种计算机可读存储介质，其特征在于，包含训练中枢疲劳检测模型的计算机指令，当所述计算机指令由处理器执行时，使得实现根据权利要求10所述的方法。

Images