CN102779229B - 一种基于脑功能状态的自适应自动化方法 - Google Patents

Abstract

本发明公开了一种基于脑功能状态的自适应自动化方法，确定脑电电极、近红外光谱光源和近红外光谱探头的排布；根据线性特征参数、非线性特征参数、血氧饱和度指数和模拟任务绩效指数建立人工神经网络模型，并用遗传算法对人工神经网络模型进行优化，获取认知功能状态检测模型；根据实时的认知功能状态指数、任务需求指数、认知功能状态指数警戒阈值和状态持续时间阈值确定是否调节人与自动化系统间的任务分配方式以及对操作者预警；如果是，调节人与自动化系统间的任务分配方式，对操作者进行预警，流程结束。本发明相比传统的自动化人机系统，自适应的对任务分配能够降低人因失误发生的概率，有效提高人机系统的作业效率和安全性。

Description

一种基于脑功能状态的自适应自动化方法

技术领域

本发明属于神经工程与人因工程的交叉领域，特别涉及一种基于脑功能状态的自适应自动化方法。

背景技术

随着硬件和软件技术水平的提高，现代自动化和半自动化系统的可靠性已经达到了空前的高度，但人的作用仍然不可替代，自动化系统的作业需要人的监督，且人扮演的角色越来越趋于高级决策。工效学研究显示，人的可靠性在人与自动化、半自动化系统组成的人机系统的整体可靠性中有着决定性的作用，往往一个很小的人因失误可能会造成灾难性的后果。

而大量研究表明，在自动化水平较高的人机系统中，人在工作过程中大脑认知功能难以长时间保持较高的水平，而认知功能的退化将会造成行为的退化，对工作过程中的工作绩效以及安全性都有很大的负面影响。因此，有效的对人的认知功能状态进行检测、预警和适时干预，对提高整个人机系统的工作绩效以及安全性有非常重要的作用。尤其在某些极端状态下，例如：载人航天环境下，由于长时间的幽闭、失重、辐射和高心理负荷等众多因素，会导致一系列生理心理变化，例如：脑中枢的形态学变化、神经元代谢降低、神经递质变化、空间失定向、错觉、记忆和注意障碍、疲劳、衰弱、抑郁、认知失调和执行任务能力下降等等。这些生理、心理和认知功能的退化将会对航天员的工作效率、生命财产安全以及心理生理健康造成巨大的潜在威胁，及时的对航天员的认知功能状态进行检测和预警并对任务进行合理的规划与分配就显得尤为重要。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

传统的自动化是在系统设计实现以后，所有的任务单元都是固定的序列，且人与自动化系统的协作关系也是固定的，无法根据人的功能状态动态的分配任务，系统的灵活性和安全性的提升受到限制。

发明内容

本发明提供了一种基于脑功能状态的自适应自动化方法，本方法实现了根据人的认知功能状态在人与自动化系统之间动态的分配任务，提高了自动化系统的灵活性、安全性和作业效率，详见下文描述：

一种基于脑功能状态的自适应自动化方法，所述方法包括以下步骤：

(1)确定脑电电极、近红外光谱光源和近红外光谱探头的排布；

(2)受试者在模拟环境中完成模拟任务，记录同步的脑电信号、近红外光谱信号以及模拟任务绩效指数；

(3)提取脑电信号的线性特征参数和非线性特征参数；提取近红外光谱信号中的血氧饱和度指数，并将血氧饱和度指数作为血氧饱和度特征参数；

(4)根据所述线性特征参数、所述非线性特征参数、所述血氧饱和度指数和模拟任务绩效指数建立人工神经网络模型，并用遗传算法对所述人工神经网络模型进行优化，获取认知功能状态检测模型；

(5)选取人机系统中的关键任务并在模拟系统中执行，同时记录关键任务绩效指数，通过所述认知功能状态检测模型获取实时的认知功能状态指数；用回归分析的方法建立所述实时的认知功能状态指数和所述关键任务绩效指数之间的关系，获取满足任务绩效指数阈值的认知功能状态指数，并作为任务需求指数；

(6)根据所述实时的认知功能状态指数、所述任务需求指数、认知功能状态指数警戒阈值A_th和状态持续时间阈值T_th确定是否对人与自动化系统间的动态任务分配方式进行调节以及对操作者进行预警；如果是，执行步骤(7)；如果否，执行步骤(8)；

(7)对人与自动化系统间的动态任务分配方式进行调节，对操作者进行预警，流程结束；

(8)流程结束。

所述提取脑电信号的线性特征参数和非线性特征参数；提取近红外光谱信号中的血氧饱和度指数，并将血氧饱和度指数作为血氧饱和度特征参数具体为：

1)将同步的脑电信号、近红外光谱信号以及辅助任务的绩效指数分割为第一预设时间的数据段，每相邻两段有第二预设时间的重叠；

2)对每段脑电信号进行小波变换，将小波系数作为线性特征参数；计算脑电信号的样本熵，将所述样本熵作为非线性特征参数；

3)对每段近红外光谱信号换算为血氧饱和度指数，并将所述血氧饱和度指数作为血氧饱和度特征参数。

所述根据所述实时的认知功能状态指数、所述任务需求指数、认知功能状态指数警戒阈值A_th和状态持续时间阈值T_th确定是否对人与自动化系统间的动态任务分配方式进行调节以及对操作者进行预警具体为：

1)判断实时的认知功能状态指数是否大于任务需求指数，如果是，执行步骤2)；如果否，执行步骤4)；

2)获取实时的认知功能状态指数大于任务需求指数的时间t，判断时间t是否大于状态持续时间阈值T_th，如果是，执行步骤3)；如果否，执行步骤5)；

3)不对动态任务分配方式进行调节；

4)判断时间t是否大于状态持续时间阈值T_th，如果是，执行步骤5)；如果否，执行步骤3)；

5)判断任务是否完全由自动化系统完成，如果是，执行步骤6)；如果否，执行步骤7)；

6)将任务交由自动化系统完成；

7)判断任务是否延迟执行，如果是，执行步骤8)；如果否，执行步骤9)；

8)选择需求指数更低的任务单元执行；

9)预警并执行任务。

所述确定脑电电极、近红外光谱光源和近红外光谱探头的排布具体为：

所述近红外光谱光源、所述近红外光谱探头和所述脑电电极间隔排布，所述脑电电极穿插在所述近红外光谱光源与所述近红外光谱探头之间，每个所述脑电电极的上下或左右分别有所述近红外光谱光源和所述近红外光谱探头，每个所述脑电电极位置都有近红外光通过。

本发明提供的技术方案的有益效果是：本发明结合脑电与功能性近红外光谱，获得大脑额叶电生理信号与血氧饱和度信息，相比单一的电生理信号或血氧饱和度能够得到更多更全面的大脑活动与状态信息，能够实现更准确的认知功能状态检测；本发明的应用能够有效降低这些极端天气变化带来的负面影响，为保证任务绩效、安全性、健康带来可靠的解决方法。因此，基于脑功能状态的自适应自动化技术的应用有望带来可观的经济效益和社会效益。

附图说明

图1为本发明提供的自适应自动化的系统结构示意图；

图2为本发明提供的脑电电极与近红外光源以及探头阵列的排布方式示意图；

图3为本发明提供的任务分配的示意图；

图4为本发明提供的一种基于脑功能状态的自适应自动化方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

关于认知的研究由来已久，但在早期，人们对于人的知觉、注意能力、记忆能力、空间定向、疲劳和情绪等认知功能状态的认识和评价主要是从心理学角度出发，采用的研究手段以主观自评和主观他评为主。这些主观测评方法的影响因素众多，且在特定作业环境下不易实现实时化，因此，其应用受到限制。随着自动化技术的广泛应用，对人的认知状态的研究越显重要，更多的研究手段不断涌现，大量的客观生理指标被用于认知能力的实时监测之中。这些方法包括心电图、眼电图、心率、眨眼规律、上下眼皮间距变化、瞳孔大小、体温变化、脑电图、脑血流动力学和脑血氧等。虽然方法众多，但由于脑是人体认知功能的最直接实现者，因此对于脑的研究被认为是最有效和最有研究价值的方法。

1998年，Parasuraman首先提出了神经工效学(Neuroergonomics)一词，并将其定义为工作中脑与行为的研究。他在随后的一些论文中指出，神经工效学是由神经科学、认知科学与工效学交叉形成，其目标是设计安全、高效、适用的系统，而这一目标的实现需要人与机器之间的协作。神经工效学将神经工程的方法引入自适应自动化，实现实时的认知功能状态的检测和任务规划，使得真正意义上的自适应自动化成为可能。神经工程在近年来发展迅速，各种神经成像的方法陆续出现并日趋成熟，尤其是一些小型化、便携、适用简便的神经活动信号采集设备的出现，为基于神经信号认知功能状态检测的自适应自动化实现在真实工作环境中的应用提供了基础。另外，因为自适应自动化的系统结构与脑-机接口(BCI)系统非常类似，区别仅在于BCI系统用于触发外界应用的神经信号是自主意识控制的(如想象运动诱发的事件相关同步/去同步信号)或受外部直观刺激产生的(如oddball范式诱发的P300信号)，而自适应自动化用于触发外界应用的信号是非自主控制的大脑活动状态的改变而产生的信号(如警觉度的变化、情绪波动、脑疲劳等状态下的大脑活动产生的生理信号)。因此，近年来BCI技术的快速发展和逐步走向应用，也为自适应自动化技术的研究与应用打下了坚实的基础。

为了实现根据人的认知功能状态在人与自动化系统之间动态的分配任务，提高自动化系统的灵活性、安全性和作业效率，参见图1、图2、图3和图4，本发明实施例提供了一种基于脑功能状态的自适应自动化方法，详见下文描述：

101：确定脑电电极E、近红外光谱光源S和近红外光谱探头D的排布；

其中，参见图2，近红外光谱光源S、近红外光谱探头D和脑电电极E间隔排布，脑电电极E穿插在近红外光谱光源S与近红外光谱探头D之间，每个脑电电极E的上下或左右分别有近红外光谱光源S和近红外光谱探头D，每个脑电电极E位置都有近红外光通过，这样形成一个脑电与近红外的传感器阵列。近红外光谱探头D与近红外光谱光源S间距为3cm，这样的排布方式形成了32个信号通道，保证了每个电极位置均有对应的近红外光通过，使得每个信号通道都有脑电和近红外光谱两种信号(第一信号通道由脑电电极E1、近红外光谱光源S1和近红外光谱探头D1组成，类似的，第二信号通道由脑电电极E2、近红外光谱光源S1和近红外光谱探头D2组成，其他各信号通道依此类推)，进而实现两种信号的有效融合。这样组成的传感器阵列在头部的安放位置如图2所示，该传感器整列安放于大脑额叶区。因为近红外光谱的有用信号频率集中在1Hz以下的低频，对采样频率要求不高，因此可以采用分时开启近红外光谱光源S的方法，避免多路光同时进入同一个近红外光谱探头D，在数据处理过程中再校准各通道的时差，从而实现较稀疏的近红外光谱光源S与近红外光谱探头D的分布同时保证较高的信号空间分辨率。

102：受试者在模拟环境中完成模拟任务，记录同步的脑电信号、近红外光谱信号以及模拟任务绩效指数；

其中，模拟任务通常为：持续注意任务、记忆任务、空间导航任务和情绪诱发任务等常见的认知任务。

在模拟环境中受试者完成模拟任务，在此过程中记录受试者大脑额叶的脑电、功能性近红外光谱信号以及受试者完成模拟任务过程中的绩效指数(反应时间和失误等模拟任务完成的综合评价指标)。

103：提取脑电信号的线性特征参数和非线性特征参数；提取近红外光谱信号中的血氧饱和度指数，并将血氧饱和度指数作为血氧饱和度特征参数；

其中，该步骤具体为：

1)将同步的脑电信号、近红外光谱信号以及辅助任务的绩效指数分割为第一预设时间的数据段，每相邻两段有第二预设时间的重叠；

其中，第一预设时间和第二预设时间根据实际应用中的需要进行设定，第一预设时间本实验以30秒钟时长为例进行说明，第二预设时间以10秒钟时长为例进行说明，具体实现时，本发明实施例对此不做限制。

2)对每段脑电信号进行小波变换，将小波系数作为线性特征参数；计算脑电信号的样本熵，将样本熵作为非线性特征参数；

3)对每段近红外光谱信号换算为血氧饱和度指数，并将血氧饱和度指数作为血氧饱和度特征参数。

其中，具体的换算方法可以采用修正的Lambert-Beer定律，换算过程为本领域人员所公知，本发明实施例在此不做赘述。

104：根据线性特征参数、非线性特征参数、血氧饱和度指数和模拟任务绩效指数建立人工神经网络模型，并用遗传算法对人工神经网络模型进行优化，获取认知功能状态检测模型；

其中，该步骤具体为：将线性特征参数、非线性特征参数和血氧饱和度指数作为人工神经网络的输入，将模拟任务绩效指数映射到0到10之间并作为网络输出，根据输入参数的维数确定输入层和隐含层的节点数，并初始化各节点参数，在训练的过程中用遗传算法优化特征参数和人工神经网络的参数，使得建立模型所用的参数在满足预设误差要求的前提下达到最低维数，从而得到认知功能状态检测模型。

其中，预设误差要求根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制。

其中，分别提取脑电信号与近红外光谱信号的特征，建立人工神经网络模型(即线性特征参数、非线性特征参数、血氧饱和度指数与模拟任务绩效指数之间的关系模型)。因为要求实验任务能够诱发受试者的认知功能状态发生明显的变化，单次实验时间较长为两小时。在这里不是直接建立认知功能状态与特征参数之间的模型，而是建立特征参数与任务绩效指数之间的关系模型，其原因是，到目前为止尚没有被广泛认可的客观实时检测认知功能状态的方法，而任务绩效的变化与认知功能的变化密切相关，并且任务绩效可以在实验中完成模拟任务的过程中方便的记录下来。再者，这一技术的目的是要提高任务完成的绩效与安全性，如果建立的模型是认知功能状态与生理信号的特征参数之间的关系，在实际应用还要进一步研究认知功能变化与任务绩效之间的关系。另外，在实际的任务执行过程中，因为要尽量防止任务绩效的降低，因而不能在实际任务执行过程中以任务绩效指数为依据。因此，从理论和实践两个层面都能够说明这种建立模型的方法的可行性和实用性。

105：选取人机系统中的关键任务并在模拟系统中执行，同时记录关键任务绩效指数，通过认知功能状态检测模型获取实时的认知功能状态指数；用回归分析的方法建立认知功能状态指数和关键任务绩效指数之间的关系，获取满足任务绩效指数阈值的认知功能状态指数，并作为任务对认知功能的需求指数；

其中，自适应自动化的目标是提高工作过程中的任务绩效和安全性，对于这里讨论的系统就是要控制任务绩效指数在一定水平之上，因此要根据需要确定任务绩效指数的期望阈值，并根据任务绩效阈值确定能够满足该任务绩效阈值的认知功能状态指数阈值，并将这一阈值定义为任务需求指数，简称任务需求指数。任务绩效指数阈值根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制。

其中，关键任务通常为：重要、需要人参与的较多和易出现人因失误等。

根据上述原理，可以得到一个人机系统中若干关键任务单元在一定期望任务绩效下对应的认知功能状态指数阈值，即任务需求指数。这些任务需求指数将作为自适应调节的一个重要依据。

106：根据实时的认知功能状态指数、任务需求指数、认知功能状态指数警戒阈值A_th和状态持续时间阈值T_th确定是否对人与自动化系统间的动态任务分配方式进行调节以及对操作者进行预警；如果是，执行步骤107；如果否，执行步骤108；

对于复杂人机系统，例如：舰艇、宇宙飞船、空中交通管理系统等，为保证系统的稳定性和可靠性，不能单纯依据任务需求指数和认知功能状态指数进行任务的动态规划与分配。因此要构建自适应决策机制，综合考虑任务需求指数、认知功能状态指数、任务属性、目标要求等众多因素。例如，在飞机降落过程中发现飞行员状态不佳，

而又有许多操作必须要飞行员完成，此时不能将需要完成的任务延迟，而只能将尽量多的任务交由自动化系统或地面控制台完成，并及时调节飞行员的状态。在这里给出一个简单的自适应决策机制(仅以此为例，在真实应用时根据具体的人机系统的特点设计决策过程中需要考虑的因素)，流程如图3所示。其中，A表示认知功能状态指数，B表示任务单元的任务需求指数，t表示状态持续时间，T_th表示状态持续时间阈值，A_th表示认知功能状态指数警戒阈值。在这里设定一个状态持续时间阈值，是因为人的认知功能状态的改变是一个循序渐进的过程，一个短暂的低谷并不能反应总体的变化趋势，而持续时间达到一定阈值的低谷则能够反应总体的变化趋势，因此设定持续时间阈值可以增加系统的稳定性。

其中，该步骤具体包括：

1)判断实时的认知功能状态指数是否大于任务需求指数，如果是，执行步骤2)；如果否，执行步骤4)；

2)获取实时的认知功能状态指数大于任务需求指数的时间t，判断时间t是否大于状态持续时间阈值T_th，如果是，执行步骤3)；如果否，执行步骤5)；

3)不对动态任务分配方式进行调节；

4)判断时间t是否大于状态持续时间阈值T_th，如果是，执行步骤5)；如果否，执行步骤3)；

5)判断任务是否完全由自动化系统完成，如果是，执行步骤6)；如果否，执行步骤7)；

6)将任务交由自动化系统完成；

7)判断任务是否延迟执行，如果是，执行步骤8)；如果否，执行步骤9)；

8)选择需求指数更低的任务单元执行；

9)预警并执行任务。

其中，该步骤还包括：当实时的认知功能状态指数小于认知功能状态指数警戒阈值时，预警。

107：对人与自动化系统间的动态任务分配方式进行调节，对操作者进行预警，流程结束；

108：流程结束。

在实际应用之前，要完成这些功能单元与人机系统的有效集成，那么自动化系统需要满足能够灵活动态的划分与组合任务单元、能够结合任务单元的属性在人与自动化系统之间灵活分配任务。如图1，满足任务可灵活规划的要求且集成了认知功能状态检测(包含生理信号的采集处理)、任务需求分析和任务规划与分配的自动化系统才能够实现在线任务规划和功能分配，才是自适应自动化系统。另外，设计完成的自适应自动化系统还必须有一个预设的在人的状态为最佳的假设前提之下的最佳任务序列和最佳任务分配方案，它们满足工效学的设计原则，在默认人的状态最佳的情况下，任务按照预设方案执行。

结合图1说明一个自适应自动化系统的工作过程。首先，在正式作业之前，选取自适应自动化系统中需要人完成的关键任务(重要、需要人参与的较多、易出现人因失误等)，并在虚拟环境完成任务，并运用认知功能状态检测与任务需求分析，得到任务需求指数，将这些任务需求指数存储到自适应自动化系统中。在正式作业的过程中，实时获取认知功能状态指数，并将认知功能状态指数传递给任务规划与分配机制，同时任务规划与分配机制调取下一任务需求指数以及任务属性信息，这些信息经过自适应决策机制实现对任务的规划、分配以及必要情况下的预警、调节。在作业过程中连续反复上述在线过程，就实现了自适应自动化，可以提高作业绩效和安全性。

综上所述，本发明实施例提供了一种基于脑功能状态的自适应自动化方法，本发明实施例结合脑电与功能性近红外光谱，获得大脑额叶电生理信号与血氧饱和度信息，相比单一的电生理信号或血氧饱和度能够得到更多更全面的大脑活动与状态信息，能够实现更准确的认知功能状态检测；本方法的应用能够有效降低这些极端天气变化带来的负面影响，为保证任务绩效、安全性、健康带来可靠的解决方法。因此，基于脑功能状态的自适应自动化技术的应用有望带来可观的经济效益和社会效益。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于脑功能状态的自适应自动化方法，其特征在于，所述方法包括以下步骤：

(1)确定脑电电极、近红外光谱光源和近红外光谱探头的排布；

(2)受试者在模拟环境中完成模拟任务，记录同步的脑电信号、近红外光谱信号以及模拟任务绩效指数；

(3)提取脑电信号的线性特征参数和非线性特征参数；提取近红外光谱信号中的血氧饱和度指数，并将血氧饱和度指数作为血氧饱和度特征参数；

(4)根据所述线性特征参数、所述非线性特征参数、所述血氧饱和度指数和模拟任务绩效指数建立人工神经网络模型，并用遗传算法对所述人工神经网络模型进行优化，获取认知功能状态检测模型；

(5)选取人机系统中的关键任务并在模拟系统中执行，同时记录关键任务绩效指数，通过所述认知功能状态检测模型获取实时的认知功能状态指数；用回归分析的方法建立所述实时的认知功能状态指数和所述关键任务绩效指数之间的关系，获取满足任务绩效指数阈值的认知功能状态指数，并作为任务需求指数；

(6)根据所述实时的认知功能状态指数、所述任务需求指数、认知功能状态指数警戒阈值A_th和状态持续时间阈值T_th确定是否对人与自动化系统间的动态任务分配方式进行调节以及对操作者进行预警；如果是，执行步骤(7)；如果否，执行步骤(8)；

(7)对人与自动化系统间的动态任务分配方式进行调节，对操作者进行预警，流程结束；

(8)流程结束；

其中，所述提取脑电信号的线性特征参数和非线性特征参数；提取近红外光谱信号中的血氧饱和度指数，并将血氧饱和度指数作为血氧饱和度特征参数具体为：

将同步的脑电信号、近红外光谱信号以及辅助任务的绩效指数分割为第一预设时间的数据段，每相邻两段有第二预设时间的重叠；对每段脑电信号进行小波变换，将小波系数作为线性特征参数；计算脑电信号的样本熵，将所述样本熵作为非线性特征参数；对每段近红外光谱信号换算为血氧饱和度指数，并将所述血氧饱和度指数作为血氧饱和度特征参数；

其中，所述根据所述实时的认知功能状态指数、所述任务需求指数、认知功能状态指数警戒阈值A_th和状态持续时间阈值T_th确定是否对人与自动化系统间的动态任务分配方式进行调节以及对操作者进行预警具体为：

1)判断实时的认知功能状态指数是否大于任务需求指数，如果是，执行步骤2)；如果否，执行步骤4)；

2)获取实时的认知功能状态指数大于任务需求指数的状态持续时间t，判断状态持续时间t是否大于状态持续时间阈值T_th，如果是，执行步骤3)；如果否，执行步骤5)；

3)不对动态任务分配方式进行调节；

4)判断状态持续时间t是否大于状态持续时间阈值T_th，如果是，执行步骤5)；如果否，执行步骤3)；

5)判断任务是否完全由自动化系统完成，如果是，执行步骤6)；如果否，执行步骤7)；

6)将任务交由自动化系统完成；

7)判断任务是否延迟执行，如果是，执行步骤8)；如果否，执行步骤9)；

8)选择需求指数更低的任务单元执行；

9)预警并执行任务；

其中，所述根据所述线性特征参数、所述非线性特征参数、所述血氧饱和度指数和模拟任务绩效指数建立人工神经网络模型，并用遗传算法对所述人工神经网络模型进行优化，获取认知功能状态检测模型具体为：

将线性特征参数、非线性特征参数和血氧饱和度指数作为人工神经网络的输入，将模拟任务绩效指数映射到0到10之间并作为网络输出，根据输入参数的维数确定输入层和隐含层的节点数，并初始化各节点参数，在训练的过程中用遗传算法优化特征参数和人工神经网络的参数，使得建立模型所用的参数在满足预设误差要求的前提下达到最低维数，从而得到认知功能状态检测模型。

2.根据权利要求1所述的一种基于脑功能状态的自适应自动化方法，其特征在于，所述确定脑电电极、近红外光谱光源和近红外光谱探头的排布具体为：

所述近红外光谱光源、所述近红外光谱探头和所述脑电电极间隔排布，所述脑电电极穿插在所述近红外光谱光源与所述近红外光谱探头之间，每个所述脑电电极的上下或左右分别有所述近红外光谱光源和所述近红外光谱探头，每个所述脑电电极位置都有近红外光通过。