CN112183177A - 用于监测操作者的意识状态的方法和系统及飞行器 - Google Patents

Abstract

本发明涉及用于监测操作者的意识状态的方法和系统及飞行器。‑系统(1)包括：至少一个图像获取模块(4)，用于获取操作者的图像；检测模块(5)，用于从所述图像中检测所述操作者的身体的运动；确定模块(6)，用于在预定时间窗口的至少一个时间比例期间确定所述操作者的身体的运动特征；发送模块(7)，用于将表示所述操作者的意识丧失状态的信号发送到用户装置(8)。如果所述运动特征满足预定条件，则实施所述发送模块。因此，自动监测所述操作者的意识状态，以补充由机组人员进行的监测。

Description

用于监测操作者的意识状态的方法和系统及飞行器

技术领域

本发明涉及监测飞行器的驾驶舱中的操作者、尤其是飞行器驾驶员的意识状态。

背景技术

监测操作者(例如，飞行器上的驾驶员)在其驾驶舱中的意识状态是至关重要的动作，以便检测意识丧失，而意识丧失可能导致驾驶员无法执行其活动。意识丧失的定义可以如下：失去维持对自我和环境认知的能力，同时对环境感官刺激的响应性明显降低。

目前，操作者的意识状态是由人类、尤其是副驾驶员或机组人员监测的。为了对副驾驶员进行的监测加以补充，将期望提供一种用于检测意识丧失的自动化解决方案。

发明内容

本发明旨在通过提出一种用于自动监测操作者的意识状态的方法和系统来克服这些缺点。

为此，本发明涉及一种用于监测飞行器驾驶舱中至少一个操作者的意识状态的方法。

根据本发明，所述方法包括至少一组步骤，所述至少一组步骤至少包括自动且迭代地实施的以下步骤：

-图像获取步骤，由图像获取模块实施，包括获取一个或多个操作者的图像，

-第一检测步骤，由第一检测模块实施，包括从所述图像中检测所述一个或多个操作者的身体的至少一个第一运动，

-第一确定步骤，由第一确定模块实施，包括在预定的第一时间窗口的至少一个第一时间比例期间确定所述一个或多个操作者的身体的第一运动特征，如果在至少所述第一时间比例期间检测到所述一个或多个操作者的身体的至少一个第一运动，则实施所述第一确定步骤，

-第一发送步骤，由第一发送模块实施，包括将表示所述一个或多个操作者的意识丧失状态的信号发送到用户装置，如果所述第一运动特征满足预定的第一条件，则实施所述第一发送步骤。

因此，借助于该方法，自动地监测一个或多个操作者的意识状态，以补充航班机组成员提供的监测。

该方法还包括：

-第二检测步骤，由第二检测模块实施，包括从所述图像中检测所述一个或多个操作者的身体的至少一个第二运动，在以下情况下实施所述第二检测步骤：

·如果在所述第一时间比例期间未检测到所述一个或多个操作者的身体的第一运动，或

·如果所述第一运动特征不满足所述预定的第一条件，

--第二确定步骤，由第二确定模块实施，包括在第二时间窗口的至少一个第二时间比例期间确定所述一个或多个操作者的身体的第二运动特征，如果在至少所述第二时间比例期间检测到所述一个或多个操作者的身体的至少一个第二运动，则实施所述第二确定步骤，

--第二发送步骤，由第二发送模块实施，包括将表示所述一个或多个操作者的意识丧失状态的信号发送到所述用户装置，如果所述第二运动特征满足预定的第二条件，则实施所述第二发送步骤。

该方法还包括：

-第三发送步骤，由第三发送模块实施，包括将表示所述运动检测的故障的可能状态的信号发送到所述用户装置，如果在所述第二时间比例期间未检测到所述一个或多个操作者的身体的第二运动，则实施所述第三发送步骤。

根据第一实施例，所述一个或多个操作者的身体的所述一个或多个第一运动对应于所述一个或多个操作者的至少一只眼睛的至少一次眨动，所述第一运动特征对应于至少一只眼睛的眨动次数，如果至少一只眼睛的眨动次数小于至少一只眼睛的预定眨动次数，则所述第一运动特征满足所述预定的第一条件，所述一个或多个操作者的身体的所述一个或多个第二运动对应于所述一个或多个操作者的至少一个头部方向运动，所述第二运动特征对应于头部方向运动速度，如果所述头部方向运动速度小于预定头部方向运动速度，则所述第二运动特征满足所述预定的第二条件。

根据第二实施例，所述一个或多个操作者的身体的所述一个或多个第一运动对应于所述一个或多个操作者的至少一个头部方向运动，所述第一运动特征对应于头部方向运动速度，如果所述头部方向运动速度小于预定头部方向运动速度，则所述第一运动特征满足所述预定的第一条件，并且所述一个或多个操作者的身体的所述一个或多个第二运动对应于所述一个或多个操作者的至少一只眼睛的至少一次眨动，所述第二运动特征对应于至少一只眼睛的眨动次数，如果至少一只眼睛的眨动次数小于至少一只眼睛的预定眨动次数，则所述第二运动特征满足所述预定的第二条件。

根据第三实施例，第一运动特征对应于一个或多个操作者的至少一个身体部位的运动序列，如果运动序列类似于预定运动序列，则第一运动特征满足预定的第一条件，如果运动序列不类似于预定运动序列，则第一运动特征不满足预定的第一条件。

根据第一变体，该方法包括：

-第三确定步骤，由第三确定模块实施，包括从所述图像确定所述一个或多个操作者的头部取向，如果所述头部方向运动速度大于或等于所述预定的头部方向运动速度，则实施所述第三确定步骤，

-第四发送步骤，由第四发送模块实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置，如果在所述第二时间窗口的至少一个第三时间比例期间所述头部取向在预定取向范围内，则实施所述第二发送步骤。

根据第二变体，该方法包括：

-第三检测步骤，由第三检测模块实施，包括从所述图像中检测所述一个或多个操作者的肩部运动，在以下情况下实施所述第三检测步骤：

·如果所述第二运动特征不满足所述预定的第二条件，或者

·如果在至少所述第三时间比例期间所述头部取向大于或等于所述预定取向，

-第四确定步骤，由第四确定模块实施，包括在至少所述第三时间比例期间确定所述一个或多个操作者的肩部运动速度，如果在至少所述第三时间比例期间检测到所述一个或多个操作者的至少一个肩部运动，则实施所述第四确定步骤，

-第五发送步骤，由第五发送模块实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置，如果所述肩部运动速度小于预定肩部运动速度，则实施所述第五发送步骤。

根据第三变体，该方法包括由初始化模块实施的初始化步骤，所述初始化步骤包括：至少一个第一检测子步骤，由第一检测子模块实施，包括检测所述一个或多个操作者在所述飞行器机载的至少一个控制装置上的动作，如果在预定的第一时间段期间未检测到动作，则实施该组步骤。

根据第四变体，该方法包括：

-第四检测步骤，由第四检测模块实施，包括检测所述一个或多个操作者的头部方向运动，如果未检测到所述一个或多个操作者的第二身体部位的运动，则实施所述第四检测步骤，

-第五确定步骤，由第五确定模块实施，包括在所述第二时间窗口的至少一个第四时间比例期间确定所述一个或多个操作者的第三头部方向运动特征，如果在至少所述第四时间比例期间检测到所述一个或多个操作者的至少一个头部方向运动，则实施所述第五确定步骤，

-第六发送步骤，由第六发送模块实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置，如果所述第三头部方向运动特征满足预定的第三条件，则实施所述第六发送步骤，

-第六确定步骤，由第六确定模块实施，包括从所述图像确定所述一个或多个操作者相对于所述飞行器的轴线的头部方向角度，如果未检测到所述一个或多个操作者的头部方向运动，则实施所述第六确定步骤，

-第七发送步骤，由第七发送模块实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置，如果所述方向角度小于预定方向角度，则实施所述第七发送步骤，

-第八发送步骤，由第八发送模块实施，包括将表示所述图像获取模块的可能故障的信号发送到所述用户装置，如果所述方向角度大于或等于所述预定方向角度，则实施所述第八发送步骤。

根据第一实施例，第三运动特征对应于头部方向运动速度，如果头部方向运动速度大于预定头部方向运动速度，则第三运动特征满足预定的第三条件，如果头部方向运动速度小于或等于预定头部方向运动速度，则第三运动特征不满足预定的第三条件。

根据第二实施例，第三运动特征对应于头部方向运动序列，如果头部方向运动序列类似于预定头部方向运动序列，则第三运动特征满足预定的第三条件，如果头部方向运动序列不类似于预定头部方向运动序列，则第三运动特征不满足预定的第三条件。

根据第五变体，初始化步骤包括：第二检测子步骤，由第二检测子模块实施，包括检测由所述一个或多个操作者的质量在他们可能就座的座椅上施加的压力，在以下情况下实施该组步骤：

-首先，如果在预定的第二时间段期间已检测到所述压力，或者

-其次，如果在所述预定的第一时间段期间已检测到所述一个或多个操作者的动作，并且在所述预定的第二时间段期间已检测到所述压力。

在此第五变体中，该方法还包括：

-第七确定步骤，由第七确定模块实施，包括确定由所述一个或多个操作者的质量施加在所述座椅上的压力的分布，在以下情况下实施所述第七确定步骤：

·如果未检测到所述一个或多个操作者的身体的第二运动，或

·如果所述方向角度大于或等于所述预定方向角度，

-第九发送步骤，由第九发送模块实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置，如果由所述一个或多个操作者的质量施加在所述座椅上的压力的分布与参考压力分布相比具有小于预定比例的差异比例，则实施所述第九发送步骤，

-第十发送步骤，由第十发送模块实施，包括将表示所述图像获取模块的可能故障的信号发送到所述用户装置，如果由所述一个或多个操作者的质量施加在所述座椅上的压力的分布与参考压力分布相比具有大于或等于预定比例的差异比例，则实施所述第十发送步骤。

根据第六变体，该方法包括：

-第五检测步骤，由第五检测模块实施，包括检测所述一个或多个操作者的心跳，在以下情况下实施所述第五检测步骤：

·如果未检测到所述一个或多个操作者的身体的第二运动，或

·如果由所述一个或多个操作者的质量施加在所述座椅上的压力的分布与参考压力分布相比具有大于或等于所述预定比例的差异比例，

-第八确定步骤，由第八确定模块实施，包括确定心率，如果检测到所述一个或多个操作者的至少一次心跳，则实施所述第八确定步骤，

-第十一发送步骤，由第十一发送模块实施，包括将表示所述一个或多个操作者的意识丧失状态的信号发送到所述用户装置，如果所述确定的心率不在预定心率范围内，则实施所述第十一发送步骤，

-第十二发送步骤，由第十二发送模块实施，包括将表示所述图像获取模块的可能故障的信号发送到所述用户装置，如果所述确定的心率在所述预定心率范围内，则实施所述第十二发送步骤。

本发明还涉及一种用于监测飞行器驾驶舱中至少一个操作者的意识状态的系统。

根据本发明，该系统包括至少一组模块，所述至少一组模块至少包括：

-图像获取模块，被配置成获取所述操作者的图像，

-第一检测模块，被配置成从所述图像中检测一个或多个操作者的身体的至少一个第一运动，

-第一确定模块，被配置成在预定的第一时间窗口的至少一个第一时间比例期间确定所述一个或多个操作者的身体的第一运动特征，如果在至少所述第一时间比例期间检测到所述一个或多个操作者的身体的至少一个第一运动，则实施所述第一确定模块，

-第一发送模块，被配置成将表示所述操作者的意识丧失状态的信号发送到用户装置，如果所述第一运动特征满足预定的第一条件，则实施所述第一发送模块。

该系统还包括：

-第二检测模块，被配置成从所述图像中检测所述一个或多个操作者的身体的至少一个第二运动，在以下情况下实施所述第二检测模块：

·如果在所述第一时间比例期间未检测到所述一个或多个操作者的身体的第一运动，或

·如果所述第一运动特征不满足所述预定的第一条件，

-第二确定模块，被配置成在第二时间窗口的至少一个第二时间比例期间确定所述一个或多个操作者的身体的第二运动特征，如果在至少所述第二时间比例期间检测到所述一个或多个操作者的身体的至少一个第二运动，则实施所述第二确定模块，

-第二发送模块，被配置成将表示所述操作者的意识丧失状态的信号发送到所述用户装置，如果所述第二运动特征满足预定的第二条件，则实施所述第二发送模块。

该系统还包括：

-第三发送模块，被配置成将表示所述运动检测的故障的可能状态的信号发送到所述用户装置，如果在至少所述第二时间比例期间未检测到所述一个或多个操作者的身体的第二运动，则实施所述第三发送模块。

本发明还涉及一种飞行器、尤其是运输飞机，其包括如上所述的用于监测飞行器驾驶舱中至少一个操作者的意识状态的系统。

附图说明

通过阅读参照附图提供的描述，本发明及其特征和优点将变得更加清楚，在附图中：

图1示意性地示出了监测系统。

图2示出了结合有监测系统的飞行器。

图3示意性地示出了监测方法的第一变体和第二变体的组合。

图4示意性地示出了监测方法的第三变体。

图5示意性地示出了监测方法的第四变体。

图6示意性地示出了监测方法的第五变体。

图7示意性地示出了监测方法的第六变体。

图8示出了作为监测方法的变体的组合的变体。

具体实施方式

本发明涉及一种用于监测飞行器AC驾驶舱2(图2)中的操作者的意识状态的系统1。在说明书的其余部分中，所述系统被称为“监测系统”。

图1中示出了监测系统1的一个实施例。

监测系统包括被配置成使监测系统1初始化的初始化模块INIT(INIT表示初始化模块(initialization module))3。初始化模块3使得可以在给定条件下实施监测系统1。例如，给定条件可以是驾驶舱2中存在操作者。初始化模块3的一些实施例在下面的描述中呈现。

监测系统1还包括：

-图像获取模块IMAGE_ACQ(IMAGE_ACQ表示“图像获取模块(image acquisitionmodule)”)4，被配置成获取至少一个操作者的图像，

-检测模块DETECT1(DETECT表示“检测模块(detection module)”)5，被配置成从图像中检测一个或多个操作者的身体的至少一个第一运动，

-确定模块DET1(DET表示“确定模块(determination module)”)6，被配置成在预定的第一时间窗口的至少一个第一时间比例期间确定一个或多个操作者的身体的第一运动特征，

-发送模块TRANS1(TRANS表示“发送模块(transmission module)”)7，被配置成将表示一个或多个操作者的意识丧失状态的信号发送到用户装置USER(USER表示“用户装置(user device)”)8。

确定模块6被配置成在至少第一时间比例期间检测模块5检测到一个或多个操作者的身体的至少一个第一运动时实施。

检测模块5进行的检测在时间窗口期间的某些时间可能不可用，而在时间窗口期间的其他时间可能可用。例如，在操作者转向并且其面部对于图像获取模块4不再可见时的时间，或者在操作者的面部与图像获取模块4之间存在障碍物(书或其他物体)时的时间，或者在图像获取模块4具有间歇性技术问题时的其它时间，检测可能不可用。时间窗口的时间比例(或百分比)于是与在一方面的在时间窗口期间检测可用的时间之和与在另一方面的时间窗口之间的比率相对应。时间比例的此定义在说明书的其余部分中相同。

一个或多个操作者的身体的一个或多个运动可以是一个或多个操作者的至少一个身体部位的一个或多个运动。一个或多个身体部位可以与一个或多个操作者的能够被图像获取模块4识别和/或监测并且可能以已知方式运动的至少一个器官相对应。

发送模块7被配置成在确定模块6所确定的第一运动特征满足预定的第一条件时实施。

图像获取模块可以与相机相对应或者可以包括相机。

监测系统还可以包括检测模块DETECT2 9，该检测模块被配置成从图像中检测一个或多个操作者的身体的至少一个第二运动。

根据检测模块9的第一实施例，检测模块9被配置成在第一时间比例期间检测模块5未检测到一个或多个操作者的身体的第一运动时实施。在图1中，链接A将检测模块5链接到检测模块9。

根据检测模块9的第二实施例，检测模块9被配置成在确定模块6所确定的第一运动特征满足预定的第一条件时实施。在图1中，链接B将确定模块6链接到检测模块9。

监测系统1还可以包括确定模块DET2 10，该确定模块被配置成在第二时间窗口的至少一个第二时间比例期间确定一个或多个操作者的身体的第二运动特征。

确定模块10被配置成在至少第二时间比例期间检测模块9检测到操作者的身体的至少一个第二运动时实施。

监测系统1可以包括发送模块TRANS2 11，该发送模块被配置成将表示操作者的意识丧失状态的信号发送到用户装置。发送模块11在第二运动特征满足预定的第二条件时实施。

有利地，监测系统1包括发送模块TRANS3 12，该发送模块被配置成将表示运动检测的可能故障状态的信号发送到用户装置8。因此，在检测模块5和9没有检测到一个或多个操作者的身体的任何第一运动或可能的第二运动时，该信号被发送到用户装置8，以指示检测模块5和/或9的可能故障。

如果在至少第二时间比例期间未检测到一个或多个操作者的身体的第二运动，则实施发送模块12。

根据第一实施例，一个或多个操作者的身体的一个或多个第一运动对应于一个或多个操作者的一只或多只眼睛的至少一次眨动，一个或多个操作者的身体的一个或多个第二运动对应于一个或多个操作者的头部方向运动。

第一运动特征对应于至少一只眼睛的眨动次数。如果至少一只眼睛的眨动次数小于至少一只眼睛的预定眨动次数，则第一运动特征满足预定的第一条件。如果至少一只眼睛的眨动次数大于或等于至少一只眼睛的预定眨动次数，则第一运动特征不满足预定的第一条件。

第二运动特征对应于头部方向运动速度。如果头部方向运动速度小于预定头部方向运动速度，则第二运动特征满足预定的第二条件。如果头部方向运动速度大于或等于预定头部方向运动速度，则第二运动特征不满足预定的第二条件。

根据第二实施例，一个或多个操作者的身体的一个或多个第一运动对应于一个或多个操作者的至少一个头部方向运动，并且一个或多个操作者的身体的一个或多个第二运动对应于一个或多个操作者的一只或多只眼睛的至少一次眨动。

第一运动特征对应于头部方向运动速度。如果头部方向运动速度小于预定头部方向运动速度，则第一运动特征满足预定的第一条件。如果头部方向运动速度大于或等于预定头部方向运动速度，则第一运动特征不满足预定的第一条件。

第二运动特征对应于至少一只眼睛的眨动次数。如果至少一只眼睛的眨动次数小于至少一只眼睛的预定眨动次数，则第二运动特征满足预定的第二条件。如果至少一只眼睛的眨动次数大于或等于至少一只眼睛的预定眨动次数，则第二运动特征不满足预定的第二条件。

不限于第一实施例和第二实施例，在一只或多只眼睛眨动的情况下，预定运动次数在每分钟0.5与5次眨动之间，并且时间比例在时间窗口的20％与80％之间。在头部方向运动的情况下，预定头部方向运动速度在0m/s与10m/s之间，并且时间比例在时间窗口的20％与80％之间。

根据第三实施例，第一运动特征对应于一个或多个操作者的至少一个身体部位的运动序列(或模式)。如果运动序列与预定运动序列相似，则第一运动特征满足预定的第一条件。如果运动序列不与预定运动序列相似，则第一运动特征不满足预定的第一条件。

运动序列可以对应于一个或多个操作者的一个或多个身体部位的一组连续的或同时的或连续且同时的运动。这些运动可以至少是至少一只眼睛的眨动、头部运动或肩部运动。根据一个非限制性示例，运动序列对应于一只或多只眼睛眨动和之后的头部运动。

不受限制地，可以通过借助于图像处理进行的运动识别来确定所检测的序列与预定序列之间的相似性。当在置信区间内所检测的序列接近预定序列时，所检测的序列类似于预定序列。

根据第一变体实施例，监测系统1包括：

-确定模块DET3 13，被配置成从图像获取模块4所获取的图像中确定一个或多个操作者的头部取向，

-发送模块TRANS4 14，被配置成将表示一个或多个操作者的意识丧失状态的信号发送到用户装置8。

确定模块13被配置成在确定模块10所确定的头部方向速度大于或等于预定头部方向运动速度时实施。

发送模块14被配置成在第二时间窗口的至少一个第三时间比例期间确定模块13所确定的头部取向在预定取向范围内时实施。

不受限制地，在就俯仰(相对于飞行器AC)而言的头部取向的情况下，取向范围的下限在-60°与-10°之间，并且上限在10°与90°之间。

不受限制地，在就滚转(相对于飞行器AC)而言的头部取向的情况下，下限在-90°与-10°之间，上限在10°与90°之间。

根据第二变体，监测系统1包括检测模块DETECT3 15，该检测模块被配置成从图像获取模块4所获取的图像中检测一个或多个操作者的肩部运动。

根据检测模块15的第一实施例，检测模块15被配置成在确定模块10所确定的第二运动特征不满足预定的第二条件时实施。

根据检测模块15的第二实施例，检测模块15被配置成在至少第三时间比例期间确定模块13所确定的头部取向大于或等于预定取向时实施。

在此第二变体中，监测系统1还包括：

-确定模块DET4 16，被配置成在至少第三时间比例期间确定一个或多个操作者的肩部运动速度，

-发送模块TRANS5 17，被配置成将表示操作者的意识丧失状态的信号发送到用户装置8。

如果在至少第三时间比例期间检测模块15检测到操作者的至少一个肩部运动，则实施确定模块16。

发送模块17被配置成在确定模块16所确定的肩部运动速度小于预定肩部运动速度时实施。

不受限制地，预定肩部运动速度在0m/s与10m/s之间。

根据第三变体，初始化模块还包括检测子模块SUB_DETECT1 31，该检测子模块被配置成检测一个或多个操作者在飞行器AC机载的至少一个控制装置上的动作。如果在预定的第一时间段期间未检测到动作，则可以实施监测系统1的模块。

机载控制装置可以对应于人机界面(HMI)。

如果在预定的第一时间段期间在至少两个单独的控制装置上没有检测到动作，则可以优选地实施监测系统1的模块。这使得可以避免检测到一个或多个操作者的非自愿动作。

根据第四变体，监测系统1还包括：

-检测模块DETECT4 18，被配置成检测一个或多个操作者的头部方向运动。检测模块18可以对应于固定安装在一个或多个操作者的头部上的惯性单元。例如，惯性单元安装在能够由一个或多个操作者佩戴的头戴设备上，

-确定模块DET5 19，被配置成在小于第二时间窗口的至少一个第四时间比例期间确定一个或多个操作者的第三头部方向运动特征，

-发送模块TRANS6 20，被配置成将表示一个或多个操作者的意识丧失状态的信号发送到用户装置8，

-确定模块DET6 21，被配置成从图像获取模块4所获取的图像中确定一个或多个操作者相对于飞行器AC的轴线的头部方向角度。飞行器AC的轴线可以对应于包括滚转轴线、俯仰轴线和偏航轴线的轴线中的至少一个轴线或其他轴线，

-发送模块TRANS7 22，被配置成将表示操作者的意识丧失状态的信号发送到用户装置8，

-发送模块TRANS8 23，被配置成将表示图像获取模块4的可能故障的信号发送到用户装置8。

检测模块18被配置成在至少第四时间比例期间检测模块9未检测到一个或多个操作者的第二身体部位的运动时实施。未检测到一个或多个操作者的第二身体部位的运动的一个示例可以对应于以下情况：一个或多个操作者向前转身或倾斜以与另一操作者讲话或进入驾驶舱2的特定区域。

确定模块19被配置成在至少第四时间比例期间检测模块18检测到一个或多个操作者的至少一个头部方向运动时实施。

发送模块20被配置成在第三头部方向运动特征满足预定的第三条件时实施。

根据第一实施例，第三运动特征对应于头部方向运动速度。如果头部方向运动速度大于预定头部方向运动速度，则第三运动特征满足预定的第三条件。如果头部方向运动速度小于或等于预定头部方向运动速度，则第三运动特征不满足预定的第三条件。

根据第二实施例，第三运动特征对应于头部方向运动序列。如果头部方向运动序列与预定头部方向运动序列相似，则第三运动特征满足预定的第三条件。如果头部方向运动序列不与预定头部方向运动序列相似，则第三运动特征不满足预定的第三条件。

确定模块21被配置成在检测模块18未检测到一个或多个操作者的头部方向运动时实施。

发送模块22被配置成在确定模块21所确定的方向角度小于预定方向角度时实施。

发送模块23被配置成在确定模块21所确定的方向角度大于或等于预定方向角度时实施。

根据第五变体，初始化模块包括检测子模块SUB_DETECT2 32，该检测子模块被配置成检测由一个或多个操作者的质量施加在一个或多个操作者可能就座的至少一个座椅上的压力。如果至少一个操作者坐在座椅上，则可以实施监测系统1的模块。

座椅可以是驾驶员的座椅。

检测子模块32可以对应于集成到座椅中的压力垫。

当至少一个操作者就座时，监测系统1因此可以被初始化。

根据检测子模块32的第一实施例，如果在预定的第二时间段期间检测子模块32已经检测到压力，则监测系统1被初始化。

根据检测子模块32的第二实施例，如果在预定的第一时间段期间检测子模块31已经检测到操作者的动作，并且如果在预定的第二时段期间检测子模块32期间已经检测到压力，则监测系统1被初始化。

在此第五变体中，监测系统1还包括：

-确定模块DET7 24，被配置成确定由一个或多个操作者的质量施加在座椅上的压力的分布，

-发送模块TRANS9 25，被配置成将表示一个或多个操作者的意识丧失状态的信号发送到用户装置8。

根据确定模块24的第一实施例，确定模块24被配置成在检测模块9未检测到操作者的身体的第二运动时实施。如果确定模块24对应于压力垫，则确定模块24可以监测压力垫的主体的各个部分之间的质量分布的差异。

根据确定模块24的第二实施例，确定模块24被配置成在确定模块21所确定的方向角度大于或等于预定方向角度时实施。

发送模块25被配置成在由一个或多个操作者的质量施加在座椅上的压力的分布与参考压力分布相比具有小于预定比例的差异比例时实施。例如，在压力垫的两个部分之间的压力差大于预定阈值的情况下，认为一个或多个操作者由于意识丧失而向一侧倾斜太远。

不受限制地，预定比例在0％与50％之间。

根据第六变体，监测系统1还包括检测模块DETECT5 26，该检测模块被配置成检测一个或多个操作者的心跳。

根据检测模块26的第一实施例，如果检测模块9未检测到一个或多个操作者的身体的第二运动，则实施检测模块26。

根据检测模块26的第二实施例，如果确定模块24所确定的由一个或多个操作者的质量施加在座椅上的压力的分布与参考压力分布相比具有大于或等于预定比例的差异比例，则实施检测模块26。

在此第六变体中，监测系统1还包括：

-确定模块DET8 27，该确定模块被配置成从由检测模块26检测到的心跳中确定心律，

-发送模块TRANS11 28，该发送模块被配置成将表示一个或多个操作者的意识丧失状态的信号发送到用户装置8，

-发送模块TRANS12 29，该发送模块被配置成将表示图像获取模块4的可能故障的信号发送到用户装置8。

确定模块27被配置成在检测模块26检测到一个或多个操作者的至少一次心跳时实施。

发送模块28被配置成在确定模块27所确定的心率不在预定心率范围内时实施。

不受限制地，心率范围的下限在每分钟0次心跳用户每分钟60次心跳之间，并且心率范围的上限在每分钟140次心跳与每分钟220次心跳之间。

发送模块29被配置成在确定模块27所确定的心率在预定心率范围内时实施。

该方法的变体可以如图1所示进行组合。

本发明还涉及一种用于监测飞行器AC驾驶舱2中的至少一个操作者的意识状态的方法(图3至图8)。

如图3至图8所示，该方法包括至少一组步骤，这组步骤至少包括自动且迭代地实施的以下步骤：

-图像获取步骤E2，由图像获取模块4实施，包括获取一个或多个操作者的图像，

-检测步骤E3，由检测模块5实施，包括从图像中检测一个或多个操作者的身体的至少一个第一运动，

-确定步骤E4，由确定模块6实施，包括在预定的第一时间窗口的至少第一时间比例期间确定一个或多个操作者的身体的第一运动特征，如果在至少第一时间比例期间检测到一个或多个操作者的身体的至少一个第一运动，则实施确定步骤E4，

-发送步骤E5，由发送模块7实施，包括将表示一个或多个操作者的意识丧失状态的信号发送到用户装置8，如果第一运动特征满足预定的第一条件，则实施发送步骤E5。

该方法还可以包括：

-检测步骤E6，由检测模块9实施，包括从图像中检测一个或多个操作者的身体的至少一个第二运动，在以下情况下实施检测步骤E6：

·如果在至少第一时间比例期间未检测到一个或多个操作者的身体的第一运动，或

·如果第一运动特征满足预定的第一条件，

-确定步骤E7，由确定模块10实施，包括在至少第二时间窗口的第二时间比例期间确定一个或多个操作者的身体的第二运动特征，如果在至少第二时间比例期间检测到一个或多个操作者的身体的至少一个第二运动，则实施确定步骤E7，

-发送步骤E8，由发送模块11实施，包括将表示一个或多个操作者的意识丧失状态的信号发送到用户装置8，如果第二运动特征满足预定的第二条件，则实施发送步骤E8。

该方法还可以包括：发送步骤E9，由发送模块12实施，包括将表示运动检测的故障的可能状态的信号发送到用户装置8，如果在至少第二时间比例期间没有检测到一个或多个操作者的身体的第二运动，则实施发送步骤E9。

根据第一变体，该方法可以包括：

-确定步骤E10，由确定模块13实施，包括从图像中确定一个或多个操作者的头部取向，如果头部方向运动速度大于或等于预定头部方向运动速度，则实施确定步骤E10，

-发送步骤E11，由发送模块14实施，包括将表示操作者的意识丧失状态的信号发送到用户装置8，如果在第二时间窗口的至少第三时间比例期间头部取向在预定取向范围内，则实施发送步骤E11。

根据第二变体，该方法可以包括：

-检测步骤E12，由检测模块15实施，包括从图像中检测一个或多个操作者的肩部运动，在以下情况下实施检测步骤E12：

·如果第二运动特征不满足预定的第二条件，或者

·如果在至少第三时间比例期间头部取向大于或等于预定取向，

-确定步骤E13，由确定模块16实施，包括在至少第三时间比例期间确定一个或多个操作者的肩部运动速度，如果在至少第三次比例期间检测到一个或多个操作者的至少一个肩部运动，则实施确定步骤E13，

-发送步骤E14，由发送模块17实施，包括将表示操作者的意识丧失状态的信号发送到用户装置8，如果肩部运动速度小于预定肩部运动速度，则实施发送步骤E14。

如图4和图6所示，该方法可以包括由初始化模块3实施的初始化步骤E1。

根据图4所示的第三变体，初始化步骤E1包括由检测子模块31实施的至少一个检测子步骤E101，该至少一个检测子步骤包括检测一个或多个操作者在飞行器AC机载的至少一个控制装置上的动作，如果在预定的第一时间段期间未检测到任何动作，则实施这组步骤。

根据图5所示的第四变体，该方法可以包括：

-检测步骤E15，由检测模块18实施，包括检测一个或多个操作者的头部方向运动，如果未检测到一个或多个操作者的第二身体部位的运动，则实施检测步骤E15，

-确定步骤E16，由确定模块19实施，包括在第二时间窗口的至少第四时间比例期间确定一个或多个操作者的第三头部方向运动特征，如果在至少第四时间比例期间检测到一个或多个操作者的至少一个头部方向运动，则实施确定步骤E16，

-发送步骤E17，由发送模块20实施，包括将表示操作者的意识丧失状态的信号发送到用户装置8，如果第三头部方向运动特征满足预定的第三条件，则实施发送步骤E17，

-确定步骤E18，由确定模块21实施，包括从图像中确定一个或多个操作者相对于飞行器AC的轴线的头部方向角度，如果未检测到一个或多个操作者的头部方向运动，则实施确定步骤E18，

-发送步骤E19，由发送模块22实施，包括将表示操作者的意识丧失状态的信号发送到用户装置8，如果方向角度小于预定方向角度，则实施发送步骤E19，

-发送步骤E20，由发送模块23实施，包括将表示图像获取模块4的可能故障的信号发送到用户装置8，如果方向角度大于或等于预定方向角度，则实施发送步骤E20。

根据图6中所示的第五变体，初始化步骤E1可以包括由检测子模块32实施的检测子步骤E102，该检测子步骤包括检测由一个或多个操作者的质量施加在他或他们可能就座的座椅上的压力，在以下情况下实施一组步骤：

-首先，如果在预定的第二时间段期间已检测到所述压力，或者

-其次，如果在预定的第一时间段期间已检测到一个或多个操作者的动作，并且在预定的第二时间段期间已检测到压力。

在这种情况下，该方法还包括：

-确定步骤E21，由确定模块24实施，包括确定由一个或多个操作者的质量施加在座椅上的压力的分布，在以下情况下实施确定步骤E21：

·如果未检测到一个或多个操作者的身体的第二运动，或

·如果方向角度大于或等于预定方向角度，

-发送步骤E22，由发送模块25实施，包括将表示操作者的意识丧失状态的信号发送到用户装置8，如果由一个或多个操作者的质量施加在座椅上的压力的分布与参考压力分布相比具有小于预定比例的差异比例，则实施发送步骤E22，

-发送步骤E23，由发送模块30实施，包括将表示图像获取模块4的可能故障的信号发送到用户装置8，如果由一个或多个操作者的质量施加在座椅上的压力的分布与参考压力分布相比具有大于或等于预定比例的差异比例，则实施发送步骤E23。

根据图7所示的第六变体，该方法可以包括：

-检测模块E24，由检测模块26实施，包括检测一个或多个操作者的心跳，在以下情况下实施检测步骤E24：

·如果未检测到一个或多个操作者的身体的第二运动，或

·如果由一个或多个操作者的质量施加在所述座椅上的压力的分布与参考压力分布相比具有大于或等于预定比例的差异比例，

-确定步骤E25，由确定模块27实施，包括确定心率，如果检测到一个或多个操作者的至少一次心跳，则实施确定步骤E25，

-发送步骤E26，由发送模块28实施，包括将表示一个或多个操作者的意识丧失状态的信号发送到用户装置8，如果确定的心率不在预定心率范围内，则实施发送步骤E26，

-发送步骤E27，由发送模块29实施，包括将表示图像获取模块4的可能故障的信号发送到用户装置8，如果所确定的心率在预定心率范围内，则实施发送步骤E27。

监测方法可以对应于上述变体的组合，如图8所示。

Claims (15)

1.一种用于监测飞行器(AC)驾驶舱(2)中至少一个操作者的意识状态的方法，所述方法包括至少一组步骤，所述至少一组步骤至少包括自动且迭代地实施的以下步骤：

-图像获取步骤(E2)，由图像获取模块(4)实施，包括获取一个或多个操作者的图像，

-第一检测步骤(E3)，由第一检测模块(5)实施，包括从所述图像中检测所述一个或多个操作者的身体的至少一个第一运动，

-第一确定步骤(E4)，由第一确定模块(6)实施，包括在预定的第一时间窗口的至少一个第一时间比例期间确定所述一个或多个操作者的身体的第一运动特征，如果在至少所述第一时间比例期间检测到所述一个或多个操作者的身体的至少一个第一运动，则实施所述第一确定步骤(E4)，所述预定的第一时间窗口的第一时间比例用户一方面的在所述预定的第一时间窗口期间检测可用的时间之和与另一方面的所述预定的第一时间窗口之间的比率对应，

-第一发送步骤(E5)，由第一发送模块(7)实施，包括将表示所述一个或多个操作者的意识丧失状态的信号发送到用户装置(8)，如果所述第一运动特征满足预定的第一条件，则实施所述第一发送步骤(E5)。

2.根据权利要求1所述的方法，

其特征在于，所述方法包括：

-第二检测步骤(E6)，由第二检测模块(9)实施，包括从所述图像中检测所述一个或多个操作者的身体的至少一个第二运动，在以下情况下实施所述第二检测步骤(E6)：

·如果在所述第一时间比例期间未检测到所述一个或多个操作者的身体的第一运动，或

·如果所述第一运动特征不满足所述预定的第一条件，

-第二确定步骤(E7)，由第二确定模块(10)实施，包括在第二时间窗口的至少一个第二时间比例期间确定所述一个或多个操作者的身体的第二运动特征，如果在至少第二时间比例期间检测到所述一个或多个操作者的身体的至少一个第二运动，则实施所述第二确定步骤(E7)，

-第二发送步骤(E8)，由第二发送模块(11)实施，包括将表示所述一个或多个操作者的意识丧失状态的信号发送到所述用户装置(8)，如果所述第二运动特征满足预定的第二条件，则实施所述第二发送步骤(E8)。

3.根据权利要求1和2中任一项所述的方法，

其特征在于，所述方法包括：

-第三发送步骤(E9)，由第三发送模块(12)实施，包括将表示所述运动检测的故障的可能状态的信号发送到所述用户装置(8)，如果在所述第二时间比例期间未检测到所述一个或多个操作者的身体的第二运动，则实施所述第三发送步骤(E9)。

4.根据权利要求1至3中任一项所述的方法，

其特征在于，所述一个或多个操作者的身体的所述一个或多个第一运动对应于所述一个或多个操作者的至少一只眼睛的至少一次眨动，所述第一运动特征对应于至少一只眼睛的眨动次数，如果至少一只眼睛的眨动次数小于至少一只眼睛的预定眨动次数，则所述第一运动特征满足所述预定的第一条件，并且

其特征在于，所述一个或多个操作者的身体的所述一个或多个第二运动对应于所述一个或多个操作者的至少一个头部方向运动，所述第二运动特征对应于头部方向运动速度，如果所述头部方向运动速度小于预定头部方向运动速度，则所述第二运动特征满足所述预定的第二条件。

5.根据权利要求1至3中任一项所述的方法，

其特征在于，所述一个或多个操作者的身体的所述一个或多个第一运动对应于所述一个或多个操作者的至少一个头部方向运动，所述第一运动特征对应于头部方向运动速度，如果所述头部方向运动速度小于预定头部方向运动速度，则所述第一运动特征满足所述预定的第一条件，并且

其特征在于，所述一个或多个操作者的身体的所述一个或多个第二运动对应于所述一个或多个操作者的一只或多只眼睛的至少一次眨动，所述第二运动特征对应于至少一只眼睛的眨动次数，如果至少一只眼睛的眨动次数小于至少一只眼睛的预定眨动次数，则所述第二运动特征满足所述预定的第二条件。

6.根据权利要求1至5中任一项所述的方法，

其特征在于，所述方法包括：

-第三确定步骤(E10)，由第三确定模块(13)实施，包括从所述图像确定所述一个或多个操作者的头部取向，如果所述头部方向运动速度大于或等于所述预定的头部方向运动速度，则实施所述第三确定步骤(E10)，

-第四发送步骤(E11)，由第四发送模块(14)实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置(8)，如果在所述第二时间窗口的至少一个第三时间比例期间所述头部取向在预定取向范围内，则实施所述第二发送步骤(E11)。

7.根据权利要求1至6中任一项所述的方法，

其特征在于，所述方法包括：

-第三检测步骤(E12)，由第三检测模块(15)实施，包括从所述图像中检测所述一个或多个操作者的肩部运动，在以下情况下实施所述第三检测步骤(E12)：

·如果所述第二运动特征不满足所述预定的第二条件，或者

·如果在至少所述第三时间比例期间所述头部取向大于或等于所述预定取向，

-第四确定步骤(E13)，由第四确定模块(16)实施，包括在所述第三时间比例期间确定所述一个或多个操作者的肩部运动速度，如果在至少所述第三时间比例期间检测到所述一个或多个操作者的至少一个肩部运动，则实施所述第四确定步骤(E13)，

-第五发送步骤(E14)，由第五发送模块(17)实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置(8)，如果所述肩部运动速度小于预定的肩部运动速度，则实施所述第五发送步骤(E14)。

8.根据权利要求1至7中任一项所述的方法，

其特征在于，所述方法包括由初始化模块(3)实施的初始化步骤(E1)，所述初始化步骤(E1)包括：至少一个第一检测子步骤(E101)，由第一检测子模块(31)实施，包括检测所述一个或多个操作者在所述飞行器(AC)机载的至少一个控制装置上的动作，如果在预定的第一时间段期间未检测到动作，则实施该组步骤。

9.根据权利要求1至8中任一项所述的方法，

其特征在于，所述方法包括：

-第四检测步骤(E15)，由第四检测模块(18)实施，包括检测所述一个或多个操作者的头部方向运动，如果未检测到所述一个或多个操作者的第二身体部位的运动，则实施所述第四检测步骤(E15)，

-第五确定步骤(E16)，由第五确定模块(19)实施，包括在所述第二时间窗口的至少一个第四时间比例期间确定所述一个或多个操作者的第三头部方向运动特征，如果在至少所述第四时间比例期间检测到所述一个或多个操作者的至少一个头部方向运动，则实施所述第五确定步骤(E16)，

-第六发送步骤(E17)，由第六发送模块(20)实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置(8)，如果所述第三头部方向运动特征满足预定的第三条件，则实施所述第六发送步骤(E17)，

-第六确定步骤(E18)，由第六确定模块(21)实施，包括从所述图像确定所述一个或多个操作者相对于所述飞行器(AC)的轴线的头部方向角度，如果未检测到所述一个或多个操作者的头部方向运动，则实施所述第六确定步骤(E18)，

-第七发送步骤(E19)，由第七发送模块(22)实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置(8)，如果所述方向角度小于预定方向角度，则实施所述第七发送步骤(E19)，

-第八发送步骤(E20)，由第八发送模块(23)实施，包括将表示所述图像获取模块(4)的可能故障的信号发送到所述用户装置(8)，如果所述方向角度大于或等于所述预定方向角度，则实施所述第八发送步骤(E20)。

10.根据权利要求1至9中任一项所述的方法，

其特征在于，所述初始化步骤(E1)包括：第二检测子步骤(E102)，由第二检测子模块(32)实施，包括检测由所述一个或多个操作者的质量在他们可能就座的座椅上施加的压力，在以下情况下实施该组步骤：

·首先，如果在预定的第二时间段期间已检测到所述压力，或者

·其次，如果在所述预定的第一时间段期间已检测到所述一个或多个操作者的动作，并且在所述预定的第二时间段期间已检测到所述压力，

所述方法还包括

-第七确定步骤(E21)，由第七确定模块(24)实施，包括确定由所述一个或多个操作者的质量施加在所述座椅上的压力的分布，在以下情况下实施所述第七确定步骤(E21)：

·如果未检测到所述一个或多个操作者的身体的第二运动，或

·如果所述方向角度大于或等于所述预定方向角度，

-第九发送步骤(E22)，由第九发送模块(25)实施，包括将表示所述操作者的意识丧失状态的信号发送到所述用户装置(8)，如果由所述一个或多个操作者的质量施加在所述座椅上的压力的分布与参考压力分布相比具有小于预定比例的差异比例，则实施所述第九发送步骤(E22)，

-第十发送步骤(E23)，由第十发送模块(30)实施，包括将表示所述图像获取模块(4)的可能故障的信号发送到所述用户装置(8)，如果由所述一个或多个操作者的质量施加在所述座椅上的压力的分布与参考压力分布相比具有大于或等于预定比例的差异比例，则实施所述第十发送步骤(E23)。

11.根据权利要求1至10中任一项所述的方法，

其特征在于，所述方法包括：

-第五检测步骤(E24)，由第五检测模块(26)实施，包括检测所述一个或多个操作者的心跳，在以下情况下实施所述第五检测步骤(E24)：

·如果未检测到所述一个或多个操作者的身体的第二运动，或

·如果由所述一个或多个操作者的质量施加在所述座椅上的压力的分布与参考压力分布相比具有大于或等于所述预定比例的差异比例，

-第八确定步骤(E25)，由第八确定模块(27)实施，包括确定心率，如果检测到所述一个或多个操作者的至少一次心跳，则实施所述第八确定步骤(E25)，

-第十一发送步骤(E26)，由第十一发送模块(28)实施，包括将表示所述一个或多个操作者的意识丧失状态的信号发送到所述用户装置(8)，如果所述确定的心率不在预定心率范围内，则实施所述第十一发送步骤(E26)，

-第十二发送步骤(E27)，由第十二发送模块(29)实施，包括将表示所述图像获取模块(4)的可能故障的信号发送到所述用户装置(8)，如果所述确定的心率在所述预定心率范围内，则实施所述第十二发送步骤(E27)。

12.一种用于监测飞行器(AC)驾驶舱(2)中至少一个操作者的意识状态的系统，所述监测系统包括至少一组模块，所述至少一组模块至少包括：

-图像获取模块(4)，被配置成获取所述操作者的图像，

-第一检测模块(5)，被配置成从所述图像中检测一个或多个操作者的身体的至少一个第一运动，

-第一确定模块(6)，被配置成在预定的第一时间窗口的至少一个第一时间比例期间确定所述一个或多个操作者的身体的第一运动特征，如果在至少所述第一时间比例期间检测到所述一个或多个操作者的身体的至少一个第一运动，则实施所述第一确定模块(6)，所述预定的第一时间窗口的第一时间比例对应于在一方面的在所述预定的第一时间窗口期间所述检测可用的时间之和与在另一方面的所述预定的第一时间窗口之间的比率，

-第一发送模块(7)，被配置成将表示所述操作者的意识丧失状态的信号发送到用户装置(8)，如果所述第一运动特征满足预定的第一条件，则实施所述第一发送模块(7)。

13.根据权利要求12所述的系统，

其特征在于，所述系统包括：

-第二检测模块(9)，被配置成从所述图像中检测所述一个或多个操作者的身体的至少一个第二运动，在以下情况下实施所述第二检测模块(9)：

·如果在所述第一时间比例期间未检测到所述一个或多个操作者的身体的第一运动，或

·如果所述第一运动特征不满足所述预定的第一条件，

-第二确定模块(10)，被配置成在第二时间窗口的至少一个第二时间比例期间确定所述一个或多个操作者的身体的第二运动特征，如果在至少所述第二时间比例期间检测到所述一个或多个操作者的身体的至少一个第二运动，则实施所述第二确定模块(10)，

-第二发送模块(11)，被配置成将表示所述操作者的意识丧失状态的信号发送到所述用户装置(8)，如果所述第二运动特征满足预定的第二条件，则实施所述第二发送模块(11)。

14.根据权利要求12和13中任一项所述的系统，

其特征在于，所述系统包括：

-第三发送模块(12)，被配置成将表示所述运动检测的故障的可能状态的信号发送到所述用户装置(8)，如果在至少所述第二时间比例期间未检测到所述一个或多个操作者的身体的第二运动，则实施所述第三发送模块(12)。

15.一种飞行器，

其特征在于，所述飞行器包括一种用于监测飞行器(AC)驾驶舱(2)中至少一个操作者的意识状态的系统(1)，比如权利要求12至14中任一项所述的系统。

Images