CN114446008A - 机组疲劳预警方法、装置、电子设备及可读存储介质 - Google Patents

机组疲劳预警方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114446008A
CN114446008A CN202210106243.8A CN202210106243A CN114446008A CN 114446008 A CN114446008 A CN 114446008A CN 202210106243 A CN202210106243 A CN 202210106243A CN 114446008 A CN114446008 A CN 114446008A
Authority
CN
China
Prior art keywords
fatigue
flight
target
early warning
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210106243.8A
Other languages
English (en)
Other versions
CN114446008B (zh
Inventor
郝晓慧
谢易
余丰
伍志湘
刘洪涛
杨坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commercial Aircraft Corp of China Ltd
Original Assignee
Commercial Aircraft Corp of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commercial Aircraft Corp of China Ltd filed Critical Commercial Aircraft Corp of China Ltd
Priority to CN202210106243.8A priority Critical patent/CN114446008B/zh
Publication of CN114446008A publication Critical patent/CN114446008A/zh
Application granted granted Critical
Publication of CN114446008B publication Critical patent/CN114446008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供一种机组疲劳预警方法、装置、电子设备及可读存储介质。本申请包括:获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;根据所述疲劳警示策略,对所述机组进行疲劳预警。因此根据本申请提供的机组疲劳预警方法进行疲劳预警时,可以根据飞机的飞行状态信息,选择最合适的疲劳警示策略,避免不合适的疲劳警示策略在机组需要高度注意力集中的紧急状态下吸引机组的注意力,影响机组的操作。

Description

机组疲劳预警方法、装置、电子设备及可读存储介质
技术领域
本申请涉及飞行领域,具体涉及一种机组疲劳预警方法、装置、电子设备及可读存储介质。
背景技术
为了保证飞行安全,各航空公司通常会明确飞行员的值勤期限、飞行时间限制和休息要求,但是由于航班安排的不合理、机舱的噪声和振动、气压变化、长时间飞行、无规律工作、高应激状态、昼夜节律紊乱以及睡眠不足等原因常常使飞行人员处于短期或者长期的疲劳状态。这种疲劳状态容易引发飞行员操作能力下降,做出错误判断,导致飞行错觉,甚至引发更严重的飞行事故,如坠机,空中相撞等,严重威胁航空安全。
因此,一种不会影响飞行人员的飞行操控的疲劳预警方法显得十分必要。
发明内容
本申请提供一种机组疲劳预警方法、装置、电子设备及可读存储介质,旨在解决需要一种不会影响飞行人员的飞行操控的疲劳预警方法的问题。
第一方面,本申请提供一种机组疲劳预警方法,所述方法包括:
获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;
根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;
根据所述疲劳警示策略,对所述机组进行疲劳预警。
在一种可能的实现方式中,所述获取飞机的飞行状态信息,包括:
获取飞机的飞行高度、飞行速度和发动机功率;
根据所述飞行高度、所述飞行速度和所述发动机功率,确定所述飞机的飞行阶段;
获取所述飞机中飞行系统的飞行系统运行数据;
将所述飞行阶段和所述飞行系统运行数据设定为所述飞行状态信息。
在一种可能的实现方式中,所述根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略,包括:
将所述飞行状态信息中的飞行系统运行数据与预设的异常判定阈值进行对比,得到系统状态对比结果;
根据所述系统状态对比结果,确定所述飞机的目标系统异常等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略。
在一种可能的实现方式中,所述根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略,包括:
将所述人员状态数据与预设的疲劳判定阈值进行对比,得到人员状态对比结果;
根据所述人员状态对比结果,确定所述目标人员的目标疲劳等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略。
在一种可能的实现方式中,所述根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略,包括:
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的非飞行关键阶段,则显示预设的第一提示文本,并播放预设的提示音频;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则显示预设的第二提示文本;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的重度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则不进行疲劳警示。
在一种可能的实现方式中,所述获取机组中目标人员的人员状态数据,包括:
获取机组中目标人员的面部图像;
对所述面部图像进行面部识别处理,得到所述机组的面部特征,其中,所述面部特征包括眼部特征、头部姿态特征和唇部特征中的至少一者;
根据所述面部特征,确定所述目标人员的人员状态数据。
在一种可能的实现方式中,所述根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略,包括:
获取驾驶舱中目标预警部件的部件标识;
根据所述部件标识,确定所述目标预警部件对应的目标预警文本;
根据所述目标预警文本、所述人员状态数据和所述飞行状态信息,确定疲劳警示策略。
第二方面,本申请提供一种机组疲劳预警装置,所述机组疲劳预警装置包括:
获取单元,用于获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;
确定单元,用于根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;
预警单元,用于根据所述疲劳警示策略,对所述机组进行疲劳预警。
在一种可能的实现方式中,获取单元还用于:
获取飞机的飞行高度、飞行速度和发动机功率;
根据所述飞行高度、所述飞行速度和所述发动机功率,确定所述飞机的飞行阶段;
获取所述飞机中飞行系统的飞行系统运行数据;
将所述飞行阶段和所述飞行系统运行数据设定为所述飞行状态信息。
在一种可能的实现方式中,确定单元还用于:
将所述飞行状态信息中的飞行系统运行数据与预设的异常判定阈值进行对比,得到系统状态对比结果;
根据所述系统状态对比结果,确定所述飞机的目标系统异常等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略。
在一种可能的实现方式中,确定单元还用于:
将所述人员状态数据与预设的疲劳判定阈值进行对比,得到人员状态对比结果;
根据所述人员状态对比结果,确定所述目标人员的目标疲劳等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略。
在一种可能的实现方式中,确定单元还用于:
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的非飞行关键阶段,则显示预设的第一提示文本,并播放预设的提示音频;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则显示预设的第二提示文本;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的重度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则不进行疲劳警示。
在一种可能的实现方式中,获取单元还用于:
获取机组中目标人员的面部图像;
对所述面部图像进行面部识别处理,得到所述机组的面部特征,其中,所述面部特征包括眼部特征、头部姿态特征和唇部特征中的至少一者;
根据所述面部特征,确定所述目标人员的人员状态数据。
在一种可能的实现方式中,确定单元还用于:
获取驾驶舱中目标预警部件的部件标识;
根据所述部件标识,确定所述目标预警部件对应的目标预警文本;
根据所述目标预警文本、所述人员状态数据和所述飞行状态信息,确定疲劳警示策略。
第三方面,本申请还提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种机组疲劳预警方法中的步骤。
第四方面,本申请还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行所述的机组疲劳预警方法中的步骤。
综上所述,本申请包括:获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;根据所述疲劳警示策略,对所述机组进行疲劳预警。因此根据本申请提供的机组疲劳预警方法进行疲劳预警时,可以根据飞机的飞行状态信息,选择最合适的疲劳警示策略,避免不合适的疲劳警示策略在机组需要高度注意力集中的紧急状态下吸引机组的注意力,影响机组的操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的机组疲劳预警系统的应用场景示意图;
图2是本申请实施例中提供的机组疲劳预警方法的一种流程示意图;
图3是本申请实施例中提供的确定疲劳警示策略的一种流程示意图;
图4是本申请实施例中提供的可以执行机组疲劳预警方法的一种系统架构示意图;
图5是本申请实施例中提供的机组疲劳预警装置的一个实施例结构示意图;
图6是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的过程进行详细阐述,以避免不必要的细节使本申请实施例的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种机组疲劳预警方法、装置、电子设备及可读存储介质。其中,该机组疲劳预警装置可以集成在电子设备中,该电子设备可以采用单独运行的工作方式,或者也可以采用设备集群的工作方式。
本申请实施例机组疲劳预警方法的执行主体可以为本申请实施例提供的机组疲劳预警装置,也可以是电子设备,下文中将以电子设备作为执行主体举例进行解释,需要说明的是,以电子设备作为执行主体进行举例仅仅是为了方便理解,并不能作为对本申请的限制。
参见图1,图1是本申请实施例所提供的机组疲劳预警系统的场景示意图。其中,该机组疲劳预警系统可以包括电子设备100,电子设备100中集成有机组疲劳预警装置。
另外,如图1所示,该机组疲劳预警系统还可以包括存储器200,用于存储信息。
需要说明的是,图1所示的机组疲劳预警系统的场景示意图仅仅是一个示例,本申请实施例描述的机组疲劳预警系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着机组疲劳预警系统的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
参照图2,图2是本申请实施例提供的机组疲劳预警方法的一种流程示意图。需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。该机组疲劳预警方法包括步骤201~203,其中:
201、获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息。
目标人员是指机组中控制飞机飞行的飞行员。在目标人员的日常工作中,航班安排的不合理、机舱的噪声和振动、气压变化、长时间飞行、无规律工作、高应激状态、昼夜节律紊乱以及睡眠不足等原因常常使目标人员处于短期或者长期的疲劳状态。这种疲劳状态容易引发目标人员操作能力下降,做出错误判断,导致飞行错觉,甚至引发更严重的飞行事故,如坠机,空中相撞等,严重威胁航空安全。因此需要获取目标人员的生理数据,以判断目标人员是否疲劳,避免产生飞行事故。
人员状态数据是指用于判断目标人员疲劳情况的生理数据。
在一些实施例中,人员状态数据可以是需要佩戴测量仪器才能测量得到的生理数据。例如,人员状态数据可以是血压和脉搏,当目标人员坐在驾驶舱内时,需要将血压仪、脉搏仪等测量仪器佩戴在身上,进而电子设备可以通过测量仪器测量得到目标人员的人员状态数据。
在另一些实施例中,人员状态数据可以是需要无需佩戴测量仪器即可得到的生理数据,在这些实施例中,目标人员在控制飞机飞行时不会受到测量仪器的束缚,既提高了目标人员的舒适感,也避免了测量仪器影响目标人员的正常操作。示例性地,人员状态数据可以是目标人员的面部特征数据。例如,人员状态数据可以包括目标人员的眨眼次数,打哈欠次数和眼部血丝的分布情况等生理数据。当人员状态数据是目标人员的面部特征数据时,电子设备可以通过设置在驾驶舱显示板上的图像获取设备捕获目标人员的面部图像,进而根据面部图像得到人员状态数据。此时,所述获取机组中目标人员的人员状态数据,包括:
(1.1)获取机组中目标人员的面部图像。
如上文所述,电子设备可以通过设置在驾驶舱显示板上的图像获取设备捕获目标人员的面部图像,进而根据面部图像得到人员状态数据。本申请实施例对图像获取设备的种类不进行限制,例如,电子设备可以通过红外摄像头、彩色摄像头等图像获取设备对目标人员的面部进行图像捕获,以得到面部图像。
(1.2)对所述面部图像进行面部识别处理,得到所述机组的面部特征,其中,所述面部特征包括眼部特征、头部姿态特征和唇部特征中的至少一者。
(1.3)根据所述面部特征,确定所述目标人员的人员状态数据。
其中,眼部特征是指面部图像中包含眼部信息的特征向量。眼部特征可以是多个眼部子部位中一个子部位的特征。示例性地,眼部特征可以是眼皮、瞳孔等子部位中一个子部位的特征。例如,眼部特征可以是用于表征上下眼皮之间相对位置关系的眼皮位置特征。
当面部特征为眼皮位置特征时,电子设备可以对多张等时间间隔的面部图像进行眼皮位置检测,确定各面部图像中上眼皮和下眼皮各自的位置,然后将多张面部图像中上下眼皮之间位置靠近的面部图像判定为闭眼图像。根据闭眼图像的数量以及时间间隔,电子设备可以计算得到人员状态数据中的闭眼时长。具体地,电子设备可以通过训练好的眼部开合分类模型对面部图像进行处理,得到闭眼时长。以下简单介绍眼部开合分类模型,眼部开合分类模型可以包含第一特征向量提取层、第一预测层和计算层:
第一特征向量提取层可以由去除全连接层的卷积神经网络(ConvolutionalNeural Networks,CNN)构成,用于提取各面部图像中的眼皮位置特征。电子设备可以将各面部图像分别输入第一特征向量提取层,经过卷积、池化等操作后,得到各面部图像中的眼皮位置特征。
第一预测层可以由卷积神经网络中的全连接层构成,用于根据面部图像中的眼皮位置特征进行预测,判断面部图像是否属于闭眼图像。例如对于每一张面部图像,可以根据眼皮位置特征计算得到上下眼皮之间的最大间距,然后根据该面部图像的最大间距判断该面部图像是否为闭眼图像。
计算层用于根据闭眼图像的数量以及时间间隔计算得到闭眼时长。
需要说明的是,眼部开合分类模型可以对多张面部图像并列地进行眼皮位置特征的提取和预测,然后将各预测结果输入计算层中以计算得到闭眼时长,此时,眼部开合分类模型中包含多个并行的第一特征向量提取层和第一预测层,各第一特征向量提取层与对应的第一预测层连接,所有第一预测层均与计算层连接。眼部开合分类模型也可以依次对每张面部图像进行眼皮位置特征的提取和预测,然后将预测结果输入计算层中,所有的预测结果都输入至计算层中后,电子设备通过计算层计算得到闭眼时长,此时,眼部开合分类模型中仅包含一个第一特征向量提取层和第一预测层。
其中,头部姿态特征是指面部图像中包含目标人员的头部姿态信息的特征。例如,头部姿态特征可以是表征头部位置的头部位置特征。
当头部姿态特征是头部位置特征时,电子设备可以对多张等时间间隔的面部图像进行头部位置检测,确定各面部图像的头部位置特征,并判断各面部图像属于低头图像还是抬头图像,然后根据面部图像的顺序和各面部图像的图像种类判断在多张面部图像中,目标人员一共进行了几次点头。例如,如果第n-1张面部图像是低头图像,即在第n-1张面部图像中,目标人员的头部在预设的基准位置之下,而第n张面部图像是抬头图像,即第n张面部图像中,目标人员的头部在预设的基准位置之上,则可以判定目标人员进行了一次点头。根据点头的次数、面部图像的总数量以及时间间隔,电子设备可以计算得到人员状态数据中的点头频率。具体地,电子设备可以通过训练好的点头频率计算模型对面部图像进行处理,得到点头频率。以下简单介绍点头频率计算模型,点头频率计算模型可以包含第二特征向量提取层、第二预测层和点头判定层:
第二特征向量提取层可以由去除全连接层的卷积神经网络(ConvolutionalNeural Networks,CNN)构成,用于提取各面部图像中的头部位置特征。电子设备可以将各面部图像分别输入第二特征向量提取层,经过卷积、池化等操作后,得到面部图像中目标人员的头部位置特征。
第二预测层可以由卷积神经网络中的全连接层构成,用于根据头部位置特征进行预测,判断面部图像属于低头图像还是抬头图像,即目标人员的头部在预设的基准位置之下还是预设的基准位置之上。
点头判定层用于根据各面部图像的图像种类和各面部图像的顺序判断目标人员一共进行了几次点头,得到点头次数,然后根据点头次数、面部图像的总数量以及时间间隔,计算得到点头频率。
同样地,点头频率计算模型可以对多张面部图像并列地进行头部位置特征的提取和预测,然后将各预测结果输入点头判定层中以计算得到点头频率,此时,点头频率计算模型中包含多个并行的第二特征向量提取层和第二预测层,各第二特征向量提取层与对应的第二预测层连接,所有第二预测层均与点头判定层连接。点头频率计算模型也可以依次对每张面部图像进行头部位置特征的提取和预测,然后将预测结果输入点头判定层中,所有的预测结果都输入至点头判定层中后,电子设备通过点头判定层计算得到点头频率,此时,点头频率计算模型中仅包含一个第二特征向量提取层和第二预测层。
其中,唇部特征是指面部图像中包含唇部信息的特征。例如,唇部特征可以是表征唇部开合程度的唇部位置特征。
当面部特征为唇部位置特征时,电子设备可以对多张等时间间隔的面部图像进行唇部位置检测,确定多张面部图像中上嘴唇和下嘴唇各自的位置,并判断各面部图像属于张嘴图像还是闭嘴图像,然后根据面部图像的顺序和各面部图像的图像种类判断在多张面部图像中,目标人员一共进行了几次打哈欠。例如,如果第n-1张面部图像是张嘴图像,而第n张面部图像是闭嘴图像,则可以判定目标人员进行了一次打哈欠。根据打哈欠的次数、面部图像的总数量以及时间间隔,电子设备可以计算得到人员状态数据中的打哈欠频率。具体地,电子设备可以通过训练好的打哈欠频率计算模型对面部图像进行处理,得到打哈欠频率。打哈欠频率计算模型的具体构成可以参考点头频率计算模型,不再进行赘述。
同样地,打哈欠频率计算模型可以对多张面部图像并行进行唇部位置特征的提取和预测,也可以依次对每张面部图像进行唇部位置特征的提取和预测,具体不再赘述。
飞行状态信息是指飞行时飞机的状况信息。飞行状态信息可以表征飞机当前的系统运行优良状态,和/或飞机所处的当前飞行阶段。
在一些实施例中,飞行状态信息可以包括飞机飞行时,内部系统的运行参数。例如,飞行状态信息可以包括飞机内部液压系统的压力值,或者两翼油箱中的油量。这些运行参数可以表征飞机当前系统的系统运行优良状态,以飞行状态信息是两翼油箱中的油量为例,如果两翼油箱中左翼油箱的油量远低于右翼油箱的油量,则说明当前的油量分布不均匀,飞机当前系统的系统运行情况需要引起机组人员注意。
在另一些实施例中,飞机状态信息还可以包括飞机的当前飞行阶段。示例性地,可以将飞机的整个飞行阶段根据飞行高度、飞行速度和发动机功率进行划分,参考表1:
Figure BDA0003494037810000111
Figure BDA0003494037810000121
表1
电子设备可以将飞行高度、飞行速度和发动机功率与表1进行对比,确定当前的飞行阶段。在表1中的各飞行阶段中,飞行阶段3-飞行阶段8是需要目标人员集中精力进行飞行控制的航段,因此如果电子设备根据飞行高度、飞行速度和发动机功率得到的飞行阶段是飞行阶段3-飞行阶段8中的航段,则说明当前飞机处于飞行的关键航段,需要机组人员高度集中注意力。
需要说明的是,表1仅为方便说明,不能理解为对本申请实施例的限制。
可见,无论是飞行阶段还是内部系统的运行参数都可以表征当前对机组人员注意力要求的高低。因此电子设备在获取飞行状态信息时,可以仅获取当前的飞行阶段,以得到飞行状态信息。也可以仅获取飞机飞行时,内部系统的运行参数,以得到飞行状态信息。还可以同时获取当前的飞行阶段和内部系统的运行参数,以得到飞行状态信息。此时,所述获取飞机的飞行状态信息,包括:
(2.1)获取飞机的飞行高度、飞行速度和发动机功率。
(2.2)根据所述飞行高度、所述飞行速度和所述发动机功率,确定所述飞机的飞行阶段。
电子设备可以将飞行高度、飞行速度和发动机功率与表1进行对比,确定当前的飞行阶段。例如,如果飞行高度为0,飞行速度为60节,第一发动机的功率大于0,并且不等于预设起飞功率,则需要从存储空间中读取本次的飞行阶段记录,判断是否已经记录有飞行阶段3和飞行阶段8,如果有则当前的飞行阶段为飞行阶段9,如果没有则当前的飞行阶段为飞行阶段2。
(2.3)获取所述飞机中飞行系统的飞行系统运行数据。
飞行系统运行数据是指上文中内部系统的运行参数,例如可以是飞机内部液压系统的压力值,或者两翼油箱中的油量等运行参数。
(2.4)将所述飞行阶段和所述飞行系统运行数据设定为所述飞行状态信息。
202、根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略。
根据人员状态数据和飞行状态信息,可以分别确定目标人员当前的疲劳程度,以及当前对机组人员注意力要求的高低。根据疲劳程度和注意力要求的高低,电子设备可以选取合适的疲劳警示策略,以避免疲劳警示时分散机组人员的注意力,影响飞机的操作。
疲劳警示策略是指电子设备对机组人员进行疲劳警示时的警示策略。疲劳警示策略可以包括显示策略和音频播放策略,例如,疲劳警示策略可以包括警示时的文本和文本颜色,以及警示音频的音频内容。
在确定疲劳警示策略之前,电子设备还可以首先根据人员状态数据确定目标人员是否疲劳,具体的确定方法与下文中确定目标疲劳等级的方法类似,在此不进行赘述。
在一些实施例中,电子设备可以根据飞行系统运行数据对飞机当前的系统运行优良状态进行分级,以提高疲劳警示策略与场景的匹配性。此时所述根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略,包括:
(3.1)将所述飞行状态信息中的飞行系统运行数据与预设的异常判定阈值进行对比,得到系统状态对比结果。
异常判定阈值是用于评估飞机内系统运行情况的预设值。对于飞机内的不同内部系统,可以预先设定不同的异常判定阈值。例如对于飞机内的液压系统,可以设定第一异常判定阈值,对于飞机的两翼油箱,可以设定第二异常判定阈值。电子设备获取的飞行系统运行数据不同,则在对比时应选择不同的阈值进行对比。
进一步地,对于评估一个内部系统的异常判定阈值,其还可以包括多个用于评估异常程度的值。例如对于用于评估飞机内液压系统的异常判定阈值,其可以包括2个用于划分不同异常程度的值,其中小于或等于异常判定阈值A对应无异常,大于异常判定阈值A并且小于或等于异常判定阈值B对应轻度异常,大于异常判定阈值B对应重度异常。
系统状态对比结果是指飞行系统运行数据与对应异常判定阈值之间的对比结果。例如飞行系统运行数据是液压系统的运行数据时,系统状态对比结果是液压系统的运行数据和用于评估液压系统的异常判定阈值之间的对比结果。又例如飞行系统运行数据同时包含液压系统的运行数据,以及两翼油箱中左翼油箱和两翼油箱中右翼油箱之间的油量差时,系统状态对比结果包括液压系统的运行数据和用于评估液压系统的异常判定阈值之间的第一对比结果,以及油量差和用于评估两翼油箱的异常判定阈值之间的第二对比结果。
(3.2)根据所述系统状态对比结果,确定所述飞机的目标系统异常等级。
目标系统异常等级是预设的多个异常等级中,系统状态对比结果对应的等级。具体地,可以将飞机内的每个内部系统按照重要性和对飞行安全的影响对应至不同的异常等级。例如,液压系统可以对应重度异常,两翼油箱可以对应轻度异常,如果系统状态对比结果为液压系统出现异常,两翼油箱未出现异常时,目标系统异常等级为重度异常,如果系统状态对比结果为两翼油箱出现异常,液压系统未出现异常,则目标系统异常等级为轻度异常。如果系统状态对比结果为液压系统和两翼油箱同时出现异常,则将异常等级较高的等级作为目标系统异常等级,由于液压系统对应重度异常,两翼油箱对应轻度异常,因此目标系统异常等级为重度异常。
在一些实施例中,目标系统异常等级还可以是飞机中通用的异常告警等级。在飞机中,通常会采用警戒、警告、咨询和咨询以下4个等级作为异常告警等级,根据内部系统的运行参数,即飞行系统运行数据判断当前的异常告警等级。因此电子设备也可以将上述4个等级作为预设的异常等级,在警戒、警告、咨询和咨询以下中确定目标系统异常等级,免去人工划分异常等级的工作量。
(3.3)根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略。
为了进一步提高确定疲劳警示策略时的精确性,还可以根据人员状态数据对目标人员的疲劳程度进行分级。此时所述根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略,包括:
(4.1)将所述人员状态数据与预设的疲劳判定阈值进行对比,得到人员状态对比结果。
(4.2)根据所述人员状态对比结果,确定所述目标人员的目标疲劳等级。
疲劳判定阈值可以根据不同种类的人员状态数据设置,假设人员状态数据是闭眼时长,则可以将疲劳判定阈值设定为与闭眼时长相关的阈值,假设人员状态数据中包括闭眼时长和点头频率,则可以将疲劳判定阈值中的第一阈值设定为与闭眼时长相关的阈值,将疲劳判定阈值中的第二阈值设定为与点头频率相关的阈值,在对比时,将闭眼时长与第一阈值进行对比,得到人员状态对比结果中的第一结果,将点头频率与第二阈值进行对比,得到人员状态对比结果中的第二结果。此外,对于每种人员状态数据对应的疲劳判定阈值,其应由多个值组成,以便对疲劳程度进行多段分级。假设人员状态数据是闭眼时长,则疲劳判定阈值中可以包含分别对应不疲劳、轻度疲劳和重度疲劳的3个阈值,例如疲劳判定阈值中可以包含0.5秒和2秒2个值,如果人员状态数据中的闭眼时长小于或等于0.5秒,则说明目标人员不疲劳,如果闭眼时长大于0.5秒并且小于或等于2秒,则说明目标人员处于轻度疲劳的状态,如果闭眼时长大于2秒,则说明目标人员处于重度疲劳的状态。
人员状态对比结果是指人员状态数据和疲劳判定阈值的对比结果。假设人员状态数据是闭眼时长,疲劳判定阈值中包含0.5秒和2秒2个值,人员状态数据中的闭眼时长为0.2秒,则人员状态对比结果为闭眼时长小于0.5秒。
目标疲劳等级是指在预设的疲劳等级中,根据人员状态对比结果得到的对应等级。继续以上述例子进行说明,如果预设的疲劳等级分别为不疲劳、轻度疲劳和重度疲劳,并且各等级分别对应人员状态数据中的闭眼时长小于或等于0.5秒、闭眼时长大于0.5秒并且小于或等于2秒、以及闭眼时长大于2秒,如果人员状态对比结果为闭眼时长小于0.5秒,则可以理解的是目标疲劳等级为不疲劳。
需要说明的是,本申请实施例中对疲劳等级的划分仅为方便说明,不能理解为对本申请的限制。
(4.3)根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略。
在当前对机组人员注意力要求不高的情况下,对于不同的目标疲劳等级,可以采用不同的疲劳警示策略。对于疲劳程度较深的情况,例如当前飞机处于表1中的飞行阶段2,并且目标系统异常等级为无异常,目标疲劳等级为重度疲劳时,可以采用多谐音的音频警示,并且采用鲜艳的颜色作为文本颜色,以引起机组人员的注意。而目标疲劳等级为轻度疲劳时,可以采用单谐音的音频警示,并且采用白色等不鲜艳的颜色作为文本颜色。
相反地,在当前对机组人员注意力要求高的情况下,则可以采用不会分散机组人员注意力的疲劳警示策略。
例如,可以通过以下的判断方式确定目标疲劳等级为轻度疲劳时,飞机的疲劳警示策略。所述根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略,包括:
(a)若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的非飞行关键阶段,则显示预设的第一提示文本,并播放预设的提示音频。
非飞行关键阶段是指对机组人员注意力要求不高的航段。以表1为例,非飞行关键阶段是指其中的飞行阶段1、飞行阶段2、飞行阶段9和飞行阶段10。
第一提示文本中的文本内容可以与目标疲劳等级相关,例如目标疲劳等级为轻度疲劳时,第一提示文本中的文本内容可以是“轻度疲劳”。此外,第一提示文本中的文字颜色等文本属性也可以与目标疲劳等级相关,例如目标疲劳等级为轻度疲劳时,第一提示文本中的文字颜色可以是能够引起机组人员注意的蓝色。
(b)若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则显示预设的第二提示文本。
飞行关键阶段是对机组人员注意力要求高的航段。以表1为例,飞行关键阶段是指其中的飞行阶段3-飞行阶段8。
第二提示文本可以与第一提示文本相同,也可以与第一提示文本不同。例如第二提示文本中的文本颜色可以是比第一提示文本中文本颜色更浅的颜色,因此在系统异常等级为轻度异常时,避免分散机组人员的注意力,又可以提醒机组人员目标人员当前处于疲劳状态。
(c)若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的重度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则不进行疲劳警示。
如果系统异常等级为重度异常,并且飞行阶段为飞行关键阶段,则此时不应当进行疲劳警示,以保证机组人员能够集中注意力对飞机进行操控。
需要说明的是,(a)、(b)、(c)仅为疲劳警示策略的3种情况,具体在表2中对所有的情况进行举例,在表2中为了使疲劳警示策略更加细致,将疲劳等级按照疲劳程度从低到高分为一级疲劳、二级疲劳、三级疲劳和四级疲劳4个等级,分别代表:目标人员疑似疲劳、目标人员轻度疲劳、目标人员中度疲劳和目标人员严重疲劳;将系统异常等级分为警告、警戒、咨询和咨询以下4个等级,将飞行阶段分为非飞行关键阶段和飞行关键阶段。具体的划分方法可以参考上文中距离的方法,本申请实施例不对疲劳等级和系统异常等级的分法进行限制,表2仅为了方便理解:
Figure BDA0003494037810000171
Figure BDA0003494037810000181
表2
203、根据所述疲劳警示策略,对所述机组进行疲劳预警。
电子设备可以根据确定的疲劳警示策略,控制音频输出设备和显示屏进行疲劳预警。
综上所述,本申请实施例包括:获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;根据所述疲劳警示策略,对所述机组进行疲劳预警。因此根据本申请实施例提供的机组疲劳预警方法进行疲劳预警时,可以根据飞机的飞行状态信息,选择最合适的疲劳警示策略,避免不合适的疲劳警示策略在机组需要高度注意力集中的紧急状态下吸引机组的注意力,影响机组的操作。
在一些实施例中,由于驾驶舱中对于每个机组人员都有单独的预警设备,因此电子设备还可以在目标疲劳等级、目标系统异常等级和飞行阶段相同的情况下,对不同的机组人员采用不同的疲劳警示策略。参考图3,此时所述根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略,包括:
301、获取驾驶舱中目标预警部件的部件标识。
目标预警部件是驾驶舱中用于进行疲劳预警的部件。具体地,目标预警部件包括显示部件和音频播放部件,例如目标预警部件可以是目标人员面前的显示屏和目标人员的耳机。
部件标识用于区分不同预警部件。示例性地,电子设备可以通过目标预警部件在电路中的位置和连接情况确定目标预警部件的部件标识。获取部件标识的原因是在驾驶舱中不同的预警部件对应的部件标识不同,并且飞行时每个预警部件对应的机组人员也不同,因此根据部件标识可以确定对应的机组人员。
302、根据所述部件标识,确定所述目标预警部件对应的目标预警文本。
303、根据所述目标预警文本、所述人员状态数据和所述飞行状态信息,确定疲劳警示策略。
目标预警文本是指进行疲劳预警时,在显示屏上显示的文本。在飞机的存储空间中,存储有每个预警部件对应的预警文本,当执行步骤302时,电子设备可以根据部件标识,从预警文本中选取目标预警部件对应的目标预警文本。可以理解的是,上文中的第一提示文本和第二提示文本均为目标预警文本。
通过步骤301-步骤302,可以实现对于不同的机组人员,显示屏上显示内容不同的功能,以提示机组人员进行相应的动作。例如,当目标疲劳等级为三级疲劳,目标系统异常等级为咨询,飞行阶段为非飞行关键阶段时,对于目标人员,显示屏上显示的内容可以是“请注意,您已进入中度疲劳状态,建议及时安排轮休!”,对于机组中的监控人员,显示屏上显示的内容可以是“请注意,把杆飞行员已进入中度疲劳状态,建议提醒把杆飞行员合理安排轮休!”
以下具体举一例说明机组疲劳预警方法的流程:
(一)获取目标人员的人员状态数据和飞机的飞行状态信息,飞行状态信息中包括飞机当前的飞行阶段和飞行系统运行数据。
(二)根据人员状态数据,判断目标人员是否疲劳,如果目标人员疲劳,则可以确定目标人员的目标疲劳等级,并根据目标疲劳等级,确定仅考虑目标人员的疲劳状况时,即处于非飞行关键阶段,并且目标系统异常等级为咨询类/咨询以下类时,疲劳警示策略中文字颜色、文本内容和声音提示内容,具体可以参考表2中的对应关系,或者,可以参考表6中的对应关系,例如目标疲劳等级是二级疲劳时,文字颜色为青色,文本内容为“轻度疲劳”,声音提示内容为语音提示“轻度疲劳”并伴随有单谐音提示。
(三)根据飞行状态信息中飞机当前的飞行阶段,判断当前是否为飞行关键阶段,如果是,则跳转至步骤(四),如果不是,则跳转至步骤(五)
(四)根据飞行状态信息中的飞行系统运行数据,判断目标系统异常等级,如果目标系统异常等级为警告类/警戒类,则根据目标疲劳等级查询表3,确定疲劳警示策略,其中显示、声音全部抑制是指在目标人员对应的显示屏上不显示步骤(二)中已经确定好的文本,并且在目标人员对应的声音播放装置中不播放步骤(二)中已经确定好的声音提示内容;
如果目标系统异常等级为咨询类/咨询以下类,则根据目标疲劳等级查询表4,确定疲劳警示策略,其中是否显示文本是指在目标人员对应的显示屏上是否显示步骤(二)中已经确定好的文本,是否播放声音是指在目标人员对应的声音播放装置中是否播放步骤(二)中已经确定好的声音提示内容。
(五)根据飞行状态信息中的飞行系统运行数据,判断目标系统异常等级,如果目标系统异常等级为警告类/警戒类,则根据目标疲劳等级查询表5,确定疲劳警示策略;
如果目标系统异常等级为咨询类/咨询以下类,则根据目标疲劳等级查询
表6,确定疲劳警示策略。
Figure BDA0003494037810000201
Figure BDA0003494037810000211
表3
目标疲劳等级 是否显示文本 是否播放声音
一级疲劳 是(以闪烁的形式显示)
二级疲劳 是(以闪烁的形式显示)
三级疲劳 是(以闪烁的形式显示)
四级疲劳
表4
Figure BDA0003494037810000212
表5
Figure BDA0003494037810000213
Figure BDA0003494037810000221
表6
需要说明的是,在步骤(二)中也可以不确定疲劳警示策略中文字颜色、文本内容和声音提示内容,而是在步骤(四)或者步骤(五)中,同时结合目标疲劳等级、飞行阶段和目标系统异常等级,从表2中综合选取合适的疲劳警示策略。
以下说明一种可以执行本申请实施例中机组疲劳预警方法的系统。参考图4,该系统具体包括:
机载检测模块401,可以是红外摄像头、彩色摄像头等设备,机载检测模块401具体可以包括以下模块:
传感采集模块4011,用于采集提取目标人员的面部图像;
数据分析处理模块4012,用于对采集到的面部图像进行处理,得到人员状态数据,并将人员状态数据与机组基础面部状态模型库子模块4013中存储的数据进行对比,得到目标疲劳等级;
机组基础面部状态模型库子模块4013,用于存储与人员状态数据进行对比的数据;
网络接口模块4014,用于与202机载核心模块进行接口。
机载核心模块402,可以使用机载已有的核心网络,也可以单独建立一个网络。包括以下模块:
飞行告警子模块4021,用于接收飞机各系统信息,获取飞行阶段、飞行系统运行数据和目标疲劳等级,还用于根据飞行系统运行数据确定目标系统异常等级;
综合处理子模块4022,用于对4021飞行告警子模块接收到的信息进行综合分析与处理,对飞行阶段、目标系统异常等级和目标疲劳等级进行判断表决,确定疲劳警示策略,并将疲劳警示策略发送至驾驶舱预警模块403;
驾驶舱预警模块403,可以复用驾驶舱已有的预警部件,也可为本方案单独设置预警部件,包括以下模块:
显示子模块4031,用于根据疲劳警示策略中的显示策略进行预警;
音频播放子模块4032,用于根据疲劳警示策略中的音频播放策略进行预警。
为了更好实施本申请实施例中机组疲劳预警方法,在机组疲劳预警方法基础之上,本申请实施例中还提供一种机组疲劳预警装置,如图5所示,为本申请实施例中机组疲劳预警装置的一个实施例结构示意图,该机组疲劳预警装置500包括:
获取单元501,用于获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;
确定单元502,用于根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;
预警单元503,用于根据所述疲劳警示策略,对所述机组进行疲劳预警。
在一种可能的实现方式中,获取单元501还用于:
获取飞机的飞行高度、飞行速度和发动机功率;
根据所述飞行高度、所述飞行速度和所述发动机功率,确定所述飞机的飞行阶段;
获取所述飞机中飞行系统的飞行系统运行数据;
将所述飞行阶段和所述飞行系统运行数据设定为所述飞行状态信息。
在一种可能的实现方式中,确定单元502还用于:
将所述飞行状态信息中的飞行系统运行数据与预设的异常判定阈值进行对比,得到系统状态对比结果;
根据所述系统状态对比结果,确定所述飞机的目标系统异常等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略。
在一种可能的实现方式中,确定单元502还用于:
将所述人员状态数据与预设的疲劳判定阈值进行对比,得到人员状态对比结果;
根据所述人员状态对比结果,确定所述目标人员的目标疲劳等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略。
在一种可能的实现方式中,确定单元502还用于:
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的非飞行关键阶段,则显示预设的第一提示文本,并播放预设的提示音频;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则显示预设的第二提示文本;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的重度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则不进行疲劳警示。
在一种可能的实现方式中,获取单元501还用于:
获取机组中目标人员的面部图像;
对所述面部图像进行面部识别处理,得到所述机组的面部特征,其中,所述面部特征包括眼部特征、头部姿态特征和唇部特征中的至少一者;
根据所述面部特征,确定所述目标人员的人员状态数据。
在一种可能的实现方式中,确定单元502还用于:
获取驾驶舱中目标预警部件的部件标识;
根据所述部件标识,确定所述目标预警部件对应的目标预警文本;
根据所述目标预警文本、所述人员状态数据和所述飞行状态信息,确定疲劳警示策略。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由于该机组疲劳预警装置可以执行本申请任意实施例中机组疲劳预警方法中的步骤,因此,可以实现本申请任意实施例中机组疲劳预警方法所能实现的有益效果,详见前面的说明,在此不再赘述。
此外,为了更好实施本申请实施例中机组疲劳预警方法,在机组疲劳预警方法基础之上,本申请实施例还提供一种电子设备,参阅图6,图6示出了本申请实施例电子设备的一种结构示意图,具体的,本申请实施例提供的电子设备包括处理器601,处理器601用于执行存储器602中存储的计算机程序时实现任意实施例中机组疲劳预警方法的各步骤;或者,处理器601用于执行存储器602中存储的计算机程序时实现如图5对应实施例中各单元的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器602中,并由处理器601执行,以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括,但不仅限于处理器601、存储器602。本领域技术人员可以理解,示意仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备还可以包括输入输出设备、网络接入设备、总线等,处理器601、存储器602、输入输出设备以及网络接入设备等通过总线相连。
处理器601可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字指令处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
存储器602可用于存储计算机程序和/或模块,处理器601通过运行或执行存储在存储器602内的计算机程序和/或模块,以及调用存储在存储器602内的信息,实现计算机装置的各种功能。存储器602可主要包括存储程序区和存储信息区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储信息区可存储根据电子设备的使用所创建的信息(比如音频信息、视频信息等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的机组疲劳预警装置、电子设备及其相应单元的具体工作过程,可以参考任意实施例中机组疲劳预警方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请任意实施例中机组疲劳预警方法中的步骤,具体操作可参考任意实施例中机组疲劳预警方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请任意实施例中机组疲劳预警方法中的步骤,因此,可以实现本申请任意实施例中机组疲劳预警方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请实施例所提供的一种机组疲劳预警方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种机组疲劳预警方法,其特征在于,所述方法包括:
获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;
根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;
根据所述疲劳警示策略,对所述机组进行疲劳预警。
2.根据权利要求1所述的机组疲劳预警方法,其特征在于,所述获取飞机的飞行状态信息,包括:
获取飞机的飞行高度、飞行速度和发动机功率;
根据所述飞行高度、所述飞行速度和所述发动机功率,确定所述飞机的飞行阶段;
获取所述飞机中飞行系统的飞行系统运行数据;
将所述飞行阶段和所述飞行系统运行数据设定为所述飞行状态信息。
3.根据权利要求1所述的机组疲劳预警方法,其特征在于,所述根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略,包括:
将所述飞行状态信息中的飞行系统运行数据与预设的异常判定阈值进行对比,得到系统状态对比结果;
根据所述系统状态对比结果,确定所述飞机的目标系统异常等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略。
4.根据权利要求3所述的机组疲劳预警方法,其特征在于,所述根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述人员状态数据,确定疲劳警示策略,包括:
将所述人员状态数据与预设的疲劳判定阈值进行对比,得到人员状态对比结果;
根据所述人员状态对比结果,确定所述目标人员的目标疲劳等级;
根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略。
5.根据权利要求4所述的机组疲劳预警方法,其特征在于,所述根据所述飞行状态信息中的飞行阶段、所述目标系统异常等级和所述目标疲劳等级,确定疲劳警示策略,包括:
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的非飞行关键阶段,则显示预设的第一提示文本,并播放预设的提示音频;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的轻度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则显示预设的第二提示文本;
若所述目标疲劳等级为预设的轻度疲劳,所述系统异常等级为预设的重度异常,所述飞行状态信息中飞行阶段为预设的飞行关键阶段,则不进行疲劳警示。
6.根据权利要求1所述的机组疲劳预警方法,其特征在于,所述获取机组中目标人员的人员状态数据,包括:
获取机组中目标人员的面部图像;
对所述面部图像进行面部识别处理,得到所述机组的面部特征,其中,所述面部特征包括眼部特征、头部姿态特征和唇部特征中的至少一者;
根据所述面部特征,确定所述目标人员的人员状态数据。
7.根据权利要求1-6任一项所述的机组疲劳预警方法,其特征在于,所述根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略,包括:
获取驾驶舱中目标预警部件的部件标识;
根据所述部件标识,确定所述目标预警部件对应的目标预警文本;
根据所述目标预警文本、所述人员状态数据和所述飞行状态信息,确定疲劳警示策略。
8.一种机组疲劳预警装置,其特征在于,所述机组疲劳预警装置包括:
获取单元,用于获取机组中目标人员的人员状态数据,并获取飞机的飞行状态信息;
确定单元,用于根据所述人员状态数据和所述飞行状态信息,确定疲劳警示策略;
预警单元,用于根据所述疲劳警示策略,对所述机组进行疲劳预警。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的机组疲劳预警方法。
10.一种可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的机组疲劳预警方法中的步骤。
CN202210106243.8A 2022-01-28 2022-01-28 机组疲劳预警方法、装置、电子设备及可读存储介质 Active CN114446008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106243.8A CN114446008B (zh) 2022-01-28 2022-01-28 机组疲劳预警方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106243.8A CN114446008B (zh) 2022-01-28 2022-01-28 机组疲劳预警方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114446008A true CN114446008A (zh) 2022-05-06
CN114446008B CN114446008B (zh) 2022-11-04

Family

ID=81370515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106243.8A Active CN114446008B (zh) 2022-01-28 2022-01-28 机组疲劳预警方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114446008B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936369A (zh) * 2022-12-08 2023-04-07 中国民航大学 一种基于任务信息的航班串疲劳等级评定方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075122A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Alert generation and related aircraft operating methods
CN106560400A (zh) * 2015-10-06 2017-04-12 霍尼韦尔国际公司 根据航空器控制设备移动的飞行员疲劳检测系统和方法
CN109528157A (zh) * 2017-09-22 2019-03-29 极光飞行科学公司 用于监测飞行员健康的系统和方法
CN111387996A (zh) * 2020-02-28 2020-07-10 中国民航大学 民航飞行员执勤前多指标疲劳检测仪
CN111634288A (zh) * 2020-04-30 2020-09-08 长城汽车股份有限公司 疲劳驾驶监测方法、系统及智能识别系统
WO2020186160A2 (en) * 2019-03-13 2020-09-17 Federal Express Corporation Mitigating operational risk in aircraft
CN111950398A (zh) * 2020-07-27 2020-11-17 上海仙豆智能机器人有限公司 一种疲劳驾驶处理方法、装置及计算机存储介质
CN112382053A (zh) * 2020-10-29 2021-02-19 中国商用飞机有限责任公司 用于监测飞机的机组人员的疲劳状态的方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075122A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Alert generation and related aircraft operating methods
CN106560400A (zh) * 2015-10-06 2017-04-12 霍尼韦尔国际公司 根据航空器控制设备移动的飞行员疲劳检测系统和方法
CN109528157A (zh) * 2017-09-22 2019-03-29 极光飞行科学公司 用于监测飞行员健康的系统和方法
WO2020186160A2 (en) * 2019-03-13 2020-09-17 Federal Express Corporation Mitigating operational risk in aircraft
CN111387996A (zh) * 2020-02-28 2020-07-10 中国民航大学 民航飞行员执勤前多指标疲劳检测仪
CN111634288A (zh) * 2020-04-30 2020-09-08 长城汽车股份有限公司 疲劳驾驶监测方法、系统及智能识别系统
CN111950398A (zh) * 2020-07-27 2020-11-17 上海仙豆智能机器人有限公司 一种疲劳驾驶处理方法、装置及计算机存储介质
CN112382053A (zh) * 2020-10-29 2021-02-19 中国商用飞机有限责任公司 用于监测飞机的机组人员的疲劳状态的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜朝曦 等: "一种对于疲劳驾驶的评估及预警方法", 《自动化博览》 *
孙瑞山 等: "飞行疲劳检测方法研究进展", 《职业与健康》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936369A (zh) * 2022-12-08 2023-04-07 中国民航大学 一种基于任务信息的航班串疲劳等级评定方法及系统

Also Published As

Publication number Publication date
CN114446008B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN108960065A (zh) 一种基于视觉的驾驶行为检测方法
CN103020594B (zh) 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法
CN108791299A (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
Kilingaru et al. Monitoring pilot “situation awareness”
US20220284737A1 (en) Method of assessing a pilot emotional state
US20130268146A1 (en) Method and a device for adapting the man-machine interface of an aircraft depending on the level of the pilot's functional state
CN114446008B (zh) 机组疲劳预警方法、装置、电子设备及可读存储介质
CN103035140A (zh) 汽车驾驶员危险驾驶行为矫正及评价系统
Dismukes et al. Checklists and monitoring in the cockpit: Why crucial defenses sometimes fail
Palada et al. Evidence accumulation in a complex task: Making choices about concurrent multiattribute stimuli under time pressure.
Chiles Workload, task, and situational factors as modifiers of complex human performance
Yang et al. Assessment of flight crew errors based on THERP
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法
CN106295474A (zh) 船舶驾驶员的疲劳检测方法、系统和服务器
CN108446673A (zh) 一种基于面部识别的管制员疲劳预警方法
Jiang et al. Correlation Evaluation of Pilots’ Situation Awareness in Bridge Simulations via Eye‐Tracking Technology
CN117547270A (zh) 一种多源数据融合的飞行员认知负荷反馈系统
Ramón Alamán et al. Attentional span of aircraft pilots: did you look at the speed?
Wang et al. Anticipated negative emotions effect on incident involvement among civil pilots
Martin et al. Objective measures of pilot workload
Yusuf et al. A simulation environment for investigating in-flight startle in general aviation
Diaz et al. Visual scan patterns of expert and cadet pilots in VFR landing
Jarvis et al. Development of a bespoke human factors taxonomy for gliding accident analysis and its revelations about highly inexperienced UK glider pilots
Yan et al. A methodology to detect pilot perception of warning information by eye movement data and deep residual shrinkage networks
Kale et al. OBJECTIVE MEASUREMENT OF HUMAN FACTORS FOR SUPPORTING THE OPERATOR’S LOAD SIMULATION AND MANAGEMENT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant