CN113158925A - 一种复合材料维修手册阅读工效预测方法和系统 - Google Patents

一种复合材料维修手册阅读工效预测方法和系统 Download PDF

Info

Publication number
CN113158925A
CN113158925A CN202110457865.0A CN202110457865A CN113158925A CN 113158925 A CN113158925 A CN 113158925A CN 202110457865 A CN202110457865 A CN 202110457865A CN 113158925 A CN113158925 A CN 113158925A
Authority
CN
China
Prior art keywords
work efficiency
reading work
maintenance
reading
manual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110457865.0A
Other languages
English (en)
Inventor
贺强
杨晓强
谭德强
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Flight University of China
Original Assignee
Civil Aviation Flight University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation Flight University of China filed Critical Civil Aviation Flight University of China
Priority to CN202110457865.0A priority Critical patent/CN113158925A/zh
Publication of CN113158925A publication Critical patent/CN113158925A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种复合材料维修手册阅读工效预测方法和系统，包括以下步骤：获取维修人员手册阅读视频及其面部表情AU；构建基于AU的维修手册阅读工效度量模式；构建基于支持向量机的维修手册阅读工效预测模型；通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。采用本发明的技术方案，可以支持阅读工效的动态监测与干预，从源头上减少复合材料结构适航维修中的人为差错并提高工作效率。

Description

一种复合材料维修手册阅读工效预测方法和系统
技术领域
本发明属于航空维修技术领域，尤其涉及一种利用复合材料结构适航维修中维修人员的面部表情(AU)来预测维修手册阅读工效的系统及方法。
背景技术
大量应用复合材料的民用飞机服役使得复合材料结构的适航维修成为飞机运行保障的一个新课题。复合材料适航维修是一项复杂的系统工程活动，人为因素对维修差错和效率均具有重要影响。而根据2010-2015年的不安全事件统计报告，事故征候中的维修人为差错因素呈上升趋势。因此，复合材料适航维修中的人为因素控制对于保障航空安全和提高维修经济效益均具有重要意义。
结构维修手册(SRM)是复合材料结构适航维修工作的主要依据。维修人员首先要通过对SRM的阅读，提取视觉信息，然后将其转化为文字描述，最后从阅读中得到所需信息以支持维修实践活动的开展。综上所述，手册阅读是维修工作的重要环节，需要维修人员精神高度集中，在这个过程中的人为差错将直接引发不安全事件及事故的发生。阅读工效综合体现了阅读速度和准确率，是信息显示是否符合人因工程的主要评价指标，已经成为当前“以人为中心”的产品设计能否成功的关键。阅读工效已经用于评价电子书、PPT和各类电子显示设备是否符合人因工程。近年来，也涌现出通过主观问卷和客观的眼动、生理电和脑电等情感信号来度量阅读工效的方法。然而，主观的方法是“事后型”评价，不能支持复合材料维修手册阅读工效的过程监测与干预，而客观的眼动、生理电和脑电等情感信号需要佩带专业的设备，这将干扰维修作业。面部表情占人类情感表达的50％以上，是一种与眼动和脑电等同等重要的情感信号，并且面部表情可以利用无接触拍摄的视频来提取，进而利用面部表情来度量阅读工效，从而实现其在线监测，对维修作业却没有任何干扰，有利于采取积极主动的干预以提高维修活动质量并减少维修差错。面部活动单元(Action Unit,AU)是基于面部行为编码系统对面部表情行为的编码。在情感计算中，AU实时提取的鲁棒性和精度得到了显著提升，为各类应用奠定了基础。针对航空维修这一特殊领域，尚未构建显著影响阅读工效的AU模式，以致未能构建满足复合材料适航维修需求的阅读工效预测模型。
发明内容
为了实现对复合材料适航维修中SRM阅读工效的实时监测，本发明提供一种基于维修人员手册阅读的实时视频提取面部表情(AU)来预测维修人员阅读工效的方法与和系统，支持阅读工效的动态监测与干预，从源头上减少复合材料结构适航维修中的人为差错并提高工作效率。
本为实现上述目的，本发明采用如下的技术方案：
一种复合材料维修手册阅读工效预测方法，包括以下步骤：
步骤1、获取维修人员手册阅读视频及其面部表情AU；
步骤2、构建基于AU的维修手册阅读工效度量模式；
步骤3、构建基于支持向量机的维修手册阅读工效预测模型；
步骤4、通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。
作为优选，步骤1中，在民机复合材料结构适航维修地布置用于获得维修人员面部图像的摄像头，并将视频实时传输到计算机上，利用面部行为分析软件工具提取视频每帧图像中出现的AU及其强度。
作为优选，所述摄像头是TP-LINK无线监控摄像头，AU采样频率为25帧/秒。
作为优选，步骤2中，对提取的每帧出现的AU及其强度采用AU频率AUP、平均强度AUI量化；设Ti是34维的由AUP和AUI构成的特征向量，yi为该特征向量对应的阅读工效值；Ti的每一维与yi进行Pearson相关性分析，在置信度95％下，与阅读工效显著相关的AUI和AUP构成了能度量阅读工效的面部表情模式xi。
作为优选，步骤3中，首先通过mapminmax函数对由面部表情组成的特征向量xi进行归一化处理，处理后的每个特征向量xi与阅读工效yi一一对应，形成训练样本集和测试样本集；然后通过fitrsvm函数完成训练样本集的学习训练，得到维修手册阅读工效预测模型。
作为优选，步骤4中，通过predict函数对测试样本集计算阅读工效值，对计算的阅读工效值与真实值，计算均方误差MSE和决定系数，验证预测精度和模型的有效性；同时通过predict函数计算其阅读工效值，将该值与训练样本集中的阅读工效均值比较，如果大于等于均值，则无需干预，如果小于均值，系统则输出提示音，提醒维修人员注意工作状态。
作为优选，步骤4中，完成预测后，预测人员的面部表情模式及其预测的阅读工效值加入到训练样本集中，以持续改进维修手册阅读工效预测模型的精度。
本发明还提供一种复合材料维修手册阅读工效预测系统，包括：
面部表情采集模块，用于获取维修人员手册阅读视频及其面部表情AU；
AU处理模块，用于构建基于AU的维修手册阅读工效度量模式；
阅读工效预测模块，用于构建基于支持向量机的维修手册阅读工效预测模型；
反馈与干预模块，用于通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。
本发明对复合材料结构适航维修中维修手册阅读过程的阅读工效进行预测，利用不影响维修作业的非接触式系统提取与阅读工效显著相关的面部表情模式，形成了度量阅读工效的客观指标。基于AU模式的SVM预测模型能支持阅读工效的在线监测和干预，在复合材料结构适航维修中的人机交互的工效评价中采用本发明技术方案，对提高维修活动质量，减少维修差错等具有重要意义。
附图说明
图1为本发明复合材料维修手册阅读工效预测方法的流程示意图；
图2为复合材料维修手册阅读工效预测模型构建的流程示意图；
图3为复合材料维修手册阅读工效预测模型的预测效果示意图；
图4为本发明复合材料维修手册阅读工效预测系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1、2所示，本发明提供一种复合材料维修手册阅读工效预测方法，包括以下步骤：
步骤1、获取维修人员手册阅读视频及其面部表情AU
在民机复合材料结构适航维修地布置能清晰获得维修人员面部图像的摄像头，并将视频实时传输到计算机上，利用面部行为分析软件工具提取视频每帧图像中出现的AU及其强度。本发明采用的摄像头是TP-LINK无线监控摄像头，计算机是HP348G3，AU提取工具为开源软件OpenFace，采样频率为25帧/秒，该软件能提取的AU及其涵义如表1所示。
表1
Figure BDA0003041220770000051
Figure BDA0003041220770000061
步骤2、构建基于AU的维修手册阅读工效度量模式
对提取的每帧出现的AU及其强度采用AU频率(AUP)和平均强度(AUI)来量化，即AUP＝AU出现次数/帧数、AUI＝AU强度/帧数。Ti是34维的由AUP和AUI构成的特征向量。yi为该特征向量对应的阅读工效值，其计算如公式(1)所示。其中ns是阅读的字数、t是阅读时间、nt是测试题数、nr是回答正确的题数。
yi＝(ns/t)×(nr/nt) (1)
Ti的每一维与yi进行Pearson相关性分析，选择在置信度95％下，与阅读工效显著相关的AUI和AUP构成了能度量阅读工效的面部表情模式xi，(xi,yi)构成预测模型的训练样本集{(xi,yi),i＝1,2...}。在预测时，只需提取待预测人员的面部表情模式xi。
步骤3、基于支持向量机(Support Vector Machine,SVM)的维修手册阅读工效预测模型构建
步骤3.1、调用Matlab2018b的mapminmax函数对由面部表情组成的特征向量xi进行归一化处理。其中，特征向量中的平均注视时间单位为秒。处理后的每个特征向量xi与阅读工效yi一一对应，形成训练样本集和测试样本集。
步骤3.2、调用Matlab2018b的fitrsvm函数完成训练样本集的学习训练，得到维修手册阅读工效预测模型。fitrsvm函数可以通过’KernelFunction’设置不同的核函数，从而获得不同的训练效果。
步骤4：通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预
步骤4.1、调用Matlab2018b的predict函数对测试样本集计算阅读工效值，对计算的阅读工效值与真实值，采用均方误差(Mean Squared Error,MSE)，如公式(2)所示，决定系数R2∈[0,1]，如公式(3)所示来验证预测精度和模型的有效性；其中，yi为真实值，
Figure BDA0003041220770000071
为SVM预测值，
Figure BDA0003041220770000072
表示均值。
Figure BDA0003041220770000073
Figure BDA0003041220770000074
步骤4.2、以训练样本集/库中的阅读工效均值作为复合材料维修手册阅读工效在线监测中是否干预的依据，如果大于等于均值，则无需干预，如果小于均值，系统则输出提示音，提醒维修人员注意工作状态。预测人员的面部表情模式及其预测的阅读工效值加入到训练样本库中，以持续改进预测模型的精度。
实施例1：
采用以上复合材料维修手册阅读工效预测方法，实现复合材料结构适航维修中维修手册阅读工效的预测具体包括：
步骤1、维修人员手册阅读视频获取及其面部表情AU的提取
1.1)、构建预测模型的维修人员手册阅读视频获取：设置与民机复合材料结构适航维修现场一致的实验场地，布置TP-LINK无线监控摄像头拍摄维修人员的面部图像，并将视频实时传输到HP348G3计算机上。
1.2)、应用预测模型的维修人员手册阅读视频获取：在民机复合材料结构适航维修现场布置TP-LINK无线监控摄像头拍摄维修人员的面部图像，并将视频实时传输到HP348G3计算机上。
1.3)、维修人员面部表情AU的提取：将传输到计算机上的视频利用OpenFace获得每帧AU出现的概率及其强度。
1.4)、构建预测模型的维修人员阅读工效计算：选择SRM中针对复合材料结构雷击损伤的内容作为阅读材料，并根据内容设置测试题。按照公式(1)计算维修人员的阅读工效值。
步骤2、基于AU的维修手册阅读工效度量模式与预测向量构建
2.1)、对提取的每帧出现的AU计算AUP和AUI。构建预测模型的维修人员面部表情AU的频率和平均强度构成矩阵Tn×34,n为构建预测模型的维修人员数量，yi为其阅读雷击损伤维修材料的阅读工效值。
2.2)、Tn×34的每一列与yi进行Pearson相关性分析，选择在置信度95％下，与阅读工效显著相关的AUI和AUP构成了能度量阅读工效的面部表情模式xi，(xi,yi)构成预测模型的训练样本集{(xi,yi),i＝1,2...}。
2.3)、应用预测模型时输入的预测AU向量构建：参照xi提取待预测人员的面部表情模式xii。
步骤3、基于SVM的维修手册阅读工效预测模型构建
3.1)、调用Matlab2018b的mapminmax函数对由面部表情组成的特征向量xi进行归一化处理。处理后的每个特征向量xi与阅读工效yi一一对应，形成训练样本集和测试样本集。本例中训练样本集有60个样本，测试样本集有10个样本均来源于构建预测模型的维修人员面部表情及其对应的阅读工效。
3.2)、调用Matlab2018b的fitrsvm函数完成训练样本集的学习训练，得到维修手册阅读工效预测模型。
步骤4、模型的预测验证与反馈干预
4.1)、模型的预测验证：调用Matlab2018b的predict函数对测试样本集计算阅读工效值，对计算的阅读工效值与真实值，计算均方误差MSE和决定系数R2，结果如图4所示
4.2)、输入待预测的面部表情模式，调用Matlab2018b的predict函数计算其阅读工效值，将该值与训练样本集中的阅读工效均值比较，如果大于等于均值，则无需干预，如果小于均值，系统则输出提示音，提醒维修人员注意工作状态。
4.3)、完成预测后，预测人员的面部表情模式及其预测的阅读工效值加入到训练样本集中，以持续改进预测模型的精度。
如图4所示，本发明提供一种复合材料维修手册阅读工效预测，实现复合材料维修手册阅读工效预测方法，包括：
面部表情采集模块，用于获取维修人员手册阅读视频及其面部表情AU；
AU处理模块，用于构建基于AU的维修手册阅读工效度量模式；
阅读工效预测模块，用于构建基于支持向量机的维修手册阅读工效预测模型；
反馈与干预模块，用于通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。
本发明对复合材料结构适航维修中维修手册阅读过程的阅读工效进行预测，利用不影响维修作业的非接触式系统提取与阅读工效显著相关的面部表情模式，形成了度量阅读工效的客观指标。基于AU模式的SVM预测模型能支持阅读工效的在线监测和干预，在复合材料结构适航维修中的人机交互的工效评价中采用本发明技术方案，对提高维修活动质量，减少维修差错等具有重要意义。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种复合材料维修手册阅读工效预测方法，其特征在于，包括以下步骤：
步骤1、获取维修人员手册阅读视频及其面部表情AU；
步骤2、构建基于AU的维修手册阅读工效度量模式；
步骤3、构建基于支持向量机的维修手册阅读工效预测模型；
步骤4、通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。
2.如权利要求1所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤1中，在民机复合材料结构适航维修地布置用于获得维修人员面部图像的摄像头，并将视频实时传输到计算机上，利用面部行为分析软件工具提取视频每帧图像中出现的AU及其强度。
3.如权利要求2所述的复合材料维修手册阅读工效预测方法，其特征在于，所述摄像头是TP-LINK无线监控摄像头，AU采样频率为25帧/秒。
4.如权利要求1所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤2中，对提取的每帧出现的AU及其强度采用AU频率AUP、平均强度AUI量化；设Ti是34维的由AUP和AUI构成的特征向量，yi为该特征向量对应的阅读工效值；Ti的每一维与yi进行Pearson相关性分析，在置信度95％下，与阅读工效显著相关的AUI和AUP构成了能度量阅读工效的面部表情模式xi。
5.如权利要求4所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤3中，首先通过mapminmax函数对由面部表情组成的特征向量xi进行归一化处理，处理后的每个特征向量xi与阅读工效yi一一对应，形成训练样本集和测试样本集；然后通过fitrsvm函数完成训练样本集的学习训练，得到维修手册阅读工效预测模型。
6.如权利要求1所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤4中，通过predict函数对测试样本集计算阅读工效值，对计算的阅读工效值与真实值，计算均方误差MSE和决定系数，验证预测精度和模型的有效性；同时通过predict函数计算其阅读工效值，将该值与训练样本集中的阅读工效均值比较，如果大于等于均值，则无需干预，如果小于均值，系统则输出提示音，提醒维修人员注意工作状态。
7.如权利要求1所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤4中，完成预测后，预测人员的面部表情模式及其预测的阅读工效值加入到训练样本集中，以持续改进维修手册阅读工效预测模型的精度。
8.一种复合材料维修手册阅读工效预测系统，其特征在于，包括：
面部表情采集模块，用于获取维修人员手册阅读视频及其面部表情AU；
AU处理模块，用于构建基于AU的维修手册阅读工效度量模式；
阅读工效预测模块，用于构建基于支持向量机的维修手册阅读工效预测模型；
反馈与干预模块，用于通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。
CN202110457865.0A 2021-04-27 2021-04-27 一种复合材料维修手册阅读工效预测方法和系统 Pending CN113158925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110457865.0A CN113158925A (zh) 2021-04-27 2021-04-27 一种复合材料维修手册阅读工效预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110457865.0A CN113158925A (zh) 2021-04-27 2021-04-27 一种复合材料维修手册阅读工效预测方法和系统

Publications (1)

Publication Number Publication Date
CN113158925A true CN113158925A (zh) 2021-07-23

Family

ID=76871164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110457865.0A Pending CN113158925A (zh) 2021-04-27 2021-04-27 一种复合材料维修手册阅读工效预测方法和系统

Country Status (1)

Country Link
CN (1) CN113158925A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估系统和方法
CN111553617A (zh) * 2020-05-15 2020-08-18 北京师范大学 基于虚拟场景中认知力的操控工效分析方法、设备及系统
CN111544015A (zh) * 2020-05-15 2020-08-18 北京师范大学 基于认知力的操控工效分析方法、设备及系统
CN111553618A (zh) * 2020-05-15 2020-08-18 北京师范大学 操控工效分析方法、设备及系统
CN111598451A (zh) * 2020-05-15 2020-08-28 中国兵器工业计算机应用技术研究所 基于任务执行能力的操控工效分析方法、设备及系统
CN111598453A (zh) * 2020-05-15 2020-08-28 中国兵器工业计算机应用技术研究所 基于虚拟场景中执行力的操控工效分析方法、设备及系统
CN112200025A (zh) * 2020-09-25 2021-01-08 北京师范大学 操控工效分析方法、设备及系统
CN112256123A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于脑负荷的操控工效分析方法、设备及系统
CN112256124A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于情绪的操控工效分析方法、设备及系统
CN112256122A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于精神疲劳的操控工效分析方法、设备及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估系统和方法
CN111553617A (zh) * 2020-05-15 2020-08-18 北京师范大学 基于虚拟场景中认知力的操控工效分析方法、设备及系统
CN111544015A (zh) * 2020-05-15 2020-08-18 北京师范大学 基于认知力的操控工效分析方法、设备及系统
CN111553618A (zh) * 2020-05-15 2020-08-18 北京师范大学 操控工效分析方法、设备及系统
CN111598451A (zh) * 2020-05-15 2020-08-28 中国兵器工业计算机应用技术研究所 基于任务执行能力的操控工效分析方法、设备及系统
CN111598453A (zh) * 2020-05-15 2020-08-28 中国兵器工业计算机应用技术研究所 基于虚拟场景中执行力的操控工效分析方法、设备及系统
CN112200025A (zh) * 2020-09-25 2021-01-08 北京师范大学 操控工效分析方法、设备及系统
CN112256123A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于脑负荷的操控工效分析方法、设备及系统
CN112256124A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于情绪的操控工效分析方法、设备及系统
CN112256122A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于精神疲劳的操控工效分析方法、设备及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张文影: "基于面部和心率特征融合的驾驶员疲劳状态识别方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 工程科技II辑》 *
贺强 等: "民机复合材料目视检查中的眼动与疲劳检测", 《航空学报》 *

Similar Documents

Publication Publication Date Title
CN110889082B (zh) 基于系统工程理论的人机工程设备综合评价方法
CN112990870A (zh) 基于核电设备的巡检文件生成方法、装置和计算机设备
CN110717461A (zh) 一种疲劳状态识别方法、装置和设备
CN112183643A (zh) 基于声发射的硬岩拉剪破裂识别方法及装置
CN110889587A (zh) 配电网线路风险评估方法
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN113158925A (zh) 一种复合材料维修手册阅读工效预测方法和系统
CN109583397A (zh) 一种电梯检验考试人工智能评判系统的实现方法
Manca et al. Performance Indicators for Training Assessment of Control-Room Operators.
CN103077514B (zh) 一种基于全变分的视觉感知图像质量评价方法
CN110414047A (zh) 一种用于通信传输设备健康状态评价的方法
CN109711565A (zh) 物业设施设备维修调度方法及其系统、物业综合管理系统
CN112992156A (zh) 一种基于声纹认证的配电网调度身份认证系统
Yang et al. Abnormal state recognition method for online intelligent examination based on improved genetic algorithm
Kung et al. A Study on Image Quality Assessment using Neural Networks and Structure Similarty.
CN111292016A (zh) 一种基于psr模型的环保绩效评估方法
CN110807605A (zh) 关键检验特性缺陷率统计方法
CN111104868A (zh) 一种基于卷积神经网络特征的跨质量人脸识别方法
LU501401B1 (en) Action risk identification method for power system field operation based on graph convolution
CN116757470B (zh) 一种电力作业风险的预警系统
CN117357104B (zh) 一种基于用户特征的音频分析方法
CN116433092B (zh) 一种基于大数据分析的水利工程建造质量智能分析系统
CN116030427B (zh) 一种适用于施工作业现场安全管控的场景判别方法
CN116631172B (zh) 一种基于门锁和电子门铃联动的预警方法及装置
CN115429272B (zh) 基于多模态生理信号的心理健康状态评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination