CN115407750A - 人机协同智能系统决策能力的测评方法及系统 - Google Patents
人机协同智能系统决策能力的测评方法及系统 Download PDFInfo
- Publication number
- CN115407750A CN115407750A CN202210968799.8A CN202210968799A CN115407750A CN 115407750 A CN115407750 A CN 115407750A CN 202210968799 A CN202210968799 A CN 202210968799A CN 115407750 A CN115407750 A CN 115407750A
- Authority
- CN
- China
- Prior art keywords
- task
- evaluation
- decision
- man
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 210
- 230000008447 perception Effects 0.000 claims abstract description 83
- 241000282414 Homo sapiens Species 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000007613 environmental effect Effects 0.000 claims abstract description 43
- 230000003993 interaction Effects 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 230000004424 eye movement Effects 0.000 claims description 17
- 230000035484 reaction time Effects 0.000 claims description 17
- 230000006399 behavior Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000036651 mood Effects 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000036649 mental concentration Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 230000001114 myogenic effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003183 myoelectrical effect Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 230000005611 electricity Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
Abstract
本发明提供一种人机协同智能系统决策能力的测评方法及系统，该方法包括基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试，获得人员的人机交互绩效结果；在对人员进行测试的过程中，人因采集设备采集人员的人因数据，环境参数记录设备记录机器感知到的环境感知参数；系统信息记录设备记录感知到的系统状态参数；基于人机交互绩效结果、人员的人因数据、环境感知参数、系统状态参数以及预设环境参数和预设任务难度得到人机协同智能系统决策能力的评价结果，人机协同智能系统决策能力的评价结果包括机器态势感知评价、任务绩效评价和人员情境意识评价。本发明能够实现全面且严谨的人机协同智能系统决策能力的测评。
Description
技术领域
本发明涉及智能人机协同技术领域，尤其涉及一种人机协同智能系统决策能力的测评方法及系统。
背景技术
随着人类科技的不断发展，人工智能在一步步走入人们的日常生活当中，并在各个领域发挥作用。人工智能在各个领域的融合发展已经成为国际社会的共识，因此，基于人工智能技术的人机协同，作为能够提高人类生产效率及品质以及提高人类创造力的技术，特别是在机器尚不能代替人类的领域，如逻辑推理、最终决策等，显得尤为重要。当前，基于人机协同的形式主要有三种，第一是人与机器人协同，共同完成任务；第二是人与人工智能协同，人工智能通过判断人与环境的状态来实现与人的合作来辅助完成任务，目前这个形式应用比较广泛；第三是人员增强，多应用于军事领域，通过在机器来增强人员本身的能力，如外骨骼增强人的耐力。
对于人与人工智能协同这种人机协同形式来说，在人机协同智能决策的过程中，对于人机协同中，在包括效率、满意度、适配程度等方面的测评目前存在比较大的空白。
为此，如何提供一种全面、严谨的人机协同智能系统决策能力的测评方法，是一个亟待解决的问题。
发明内容
鉴于此，本发明实施例提供了一种人机协同智能系统决策能力的测评方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种人机协同智能系统决策能力的测评方法，该方法包括以下步骤：
基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试，获得所述人员的人机交互绩效结果，人机交互绩效结果包含一种或多种指标：反应时、正确率、完成度和错误率；
在所述对人员进行测试的过程中，人因采集设备采集人员的人因数据，环境参数记录设备记录机器感知到的环境感知参数，系统传感设备记录感知到的系统状态参数；
基于所述人机交互绩效结果、人因数据、环境感知参数、系统状态参数以及所述人机协同智能系统决策任务的预设环境参数和预设任务难度，得到人机协同智能系统决策能力的评价结果；所述人机协同智能系统决策能力的评价结果包括机器态势感知评价、任务绩效评价和人员情境意识评价，基于所述人员人因数据、环境感知参数、系统状态参数、预设环境参数和预设任务难度得到所述机器态势感知评价，基于所述人机交互绩效结果得到所述任务绩效评价，基于所述人因数据得到所述人员情境意识评价。
在本发明的一些实施例中，该方法还包括设置人机协同智能系统决策任务，所述设置人机协同智能系统决策任务的步骤包括，导入或编辑人机协同智能系统决策任务；导入或编辑自定义设置参数的自定义任务。
在本发明的一些实施例中，所述机器态势感知评价包含任务环境状态感知评价，系统状态感知评价和人员状态感知评价，基于所述人因数据、环境感知参数、系统状态参数、预设环境参数和预设任务难度得到所述机器态势感知评价的步骤包括：将所述机器感知到的环境感知参数和预设环境参数进行比对以评价机器在所述人机协同智能系统决策任务中的态势感知水平，并基于预设任务难度，得到任务环境状态感知评价；根据所述系统状态参数得到系统状态感知评价；基于所述人员的人因数据得到所述人员状态感知评价，所述人员的人因数据包含皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数据、行为数据、表情数据、动作姿态数据、脑电数据和眼动数据中的一种或多种同步记录数据，以及主观测量数据包含行为范式实验、量表和问卷。
在本发明的一些实施例中，所述基于所述人员的人因数据得到所述人员状态感知评价的步骤包括以下一种或多种：基于眼动数据评估人员精神集中状态；基于皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数和动作姿态数据评估人员负荷、疲劳、情绪、压力或分心状态；基于行为数据和面部表情数据评估人员的负荷、疲劳、压力、情绪或分心状态；基于主观测量数据评估人员的人员的负荷、疲劳、压力、情绪或分心状态。
在本发明的一些实施例中，所述任务绩效评价包含任务决策结果评价，基于所述人机交互绩效结果得到所述任务绩效评价的步骤包括，将人机交互绩效结果中包括任务反应时和任务正确率以及任务完成度的各维度的数据进行标准化处理，基于标准化处理后的人机交互绩效结果获得所述任务绩效评价；所述任务绩效评价为评分形式或预设的评价等级或根据数据库智能学习分类评价形式；所述标准化处理包括无量纲化处理和指标一致化处理。
在本发明的一些实施例中，所述任务绩效评价还包含决策表现评价，该方法还包括：在所述基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试步骤后，人员基于人机信任度、风险概率估计和跨期折扣效用三个维度对决策表现进行打分，将所述三个维度的打分相加得到决策表现得分，基于所述决策表现得分得到所述决策表现评价。
在本发明的一些实施例中，所述人员情境意识评价包含客观情境意识评价，基于所述人员的人因数据得到客观情境意识评价。
在本发明的一些实施例中，所述人员情境意识评价还包含主观情境意识评价，该方法还包括：在所述基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试步骤后，人员填写情境意识问卷，基于情境意识问卷的得分得到所述主观情境意识评价。
本发明的另一方面提供了一种人机协同智能系统决策能力的测评系统，该系统包括：
人机协同智能系统决策任务操作模块，用于基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试，获得所述人员的包含任务反应时和任务正确率及任务完成度的人机交互绩效结果；
环境参数记录设备，在所述对人员进行测试的过程中，记录机器感知到的环境感知参数；
人因采集设备，在所述对人员进行测试的过程中，采集人员的人因数据；
系统传感设备，在所述对人员进行测试的过程中，记录感知到的系统状态参数；
人机协同智能系统决策能力评估模块，基于所述人机交互绩效结果、人因数据、环境感知参数、系统状态参数以及所述人机协同智能系统决策任务的预设环境参数和预设任务难度，得到人机协同智能系统决策能力的评价结果。
在本发明的一些实施例中，所述人机协同智能系统决策能力评估模块包含机器态势感知模块、任务绩效模块和人员情境意识模块，所述机器态势感知模块基于所述环境感知参数、预设环境参数、系统状态参数、预设任务难度和人员的人因数据得到机器态势感知评价，所述任务绩效模块基于任务反应时、任务正确率及任务完成度和人员主观打分得到任务绩效评价，所述人员情境意识模块基于所述人员的人因数据和人员填写的情境意识问卷得到人员情境意识评价；该系统还包括人机协同智能系统决策任务设置模块和人机协同智能系统决策能力输出模块，所述人机协同智能系统决策任务设置模块，用于导入或编辑人机协同智能系统任务，导入或编辑自定义设置参数的自定义任务，以设置人机协同智能系统决策任务；所述人机协同智能系统决策能力输出模块，用于以报告的形式输出所述人机协同智能系统决策能力的评价结果。
本发明的人机协同智能系统决策能力的测评方法，能够对人机协同智能决策进行全面、严谨的测评分析，生成公正的人机协同智能系统决策能力的评价结果。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中人机协同智能系统决策能力的测评方法示意图。
图2为本发明一实施例中获得机器态势感知评价流程示意图。
图3为本发明一实施例中获得任务绩效评价流程示意图。
图4为本发明一实施例中获得人员情境意识评价流程示意图。
图5为本发明一实施例中人机协同智能系统决策能力的测评系统框架示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了弥补现有的人机协同智能系统决策能力的测评领域的不足，本发明提供了一种人机协同智能系统决策能力的测评方法，该方法采用基于多个维度的数据进行计算得到多个维度的评价结果，全面、科学且严谨的对机器的人机协同智能系统决策能力进行评价。
图1为本发明一实施例中人机协同智能系统决策能力的测评方法示意图，该方法包含以下步骤：
步骤S100：基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试，获得人员的人机交互绩效结果，人机交互绩效结果包含一种或多种指标：反应时、正确率、完成度和错误率。
进一步地，预设任务难度为专家预先对整个人机协同智能决策系统的测试难度进行的评定。
步骤S200：在对人员进行测试的过程中，人因采集设备采集人员的人因数据，环境参数记录设备记录机器感知到的环境感知参数，系统传感设备记录感知到的系统状态参数。
在本发明一实施例中，环境参数记录设备在所述对人员进行测试的过程中，还进行记录机器本身的状态数据。
进一步地，人员的人因数据包含皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数据、行为数据、表情数据、动作姿态数据、脑电数据和眼动数据中的一种或多种同步记录数据，以及主观测量数据包含行为范式实验、量表和问卷。
其中，基于所述人员的人因数据得到所述人员状态感知评价的步骤包括以下一种或多种：基于眼动数据评估人员精神集中状态；基于皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数和动作姿态数据评估人员负荷、疲劳、情绪、压力或分心状态；基于行为数据和面部表情数据评估人员的负荷、疲劳、压力、情绪或分心状态；基于主观测量数据评估人员的人员的负荷、疲劳、压力、情绪或分心状态。
步骤S300：基于人机交互绩效结果、人因数据、环境感知参数、系统状态参数以及人机协同智能系统决策任务的预设环境参数和预设任务难度，得到人机协同智能系统决策能力的评价结果；人机协同智能系统决策能力的评价结果包括机器态势感知评价、任务绩效评价和人员情境意识评价，基于人员人因数据、环境感知参数、系统状态参数、预设环境参数和预设任务难度得到所述机器态势感知评价，基于人机交互绩效结果得到任务绩效评价，基于人因数据得到所述人员情境意识评价。
步骤S310：基于所述人员人因数据、环境感知参数、系统状态参数、预设环境参数和预设任务难度得到所述机器态势感知评价。
在本发明一实施例中，机器态势感知评价包含任务环境状态感知评价、系统状态感知评价和人员状态感知评价，基于人因数据、环境感知参数、系统状态参数、预设环境参数和预设任务难度获得机器态势感知评价的步骤包括：
1)将机器感知到的环境感知参数和预设环境参数进行比对以评价机器在人机协同智能系统决策任务中的态势感知水平，并基于预设任务难度，得到任务环境状态感知评价。预设任务难度为专家在实现对整个人机协同智能决策系统的测试难度进行的评定。
2)根据系统状态参数得到系统状态感知评价，具体地，系统状态参数包括但不限于：系统运行时间、系统工作温度和系统稳定程度等，系统状态评价则是对人机协同智能系统的工作状态。
3)基于所述人员的人因数据得到所述人员状态感知评价，人员的人因数据包含皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数据、行为数据、表情数据、动作姿态数据、脑电数据和眼动数据中的一种或多种同步记录数据，以及主观测量数据包含行为范式实验、量表和问卷。具体地，本发明一实施例中基于眼动数据评估人员精神集中状态，基于皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数和动作姿态数据评估人员负荷、疲劳、情绪、压力或分心状态，基于皮电数据评估人员的情绪状态。人员生理状态通过佩戴在人员身上的皮电、心电、脑电以及眼动等生理设备采集到的数据并分析指标来定。该人员的人因数据包含的皮电数据、心电数据、脑电数据和眼动数据仅为实例，本发明不局限于此，例如还可以是皮温数据、近红外数据、血氧饱和度、肌电数据和呼吸数据。
图2为本发明一实施例中获得机器态势感知评价流程示意图。人员执行人机协同智能系统决策任务时，环境参数记录装备进行记录获得环境感知参数，将环境感知参数与预设环境参数对比获得态势感知水平，基于态势感知水平和预设环境难度，得到任务环境状态感知评价。根据系统状态参数得到系统状态感知评价，用于评价人机协同智能系统的工作状态。人员执行人机协同智能系统决策任务时，人因采集设备进行采集得到人员的人因数据，进一步得到人员状态感知评价。机器态势感知评价由任务环境状态感知评价、系统状态感知评价和人员状态感知评价组成。
步骤S320：基于人机交互绩效结果得到任务绩效评价。
在本发明一实施例中，任务绩效评价包含任务决策结果评价，基于人机交互绩效结果得到任务绩效评价的步骤包括，将人机交互绩效结果中包括任务反应时和任务正确率及任务完成度的各维度的数据进行标准化处理，基于标准化处理后的人机交互绩效结果获得所述任务绩效评价。该人机交互绩效结果的各维度仅为示例，本发明不局限于此。
该任务绩效评价为评分形式或预设的评价等级或根据数据库智能学习分类评价形式。本发明中的包括机器态势感知评价、任务绩效评价和人员情境意识评价的人机协同智能系统决策能力的评价结果均为评分形式或预设的评价等级或根据数据库智能学习分类评价形式。本发明不限于此，该评价结果的呈现形式仅为示例，例如还可以是其他领域内常见的评价形式。
该标准化处理包括无量纲化处理和指标一致化处理。无量纲化处理是指的消除人机交互绩效结果的各个维度的数据的量纲，指标一致化处理是指统一人机交互绩效结果的各个维度的数据的波动范围，更加清晰的反映其评价水平。
在本发明实施例中，该任务绩效评价还包含决策表现评价，获得决策表现评价的步骤包括：在基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试步骤后，人员基于人机信任度、风险概率估计和跨期折扣效用三个维度对决策表现进行打分，将所述三个维度的打分相加得到决策表现得分，基于该策表现得分得到决策表现评价。
图3为本发明一实施例中获得任务绩效评价流程示意图。在人员执行人机协同智能系统决策任务过程中采集到包括任务反应时和任务正确率及任务完成度的人机交互绩效的人机交互绩效结果，基于人机交互绩效结果得到任务决策结果评价。可选地，人员执行人机协同智能系统决策任务后进行主观打分，基于人机信任度、风险概率估计和跨期折扣效用三个维度，得到决策表现得分，基于决策表现得分得到决策表现评价。任务绩效评价包含任务决策结果评价，以及，可选地，决策表现评价。
步骤S330：基于人员的人因数据得到人员情境意识评价。
在本发明一实施例中，该人员情境意识评价包含客观情境意识评价，基于所述人员的人因数据得到客观情境意识评价。人员的人因数据包括皮电、心电、脑电及眼动等维度的人员的数据。
在本发明的又一实施例中，该员情境意识评价还包含主观情境意识评价，获得主观情境意识评价的步骤包括：在基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试步骤后，获得人员填写的情境意识问卷，基于情境意识问卷的得分得到主观情境意识评价。
具体地，在本发明一实施例中，该情境意识问卷为SART(Situational AwarenessRating Technology)情境意识问卷，SART情境意识问卷得分由三个维度的得分相加得出，分别是注意资源供给、注意资源需求与情境理解度。该情境意识问卷仅为示例，本发明不限于此。
在本发明一实施例中，基于人员的人因数据得到客观情境意识评价，基于人员填写的情境意识问卷分析得到主观情境意识评价，所述客观情境意识评价和主观情境意识评价共同构成人员情境意识评价。
图4为本发明一实施例中获得人员情境意识评价流程示意图。人员执行人机协同智能系统决策任务过程中，人因采集设备采集人员的人因数据，基于该人因数据得到客观情境意识评价。可选地，人员在执行人机协同智能系统决策任务后填写SART情境意识问卷，基于注意资源供给、注意资源需求和情境理解度三个维度，得到主观情境意识评价。该人员情境意识评价包含客观情境意识评价，以及，可选地，主观情境意识评价。
在本发明一实施例中，在步骤S100之前还包括设置人机协同智能系统决策任务，该步骤的实现方式包括以下任一种：
①导入或编辑人机协同智能系统决策任务，该任务由包括但不限于任务库、场景库、标准库、原型库及模型库提供，或导入自定义设置参数的自定义任务。
②导入或编辑自定义设置参数的自定义任务。
需要说明的是，人机协同智能决策的场景是以上述人机协同智能系统决策任务搭建的，例如在驾驶变道决策任务中设置自定义任务，包括设定具体的天气场景、车辆密集程度、变道时刻前后车辆位置、速度与数量。
需要说明的是，人机协同智能系统决策能力测评结果包含的机器态势感知评价、任务绩效评价和人员情境意识评价，及其进一步包含的评价结果，为分门别类的输出。在本发明一实施例中，在具体的应用场景——驾驶变道决策任务中，执行人机协同智能系统决策能力的测评。具体过程如下：
1)人机协同智能系统决策能力测试：
在人机协同智能系统决策任务设置模块中的任务场景，为驾驶变道决策任务，并通过自定义任务设定具体的天气场景、车辆密集程度、变道时刻前后车辆位置、速度与数量，选择完成后进行人机协同智能系统决策任务操作模块通过人机协同的方式完成驾驶变道决策任务，驾驶员需要在变道指令发出后尽快完成变道，在此过程中，机器通过监测任务环境状态的监测对变道指令发出后的前后车辆位置、速度、距离和数量信息进行收集反馈，并通过生理、眼动等设备实时监测驾驶员的情境意识状态并反馈，驾驶员根据自己与机器反馈的信息来决定完成变道的时刻，最终完成变道操作。在任务完成后，驾驶员需要对自己在决策任务过程中的表现进行评分，并填写SART情境意识问卷。
可选的，评分过程可以自动化进行。例如，对人机交互绩效数据、人因数据、环境感知参数、系统状态参数设置阈值，根据阈值判断人机协同智能系统决策过程中的绩效表现和决策能力水平。又例如，在人机交互绩效数据、人因数据、环境感知参数、系统状态参数与量化的决策能力水平之间建立数学模型，通过数学模型自动预测判断驾驶的决策能力水平。再例如，通过机器学习或者其它人工智能方式，对不同主体所采集到的人机交互绩效数据、人因数据、环境感知参数、系统状态参数进行类别标注，投入机器学习算法中进行训练，得到从采集数据到决策能力水平的自动化判断的机器学习模型，采用该模型对特定的驾驶员进行决策能力水平的评价。
以下描述的机器态势感知评价、任务绩效评价、人员情境意识评价以及其它评价也都可以采取上述几种自动化方案实现。
2)机器态势感知模块：
机器态势感知模块中的任务环境状态由预设任务难度和预设环境参数构成，预设任务难度由在此任务中的天气场景、车辆密集程度构成，天气场景的难度设定三个难度：简单、适中、复杂，车辆密集程度设定三个难度：低、中、高。最终，任务难度由天气场景的难度与车辆密集程度的难度结合达成九个水平，作为任务难度的评分。
环境感知参数是由环境参数记录设备所感知并记录的，环境感知参数与预设环境参数进行比对，判断车辆位置、速度与数量与所设定的是否一致，从而判断机器在该情境下的态势感知水平。
系统状态参数是感知到的人机协同智能决策系统的工作状态，具体内容可以自定义，包括但不限于：统运行时间、系统工作温度和系统稳定程度等。
人员状态感知评价包括工作负荷、疲劳状态等维度，主要由变道指令发出后的皮电数据、心电数据、脑电数据和眼动数据等来判断的当前的驾驶员的工作负荷与疲劳状态，工作负荷与疲劳状态共分为三级，T1低负荷、T2中负荷、T3高负荷,机器通过心电数据和眼动数据来判断出驾驶员当前的状态，当T水平为T2和T3时，机器通过指令反馈驾驶员与任务环境，并发出取消变道的指令，以此来判断机器对于驾驶员的状态的感知正确率的水平，从而到的人员状态感知评价。
3)任务绩效模块：
任务绩效模块中由任务决策结果评价和决策表现评价两部分构成。其中任务决策结果评价由任务反应时与任务正确率两个数据得到，任务反应时为人机协同智能系统决策任务发出变道指令后到人员完成变道任务的时间，任务反应时的水平由预设任务难度的权重W(W<1,难度越高，W越大)与变道时间构成。
决策反应时水平＝W*变道时间；
任务正确率由人机协同智能系统决策任务的成功与否构成，在任务中，一个任务可进行多次，从而计算出在一个任务中的成功的正确率。
决策表现评价由人机信任度、风险概率估计及跨期决策折扣效用三个维度的评分相加构成。人机信任度是指驾驶员对机器反馈信息的信任度、风险概率估计是指对于任务成功概率的估计，跨期决策折扣效用是指对任务指令发出后，对于任务成功的概率的信心判断。
4)人员情境意识模块：
人员情境意识评价由主观情境评价和客观情境意识评价两部分相加构成。其中主观情境意识评价由SART量表来进行评分得出，SART情境意识量表共包含三个维度，分别是注意资源需求，即环境不稳定性、环境复杂性和环境变化性；注意资源供给，即被试清醒度、专注度、任务分配方式和心理余量；情境理解度，信息量、信息质量、情境熟悉度。SART总分计算的公式如下：
SSART＝U-(D-S)；
SSART为分值形式的情境意识评价；U为情境理解度得分；D为注意资源需求得分；S为注意资源供给得分。
人员的客观情境意识水平由变道指令发出后的皮电数据、心电数据、脑电数据及眼动数据采集数据所得到的包括但不限于皮电SC(Skin Conductivity)、心电SDNN(Standard Diviation of NN Intervals)、脑电数据、眼动眨眼次数、瞳孔直径等反映情境意识水平高低的指标来得出。
5)人机协同智能系统决策能力输出模块：
最终，人机协同智能系统决策能力输出模块输出包含机器态势感知水平、任务绩效水平、人员情境意识水平三个部分的结果作为人机协同智能系统决策能力的评估报告。
本发明所提供的人机协同智能系统决策能力的测评方法，能够解决在人机协同智能决策应用中对于协同决策的方法、效率和形式等方面的评估问题，最终可以改进并优化不同应用领域在人机协同智能决策中的方法、形式，从而提高人机协同智能决策的效率，更好的达成协同的目的。
本发明另一方面提供了一种人机协同智能系统决策能力的测评系统，该系统包括：
人机协同智能系统决策任务操作模块，用于基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试，获得所述人员的包含任务反应时和任务正确率及任务完成度的人机交互绩效的人机交互绩效结果。
环境参数记录设备，在对人员进行测试的过程中，记录机器感知到的环境感知参数。
人因采集设备，在对人员进行测试的过程中，采集人员的人因数据。
系统传感设备，在对人员进行测试的过程中，记录感知到的系统状态参数。
人机协同智能系统决策能力评估模块，基于人机交互绩效结果、人员的人因数据和环境感知参数以及人机协同智能系统决策任务的预设环境参数和预设任务难度，得到人机协同智能系统决策能力的评价结果。
在本发明一实施例中，人机协同智能系统决策能力评估模块包含机器态势感知模块、任务绩效模块和人员情境意识模块，机器态势感知模块基于环境感知参数、预设环境参数、预设任务难度和人员的人因数据得到机器态势感知评价，任务绩效模块基于任务反应时、任务正确率及任务完成度和人员主观打分得到任务绩效评价，人员情境意识模块基于人员的人因数据和人员填写的情境意识问卷得到人员情境意识评价。该系统还包括人机协同智能系统决策任务设置模块和人机协同智能系统决策能力输出模块，人机协同智能系统决策任务设置模块，用于导入或编辑人机协同智能系统任务，导入或编辑自定义设置参数的自定义任务，以设置人机协同智能系统决策任务；人机协同智能系统决策能力输出模块，用于以报告的形式输出所述人机协同智能系统决策能力的评价结果。
图5为本发明一实施例中人机协同智能系统决策能力的测评系统框架示意图。其中实现人机协同智能系统决策能力测试的部分包括：
1)人机协同智能系统决策任务设置模块，人机协同智能系统决策任务设置模块用于提供人机协同智能系统决策能力的测试任务，通过设置任务搭建场景，分为两种类型，分别是标准任务与自定义任务。
2)人机协同智能系统决策任务操作模块，用于执行包括人的协同和机器协同的人机协同。在此过程中，人因采集设备采集人员的人因数据，环境参数记录设备记录机器感知到的环境感知参数。具体地，人员的人因数据由佩戴在人员身上的眼动、脑电、皮电等传感器提供，机器接收到信息后来自适应调整与测试人员的协同决策策略与信息。
实现人机协同智能系统决策能力评价的部分，对人机协同智能系统决策任务中人机协同智能决策过程及结果表现进行评价，评价结果由三方面构成，分别为机器态势感知评价、任务绩效评价和人员情境意识评价。包括：
1)机器态势感知模块，基于所述环境感知参数、预设环境参数、系统状态参数、预设任务难度和人员的人因数据得到机器态势感知评价，机器态势感知评价包括任务环境状态感知评价、系统状态评价和人员状态感知评价。
2)任务绩效模块，基于任务反应时、任务正确率和人员主观打分得到任务绩效评价，任务绩效评价包括任务决策结果评价。在本发明一些实施例中，任务绩效评价还包括决策表现评价，通过人员对决策表现多个维度进行打分得到决策表现得分，基于该决策表现得分得到决策表现评价。
3)人员情境意识模块，基于所述人员的人因数据和人员填写的情境意识问卷得到人员情境意识评价，该人员情境意识评价包括客观情境意识评价。在本发明一些实施例中，人员情境意识评价还包括主观情境意识评价，通过人员填写情境意识问卷并计算得到主观情境意识评价。
最终，人机协同智能系统决策能力输出模块，用于以报告的形式输出对人机协同智能系统决策能力的评价结果。
与上述方法相应地，本发明还提供了一种电子设备，该电子设备包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该电子设备实现如前所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人机协同智能系统决策能力的测评方法，其特征在于，该方法包括以下步骤：
基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试，获得所述人员的人机交互绩效结果，人机交互绩效结果包含一种或多种指标：反应时、正确率、完成度和错误率；
在所述对人员进行测试的过程中，人因采集设备采集人员的人因数据，环境参数记录设备记录机器感知到的环境感知参数，系统传感设备记录感知到的系统状态参数；
基于所述人机交互绩效结果、人因数据、环境感知参数、系统状态参数以及所述人机协同智能系统决策任务的预设环境参数和预设任务难度，得到人机协同智能系统决策能力的评价结果；所述人机协同智能系统决策能力的评价结果包括机器态势感知评价、任务绩效评价和人员情境意识评价，基于所述人员人因数据、环境感知参数、系统状态参数、预设环境参数和预设任务难度得到所述机器态势感知评价，基于所述人机交互绩效结果得到所述任务绩效评价，基于所述人因数据得到所述人员情境意识评价。
2.根据权利要求1所述的方法，其特征在于，该方法还包括设置人机协同智能系统决策任务，所述设置人机协同智能系统决策任务的步骤包括，导入或编辑人机协同智能系统决策任务；导入或编辑自定义设置参数的自定义任务。
3.根据权利要求1所述的方法，其特征在于，所述机器态势感知评价包含任务环境状态感知评价，系统状态感知评价和人员状态感知评价，基于所述人因数据、环境感知参数、系统状态参数、预设环境参数和预设任务难度得到所述机器态势感知评价的步骤包括：
将所述机器感知到的环境感知参数和预设环境参数进行比对以评价机器在所述人机协同智能系统决策任务中的态势感知水平，并基于预设任务难度，得到任务环境状态感知评价；
根据所述系统状态参数得到系统状态感知评价；
基于所述人员的人因数据得到所述人员状态感知评价，所述人员的人因数据包含皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数据、行为数据、表情数据、动作姿态数据、脑电数据和眼动数据中的一种或多种同步记录数据，以及主观测量数据包含行为范式实验、量表和问卷。
4.根据权利要求3所述的方法，其特征在于，所述基于所述人员的人因数据得到所述人员状态感知评价的步骤包括以下一种或多种：
基于眼动数据评估人员精神集中状态；
基于皮电数据、心电数据、肌电数据、肌氧数据、生物力学数据、生物化学数据、近红外数和动作姿态数据评估人员负荷、疲劳、情绪、压力或分心状态；
基于行为数据和面部表情数据评估人员的负荷、疲劳、压力、情绪或分心状态；
基于主观测量数据评估人员的人员的负荷、疲劳、压力、情绪或分心状态。
5.根据权利要求1所述的方法，其特征在于，所述任务绩效评价包含任务决策结果评价，基于所述人机交互绩效结果得到所述任务决策结果评价的步骤包括，将人机交互绩效结果中包括任务反应时和任务正确率以及任务完成度的各维度的数据进行标准化处理，基于标准化处理后的人机交互绩效结果获得所述任务决策结果评价；
所述任务决策结果评价为评分形式或预设的评价等级或根据数据库智能学习分类评价形式；
所述标准化处理包括无量纲化处理和指标一致化处理。
6.根据权利要求5所述的方法，其特征在于，所述任务绩效评价还包含决策表现评价，该方法还包括：
在所述基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试步骤后，人员基于人机信任度、风险概率估计和跨期折扣效用三个维度对决策表现进行打分，将所述三个维度的打分相加得到决策表现得分，基于所述决策表现得分得到所述决策表现评价。
7.根据权利要求1所述的方法，其特征在于，所述人员情境意识评价包含客观情境意识评价，基于所述人员的人因数据得到客观情境意识评价。
8.根据权利要求7所述的方法，其特征在于，所述人员情境意识评价还包含主观情境意识评价，该方法还包括：
在所述基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试步骤后，获得人员填写的情境意识问卷，基于情境意识问卷的得分得到所述主观情境意识评价。
9.一种人机协同智能系统决策能力的测评系统，其特征在于，该系统包括：
人机协同智能系统决策任务操作模块，用于基于已设置预设环境参数和预设任务难度的人机协同智能系统决策任务对人员进行测试，获得所述人员的包含任务反应时和任务正确率及任务完成度的人机交互绩效结果；
环境参数记录设备，在所述对人员进行测试的过程中，记录机器感知到的环境感知参数；
人因采集设备，在所述对人员进行测试的过程中，采集人员的人因数据；
系统传感设备，在所述对人员进行测试的过程中，记录感知到的系统状态参数；
人机协同智能系统决策能力评估模块，基于所述人机交互绩效结果、人因数据、环境感知参数、系统状态参数以及所述人机协同智能系统决策任务的预设环境参数和预设任务难度，得到人机协同智能系统决策能力的评价结果。
10.根据权利要求9所述的系统，其特征在于，所述人机协同智能系统决策能力评估模块包含机器态势感知模块、任务绩效模块和人员情境意识模块，所述机器态势感知模块基于所述环境感知参数、预设环境参数、系统状态参数、预设任务难度和人员的人因数据得到机器态势感知评价，所述任务绩效模块基于任务反应时、任务正确率及任务完成度和人员主观打分得到任务绩效评价，所述人员情境意识模块基于所述人员的人因数据和人员填写的情境意识问卷得到人员情境意识评价；
该系统还包括人机协同智能系统决策任务设置模块和人机协同智能系统决策能力输出模块，所述人机协同智能系统决策任务设置模块，用于导入或编辑人机协同智能系统任务，导入或编辑自定义设置参数的自定义任务，以设置人机协同智能系统决策任务；所述人机协同智能系统决策能力输出模块，用于以报告的形式输出所述人机协同智能系统决策能力的评价结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210968799.8A CN115407750B (zh) | 2022-08-12 | 2022-08-12 | 人机协同智能系统决策能力的测评方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210968799.8A CN115407750B (zh) | 2022-08-12 | 2022-08-12 | 人机协同智能系统决策能力的测评方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115407750A true CN115407750A (zh) | 2022-11-29 |
| CN115407750B CN115407750B (zh) | 2023-11-21 |
Family
ID=84158558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210968799.8A Active CN115407750B (zh) | 2022-08-12 | 2022-08-12 | 人机协同智能系统决策能力的测评方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115407750B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116214527A (zh) * | 2023-05-09 | 2023-06-06 | 南京泛美利机器人科技有限公司 | 一种增强人机协作适应性的三体协同智能决策方法和系统 |
Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2147403A1 (en) * | 1994-05-31 | 1995-12-01 | Bahador Ghahramani | Method for measuring the usability of a system |
| KR20060087617A (ko) * | 2005-01-28 | 2006-08-03 | (주)지이피 | Extended CPM(Corporate Performance Management)을 지향하는 정부, 금융 및 기업의 업무혁신 성과관리 비즈니스모델 |
| KR20090089631A (ko) * | 2008-02-19 | 2009-08-24 | 한양대학교 산학협력단 | 최소 절단 집합과 퍼지 전문가 시스템을 이용한 시스템의고장 모드 및 임계 분석 장치 및 그 방법 |
| CN107150347A (zh) * | 2017-06-08 | 2017-09-12 | 华南理工大学 | 基于人机协作的机器人感知与理解方法 |
| WO2017166990A1 (zh) * | 2016-03-31 | 2017-10-05 | 深圳光启合众科技有限公司 | 具备评价能力的人工智能系统及其评价方法 |
| CN108090654A (zh) * | 2017-11-30 | 2018-05-29 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于飞行员生理数据的人机功能分配方法 |
| BR102017024398A2 (pt) * | 2017-11-13 | 2019-06-04 | Companhia Paulista De Força E Luz - Cpfl | Método para avaliação multicritério de desempenho de operadores de manobras de sistemas de energia elétrica |
| WO2020036590A1 (en) * | 2018-08-14 | 2020-02-20 | Connect Financial LLC | Evaluation and development of decision-making models |
| CN110978064A (zh) * | 2019-12-11 | 2020-04-10 | 山东大学 | 人机协作中人体安全评估方法及系统 |
| US20200201282A1 (en) * | 2017-06-26 | 2020-06-25 | Jiangnan University | Energy consumption prediction system and method based on the decision tree for CNC lathe turning |
| CA3063018A1 (en) * | 2018-11-21 | 2020-10-17 | Beijing Yutian Technology Co. Ltd | An intelligent emergency decision support system for emergency communication |
| CN111818485A (zh) * | 2020-06-24 | 2020-10-23 | 公安部交通管理科学研究所 | 一种v2x人机协同性能测试系统及方法 |
| CN111861128A (zh) * | 2020-06-20 | 2020-10-30 | 清华大学 | 自动驾驶车辆人机协同操纵过程的接管舒适性评价方法、系统及存储介质 |
| CN112465395A (zh) * | 2020-12-15 | 2021-03-09 | 同济大学 | 一种面向自动驾驶汽车的多维度综合评价方法及装置 |
| US20210279547A1 (en) * | 2020-03-09 | 2021-09-09 | Korea Advanced Institute Of Science And Technology | Electronic device for high-precision behavior profiling for transplanting with humans' intelligence into artificial intelligence and operating method thereof |
| CN113420952A (zh) * | 2021-05-17 | 2021-09-21 | 同济大学 | 一种基于模拟驾驶的汽车人机交互测试与评估系统 |
| CN113753059A (zh) * | 2021-09-23 | 2021-12-07 | 哈尔滨工业大学 | 一种自动驾驶系统下的驾驶人接管能力预测方法 |
| CN113780712A (zh) * | 2021-04-30 | 2021-12-10 | 中国人民解放军国防科技大学 | 联合作战装备体系运用评价方法、系统和计算机设备 |
| CN113829343A (zh) * | 2021-09-23 | 2021-12-24 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN113989081A (zh) * | 2021-10-29 | 2022-01-28 | 重庆工商大学 | 一种混合增强智能的大学生项目智能评价系统 |
| CN113974589A (zh) * | 2021-11-12 | 2022-01-28 | 中国科学院自动化研究所 | 多模态行为范式评估优化系统及认知能力评价方法 |
| CN114139196A (zh) * | 2021-11-25 | 2022-03-04 | 中国电子科技集团公司第五十四研究所 | 一种人机任务决策系统的决策权限划分方法 |
| CN114444201A (zh) * | 2022-01-16 | 2022-05-06 | 中国人民解放军空军工程大学 | 基于贝叶斯网络的对地攻击无人机自主能力评估方法 |
| CN114469089A (zh) * | 2021-12-30 | 2022-05-13 | 北京津发科技股份有限公司 | 基于虚拟现实技术的多模态数据抗压能力测评方法及系统 |
| CN114675742A (zh) * | 2022-05-04 | 2022-06-28 | 吉林大学 | 一种面向高度自动驾驶的人机决策逻辑在线校验方法 |
-
2022
- 2022-08-12 CN CN202210968799.8A patent/CN115407750B/zh active Active
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2147403A1 (en) * | 1994-05-31 | 1995-12-01 | Bahador Ghahramani | Method for measuring the usability of a system |
| KR20060087617A (ko) * | 2005-01-28 | 2006-08-03 | (주)지이피 | Extended CPM(Corporate Performance Management)을 지향하는 정부, 금융 및 기업의 업무혁신 성과관리 비즈니스모델 |
| KR20090089631A (ko) * | 2008-02-19 | 2009-08-24 | 한양대학교 산학협력단 | 최소 절단 집합과 퍼지 전문가 시스템을 이용한 시스템의고장 모드 및 임계 분석 장치 및 그 방법 |
| WO2017166990A1 (zh) * | 2016-03-31 | 2017-10-05 | 深圳光启合众科技有限公司 | 具备评价能力的人工智能系统及其评价方法 |
| CN107150347A (zh) * | 2017-06-08 | 2017-09-12 | 华南理工大学 | 基于人机协作的机器人感知与理解方法 |
| US20200201282A1 (en) * | 2017-06-26 | 2020-06-25 | Jiangnan University | Energy consumption prediction system and method based on the decision tree for CNC lathe turning |
| BR102017024398A2 (pt) * | 2017-11-13 | 2019-06-04 | Companhia Paulista De Força E Luz - Cpfl | Método para avaliação multicritério de desempenho de operadores de manobras de sistemas de energia elétrica |
| CN108090654A (zh) * | 2017-11-30 | 2018-05-29 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于飞行员生理数据的人机功能分配方法 |
| WO2020036590A1 (en) * | 2018-08-14 | 2020-02-20 | Connect Financial LLC | Evaluation and development of decision-making models |
| CA3063018A1 (en) * | 2018-11-21 | 2020-10-17 | Beijing Yutian Technology Co. Ltd | An intelligent emergency decision support system for emergency communication |
| CN110978064A (zh) * | 2019-12-11 | 2020-04-10 | 山东大学 | 人机协作中人体安全评估方法及系统 |
| US20210279547A1 (en) * | 2020-03-09 | 2021-09-09 | Korea Advanced Institute Of Science And Technology | Electronic device for high-precision behavior profiling for transplanting with humans' intelligence into artificial intelligence and operating method thereof |
| CN111861128A (zh) * | 2020-06-20 | 2020-10-30 | 清华大学 | 自动驾驶车辆人机协同操纵过程的接管舒适性评价方法、系统及存储介质 |
| US20210394789A1 (en) * | 2020-06-20 | 2021-12-23 | Tsinghua University | Evaluation method and system for steering comfort in human machine cooperative take-over control process of autonomous vehicle, and storage medium |
| CN111818485A (zh) * | 2020-06-24 | 2020-10-23 | 公安部交通管理科学研究所 | 一种v2x人机协同性能测试系统及方法 |
| CN112465395A (zh) * | 2020-12-15 | 2021-03-09 | 同济大学 | 一种面向自动驾驶汽车的多维度综合评价方法及装置 |
| CN113780712A (zh) * | 2021-04-30 | 2021-12-10 | 中国人民解放军国防科技大学 | 联合作战装备体系运用评价方法、系统和计算机设备 |
| CN113420952A (zh) * | 2021-05-17 | 2021-09-21 | 同济大学 | 一种基于模拟驾驶的汽车人机交互测试与评估系统 |
| CN113829343A (zh) * | 2021-09-23 | 2021-12-24 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN113753059A (zh) * | 2021-09-23 | 2021-12-07 | 哈尔滨工业大学 | 一种自动驾驶系统下的驾驶人接管能力预测方法 |
| CN113989081A (zh) * | 2021-10-29 | 2022-01-28 | 重庆工商大学 | 一种混合增强智能的大学生项目智能评价系统 |
| CN113974589A (zh) * | 2021-11-12 | 2022-01-28 | 中国科学院自动化研究所 | 多模态行为范式评估优化系统及认知能力评价方法 |
| CN114139196A (zh) * | 2021-11-25 | 2022-03-04 | 中国电子科技集团公司第五十四研究所 | 一种人机任务决策系统的决策权限划分方法 |
| CN114469089A (zh) * | 2021-12-30 | 2022-05-13 | 北京津发科技股份有限公司 | 基于虚拟现实技术的多模态数据抗压能力测评方法及系统 |
| CN114444201A (zh) * | 2022-01-16 | 2022-05-06 | 中国人民解放军空军工程大学 | 基于贝叶斯网络的对地攻击无人机自主能力评估方法 |
| CN114675742A (zh) * | 2022-05-04 | 2022-06-28 | 吉林大学 | 一种面向高度自动驾驶的人机决策逻辑在线校验方法 |
Non-Patent Citations (2)
| Title |
|---|
| 国家市场监督管理总局;国家标准化管理委员会: "第304部分：电子视觉显示器的用户绩效测试方法", 人-系统交互工效学, pages 1 - 24 * |
| 计时鸣, 等: "计算机泛视觉体系下的人机协同方法及其在视觉感知系统设计中的应用", 中国机械工程学会 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116214527A (zh) * | 2023-05-09 | 2023-06-06 | 南京泛美利机器人科技有限公司 | 一种增强人机协作适应性的三体协同智能决策方法和系统 |
| CN116214527B (zh) * | 2023-05-09 | 2023-08-11 | 南京泛美利机器人科技有限公司 | 一种增强人机协作适应性的三体协同智能决策方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115407750B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107224291B (zh) | 调度员能力测试系统 | |
| EP3617815B1 (en) | Work support device, work support method, and work support program | |
| WO2017177128A1 (en) | Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface | |
| CN113662545B (zh) | 一种基于情绪脑电信号和多任务学习的人格评估方法 | |
| US20200074361A1 (en) | Performance measurement device, performance measurement method and performance measurement program | |
| CN114246589A (zh) | 记忆认知能力测评方法及系统 | |
| CN115407750A (zh) | 人机协同智能系统决策能力的测评方法及系统 | |
| CN115299947A (zh) | 基于多模态生理数据的心理量表置信度评估方法及系统 | |
| CN110192860B (zh) | 一种面向网络信息认知的脑成像智能测试分析方法及系统 | |
| Yang et al. | Real-time driver cognitive workload recognition: Attention-enabled learning with multimodal information fusion | |
| WO2024032728A1 (zh) | 一种智能人机协同系统测评方法、装置及存储介质 | |
| Jing et al. | Data-driven implicit design preference prediction model for product concept evaluation via BP neural network and EEG | |
| CN112957049A (zh) | 基于脑机接口设备技术的注意力状态监测装置及方法 | |
| CN115462755A (zh) | 飞行员认知能力评估方法、系统和存储介质 | |
| CN110569968A (zh) | 基于电生理信号的创业失败恢复力评估方法及评估系统 | |
| Yu et al. | Air traffic controllers' mental fatigue recognition: A multi-sensor information fusion-based deep learning approach | |
| CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
| CN115736920A (zh) | 基于双模态融合的抑郁状态识别方法及系统 | |
| Anumas et al. | Driver fatigue monitoring system using video face images & physiological information | |
| CN113951828A (zh) | 一种基于视觉工作记忆任务的mci筛查方法及系统 | |
| Palomares et al. | Development of empathic autonomous vehicles through understanding the passenger’s emotional state | |
| EP4343500A1 (en) | Method and apparatus for evaluating intelligent human-computer coordination system, and storage medium | |
| EP3757950B1 (en) | Method and system for selecting parameters of a design or security element of banknotes based on neuroanalysis | |
| Alfatlawi | An Affective Approach for Behavioral Performance Estimation and Induction | |
| CN117875751A (zh) | 一种基于多模态数据的人员决策能力的测评方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |