CN115994713B - 一种基于多源数据的操作训练效果评估方法及系统 - Google Patents

Abstract

本发明公开一种基于多源数据的操作训练效果评估方法及系统，涉及训练评估领域，该方法包括：获取操作训练过程中的操作视频、装备日志和人工录入信息；将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分；将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分；将人工录入信息输入基于人工录入信息的单源效果评估模型，获得人工录入评分；对视频评分、装备评分和人工录入评分进行数据源一致性评估；将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数。本发明提高了评估结果的可靠性。

Description

一种基于多源数据的操作训练效果评估方法及系统

技术领域

本发明涉及训练评估技术领域，特别是涉及一种基于多源数据的操作训练效果评估方法及系统。

背景技术

训练效果评估，是对训练效果的评议和估量。评估对象的多元性和评估类型的多样性，决定了实施训练评估的复杂性、困难性。训练效果评估作为训练过程的重要环节，通常运用多种分析手段，计算和评估训练任务达到预期目的的程度。其评估结果是牵引和推动训练手段持续改进，提升训练效果的重要依据。

目前有关训练效果的评估方法大多基于单源数据进行分析，如河北砺兵科技有限责任公司的梁伟等人，使用射击采集装置接收的数据信息对实弹射击训练效果进行评估；中国人民解放军海军工程大学的傅晟威等人，在模板设定模块中场景对应的评估指标基础上，进行指标权重设计等，使用评估原始数据实现训练效果评估；安徽动感智能科技有限公司的李锋刚，提出一种基于影像信息处理的康复训练效果评估方法，实现基于非结构化数据的效果评估。多源数据融合评估方法相对较少，中电普信（北京）科技发展有限公司的王运春等人，提出一种融合训练过程中采集到的指标数据和专家打分得到的指标数据的评估方法，实现了基于主客观多源数据的融合，但没有实现多模态数据间的融合及多源数据之间的一致性评估。

发明内容

本发明的目的是提供一种基于多源数据的操作训练效果评估方法及系统，提高了评估结果的可靠性。

为实现上述目的，本发明提供了如下方案：

一种基于多源数据的操作训练效果评估方法，包括：

获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据；

分别将各采集设备采集的操作视频转化为统一格式的视频流信号；

从各所述视频流信号中提取关键帧，获得待评估视频数据；

采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据；

将人工录入信息转换为格式化数据，获得待评估录入数据；

将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签；

将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分，所述基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签；

将待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签；

对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估；

将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的。

可选地，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：

采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中的标签数据进行三维曲面的拟合，获得拟合曲面；

分别判断所述视频评分、所述装备评分和所述人工录入评分与所述拟合曲面的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。

可选地，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：

采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中任意两个数据集的标签数据进行二维曲线的拟合，获得三个拟合曲线；

在操作视频、装备日志和人工录入信息中任意来源数据缺失情况下，使用对应二维曲线进行数据源一致性评估：判断所述视频评分、所述装备评分或所述人工录入评分与对应所述拟合曲线的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。

可选地，所述从各所述视频流信号中提取关键帧，获得待评估视频数据，具体包括：

从各所述视频流信号中选择视频镜头中光流移动次数最少的视频帧作为关键帧。

可选地，所述基于操作视频的单源效果评估模型的训练过程包括：

采用视频数据集，以关键帧构成的视频数据为输入，以视频评分为输出训练基于Yolact++特征提取的反向传播网络，获得基于操作视频的单源效果评估模型；所述网络的训练过程中采用关键帧提取与评分预测的联合损失作为优化目标，所述联合损失包括关键帧提取损失函数和回归损失函数，其中SmoothL1作为关键帧提取损失函数，均方差作为反向传播网络输出评分的回归损失函数。

可选地，所述基于装备日志的单源效果评估模型的训练过程包括：

采用装备日志数据集，以解析日志获得的设定需求字段对应的数值为输入，以装备评分为输出训练岭回归模型，获得基于装备日志的单源效果评估模型。

可选地，所述基于人工录入信息的单源效果评估模型的训练过程包括：

采用人工录入信息数据集，以人工录入信息的格式化数据为输入，以人工录入评分为输出，基于梯度下降的方法训练云重心评估模型，获得基于人工录入信息的单源效果评估模型。

本发明还公开了一种基于多源数据的操作训练效果评估系统，包括：

数据获取模块，用于获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据；

视频信号统一模块，用于分别将各采集设备采集的操作视频转化为统一格式的视频流信号；

待评估视频数据确定模块，用于从各所述视频流信号中提取关键帧，获得待评估视频数据；

待评估日志数据确定模块，用于采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据；

待评估录入数据确定模块，用于将人工录入信息转换为格式化数据，获得待评估录入数据；

视频评分确定模块，用于将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签；

装备评分确定模块，用于将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分，所述基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签；

人工录入评分确定模块，用于将所述待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签；

数据源一致性评估模块，用于对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估；

评估结果分数确定模块，用于将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明将多个采集设备采集的操作视频转化为统一格式的视频流信号，基于聚类的日志解析方法对多种装备的日志数据进行解析，获得待评估日志数据，格式化多个固定表单的人工录入数据，并对三个单源效果评估模型输出的评分进行一致性评估，有效实现多源数据融合，从而提高了评估结果的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于多源数据的操作训练效果评估方法流程示意图一；

图2为本发明一种基于多源数据的操作训练效果评估方法流程示意图二；

图3为本发明一种基于多源数据的操作训练效果评估系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于多源数据的操作训练效果评估方法及系统，提高了评估结果的可靠性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

操作训练过程中，可以通过录制操作视频、记录装备日志数据、人工录入信息等方式，对训练的内容进行记录，并为后续的训练效果评估提供参考。以测试设备操作为例，视频包括了多角度全流程操作录像，日志记录了多种测试设备使用过程中记录的节点时间及设备状态（成功与否，加电/掉电等），人工录入信息包括设计的多个关于测试设备操作的固定表单，具体涵盖人员、时间、地点及操作效果等数据。多源数据之间的差异较大，多模态的数据需要不同的采集、预处理及特征提取，且不同来源数据间无法直接进行比较，量化的一致性评估需建立在统一纲量的基础之上。基于此，为实现考虑一致性评估的多源（操作视频、装备日志、人工录入）数据操作训练效果评估，本发明拟通过决策层面融合，提出一种基于多源（操作视频、装备日志、人工录入）数据的操作训练效果评估方法。

图1为本发明一种基于多源数据的操作训练效果评估方法流程示意图一；图2为本发明一种基于多源数据的操作训练效果评估方法流程示意图二。如图1-图2所示，本发明一种基于多源数据的操作训练效果评估方法，包括：

步骤101：获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据。

针对操作视频的采集，由于不同末端的采集设备（视频采集设备）的格式不同，采用的方法可选用：将不同末端采集到的各类格式的视频信号通过视频采集卡进行数字化，经过端口传输至模块内的CPU，进而采用H.264编码方式对其进行压缩编码，实现转换输出统一格式的视频流信号，便于实时传输及后续使用统一的预处理方法。

针对装备日志的采集，由于装备种类繁多，存在不同厂家的数控系统之间协议与接口封闭或不通用等难点问题。采用的方法可选用：对于开放数据接口的装备分系统，通过建立网络通信，或采用定期导出的方式，获取其装备日志数据；对于设置传感器方式记录的装备日志信息，通过模数转换模块进行数字化，或通过相应总线直接读取传感器的数字信号。

针对人工录入信息的采集，用于操作训练效果评估的人工数据通常对照特定场景中的固定表单进行收集，因此，具有结构性较强但错误率较高的特点。采用的方法可选用：针对各场景的固定表单设计人工录入界面，通过下拉选项的方式确保定性数据的完整性、一致性、准确性。通过冲突检查的方式，确保定量数据的录入符合特定场景下可能的范围和关系。如，当人工输入的操作时间间隔超出当前操作可能的时长，则可以通过提示错误的方式，要求用户修改完毕后才可以正常提交。

对采集的操作视频数据、装备日志数据和人工录入信息进行预处理，包括剔除异常值、填补缺失值、视频关键帧提取、图像归一化、非结构化日志解析、人工指标计算等。

步骤102：分别将各采集设备采集的操作视频转化为统一格式的视频流信号。

步骤103：从各所述视频流信号中提取关键帧，获得待评估视频数据。

其中，步骤103具体包括：

从各所述视频流信号中选择视频镜头中光流移动次数最少的视频帧作为关键帧。

针对操作视频的关键帧提取，基于运动分析的视频关键帧提取方法，在视频镜头中分析人物训练动作的光流量，每次选择视频镜头中光流移动次数最少的视频帧作为提取到的关键帧。利用光流法计算视频帧的运动量：

M(k)=∑∑|L_x(i,j,k)|+|L_y(i,j,k)|；

其中，M(k)表示第k帧的运动量；

表示第k帧像素点（i,j）处光流x分量；

表示第k帧像素点（i,j）处光流y分量。而后取局部最小值作为视频的关键帧：

M(k_i)=min[M(k)]。

其中，M(k_i)表示关键帧k_i的运动量。

步骤104：采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据。

待评估日志数据包括设定需求字段及设定需求字段对应的数值。

其中，步骤104具体包括：

基于聚类的自适应非结构化日志解析方法对日志数据进行解析，获得设定需求字段对应的数值，构成待评估日志数据。

装备在日常操作过程中会产生海量的原始日志数据，由于大多数系统日志采用非结构化的文本格式，难以对其中的可用信息进行高效的解析和提取。传统的非结构化日志解析方法，是根据不同的日志格式，构建对应的正则表达式进行解析，并进一步清洗、规范化处理和存储。但由于装备操作训练中设计的系统、分系统类型繁多，且不断进行更新迭代，需要专家知识进行频繁维护的传统解析手段已难以适应当前的日志格式变化频率。为实现根据日志格式进行自适应的日志解析方法生成，本方案采用基于聚类的日志解析方法进行非结构化日志的自动解析。

首先，对原始日志数据中冗余的日志产生日期、IP地址、端口号等无关信息进行剔除。而后对每条日志记录进行拆分与项对生成，设一条日志可利用空格拆分为n个字符串，则可将每个字符串依次与其后所有字符串组成

个项对。最后基于项对进行日志的聚类，具体的步骤为：将原始日志以记录为单位随机分为k个部分，依次移动每条记录，迭代求解日志文本T的最优聚类方案使目标函数J(T)最大化：

；

；

其中，I(T)表示日志文本T中的项对集，N(i,T)表示某一项对i在日志文本T中的数量，P(i,T)则计算了日志文本T中项对i在项对全集中占的比例，也即含i的日志部分占全文的比率。迭代停止，即完成日志的聚类解析。

聚类自动获取了日志中各个条目与内容的对应关系，因此能够完成多种装备中不同类型日志的解析，可以将其转化为半结构化数据。根据操作训练大纲中对应的操作要求，可以针对特定操作构建评价指标体系，使用日志解析的结果对定性指标进行量化，从而获取设定需求字段与数值的对应关系，作为基于装备日志的单源效果评估模型的数值型输入。

步骤105：将人工录入信息转换为格式化数据，获得待评估录入数据。

步骤106：将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签。

所述基于操作视频的单源效果评估模型的训练过程包括：

采用视频数据集，以关键帧构成的视频数据为输入，以视频评分为输出，训练基于Yolact++特征提取的反向传播网络，获得基于操作视频的单源效果评估模型；所述网络的训练过程中采用关键帧提取与评分预测的联合损失作为优化目标，所述联合损失包括关键帧提取损失函数和回归损失函数，其中SmoothL1作为关键帧提取损失函数，均方差作为反向传播网络输出评分的回归损失函数。

经过数据预处理得到的关键帧图像，是一种高维的数据，为避免针对各场景进行人工的特征设计，本发明选用基于Yolact++网络的深度学习方法进行特征提取。Yolact++网络采用ResNet101作为主干网络对输入的图像进行特征提取，生成五个特征图，并选取其中三个特征图特征金字塔的中间输入层，经过多尺度特征融合后生成训练操作的相关特征。

Yolact++网络采用SmoothL1损失函数作为边界框回归损失函数，分别对预测框的长、宽、中心点横坐标和纵坐标的偏置进行损失计算，具体计算过程如下：

；

；

；

；

其中，x_a，y_a，w_a，h_a表示锚（anchor）的中心点坐标、长和宽；

，/>

，/>

，/>

表示真实框的中心点坐标、长和宽；ｕ表示网络预测的anchor偏置矩阵；ｖ表示真实框与anchor的偏置矩阵，/>

和t_i为中间参数。

基于Yolact++特征提取的反向传播网络训练阶段，将Yolact++网络提取得到的特征输入反向传播网络获得激励响应，而后使用激励响应与标记评分的均方差，求解隐层和输出层的响应误差（回归误差），迭代最小化特征提取与回归的联合损失函数，完成基于操作视频的单源效果评估模型训练。

步骤107：将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分，所述基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签。

所述基于装备日志的单源效果评估模型的训练过程包括：

根据操作训练中对装备的指标要求，构建相对应的评价指标体系确定需求字段，对其中的定性指标进行量化，从而将基于装备日志的单源效果评估问题转换为数值回归预测问题。采用装备日志数据集，以解析日志获得的需求字段数值为输入，以装备评分为输出训练岭回归模型，获得基于装备日志的单源效果评估模型。

步骤108：将待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签。

所述基于人工录入信息的单源效果评估模型的训练过程包括：

采用人工录入信息数据集，以格式化后的待评估录入数据为输入，以人工录入评分为输出，基于梯度下降的方法训练云重心评估模型，获得基于人工录入信息的单源效果评估模型。

根据操作训练中人工录入信息的数据特点，该类来源的数据往往在针对任务设计的表单基础上进行数据采集，经过预处理的人工指标计算后，存在较多的定性指标，同时存在时间、评分等不同纲量的定量指标，为结合不同类型指标，本发明提出一种基于梯度下降的云重心评估模型，通过训练集学习得到各评价指标的权重，评估实际操作训练的云重心与理想状态的云重心的偏离情况，建立基于人工录入信息的单源效果评估模型。

第一步，构造定性评测云标尺，即对定性指标进行量化，将每个评价集中的语言变量映射到对应的数域中，如当某定性指标的评价集为｛差，一般，中等，良好，优秀｝时，将对应数域设置为[0,100]，则评价与评定值对应关系为｛0，25，50，75，100｝。

第二步，构建各指标的云模型。分别求解精确数值型指标和定性评价型指标的云模型特征，包括期望值E_x、熵E_n及超熵E_e。精确数值型指标的云模型可表示为：

；

其中，E_xi表示第i个样本的指标数值，n表示样本总数。

定性评价型指标的云模型可表示为：

；

第三步，对各指标对应的云重心进行度量。由p个指标组成p维云C=(C₁,C₂,…,C_p)，l=(E_x1,E_x2,…,E_xp)表示为云的位置，w=(w₁,w₂,…,w_p)表示为云的高度，也即权重。

第四步，评估云重心的偏离程度，根据具体操作评估中设定的规则将偏离程度对应至训练评估结果，偏离越大则评估结果越差。将云重心向量做归一化处理：

；

其中，

表示理想状态下云状态，/>

表示归一化后的云状态，C_i表示第i维云重心向量；计算云重心的加权偏离度，即得到该条人工录入信息对操作训练的评价结果：

；

其中，θ表示加权偏离度，w_i表示权重。

模型训练阶段，使用已知的评价结果及各指标数值，利用梯度下降法学习权重。将损失函数L(w₁,w₂,…,w_p)定义为当前权重计算得到的评价结果与标注结果之间的L₂损失。确定当前权重取值下，损失函数关于w_i的梯度，并乘以设置的步长得到下降距离。迭代结束的条件为：对所有的权重，下降的距离均小于设定的阈值。否则，应用如下更新公式：

；

达到迭代结束条件时，学习得到的权重即可用于构建基于人工录入信息的云评估模型（基于人工录入信息的单源效果评估模型）。

各个数据集中标签为评分。

步骤109：对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估。

根据前期标注，已知训练样本的三类单源数据评估结果。本发明针对三类来源数据之间的关系进行学习，分别拟合二维曲线及三维曲面，构建一致性评估模型。使用实际数据得到单源评估结果，计算与训练曲线的偏离程度，根据设定阈值判断单源数据是否存在较大偏差，确定其是否与其他来源数据存在一致性。

当拟合数据的内在形状较为复杂时，具有局部可调性质的B样条是一种有效的拟合函数，较简单的多项式而言能够更精确地拟合数据，本方案中拟合方法可选用：基于差分进化算法的B样条曲线曲面拟合算法。该方法在最小二乘法的基础上，结合差分进化算法，实现根据多源数据的变化情况自适应地设置节点，并对节点的数量和位置进行优化，在间断和尖点处产生拟多重节点，进而使得二源数据的拟合曲线和三源数据的拟合曲面能较好地拟合急剧变化的过程。

其中，作为具体实施方式，步骤109具体包括：

采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中的标签数据进行三维曲面的拟合，获得拟合曲面。

分别判断所述视频评分、所述装备评分和所述人工录入评分与所述拟合曲面的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。

其中，作为另一种具体实施方式，步骤109具体包括：

采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中任意两个数据集的标签数据进行二维曲线的拟合，获得三个拟合曲线。

在操作视频、装备日志和人工录入信息中任意来源数据缺失情况下，使用对应二维曲线进行数据源一致性评估：判断所述视频评分、所述装备评分或所述人工录入评分与对应所述拟合曲线的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。

下面以二源数据的二维曲线拟合为例，具体步骤为：

第一步，实现基于最小二乘法的B样条拟合。求解以最小化残差平方和为优化目标下的拟合曲线最优控制顶点。对拟合数据

进行采样：

；

其中，ε_j为噪音误差，N为采样数量。定k次B样条曲线的节点为ξ_i∈[a,b](i=0,1,…,n+2k+1)，n为内节点数，x_j表示第j个采样数据，a表示采样数据下限，b表示采样数据上限，f(x_j)表示第j个采样数据对应的真实值。接着将端节点设为k+1重节点，得到拟合函数：

；

；

其中，ξ₀、ξ₁、ξ_k、ξ_n+k+1、ξ_n+k+2、ξ_n+2k+1均为节点，d_i(i=0,1,…,n+k)为控制顶点，N_i,k(i=0,1,…,n+k)为k次B样条基函数，其递推公式及最小化的残差平方和R为：

；

；

。

对于一组固定的内节点，应用最小二乘法最小化残差平方和

求得拟合曲线S(x)的最优控制顶点d_i(i=0,1,…,n+k)。

第二步，基于最小二乘法的B样条拟合，实现B样条拟合的差分进化算法。在第一步求解的顶点基础上，进一步通过搜索求解更优顶点。

（1）初始化种群。在这里将B样条拟合问题中的一组可行内节点ξ_i=(ξ₀,ξ₁,…,ξ_n)(n_i为ξ_i的长度)作为一个个体，种群包含NP个个体。本发明中初始种群个体长度均设为L=[λN]，N是被拟合数据点数量，λ称为节点率，其取值随具体实例的不同而改变。

（2）变异。首先随机选取3个互不相同且不同于ξ_i,G的个体

。当rand₁<dp(dp为删除概率，rand₁为[0,1]之间的随机数)，则随机删除一个节点，得到一个新的个体/>

，否则，按升序向ξ_i,G随机插入一个(a,b)之间的节点，得到一个新个体/>

，其中G表示迭代次数。取/>

，其中/>

分别为

的长度。如，当/>

时，则将/>

中每/>

个元素相加后求其平均值按顺序依次存入/>

中，即：

；

并对

进行同样的操作。而后对/>

进行变异，得到变异向量

：

；

其中，取

（F_G称为变异系数），Gm为最大迭代次数。

（3）杂交。将ξ_i,G和U_i,G杂交得到实验向量V_i,G：

；

其中，CR称为杂交系数，本发明中取值为CR=0.5×(1+rand₄)，随机数均位于[0,1]之间。

（4）选择。本发明使用统计学中贝叶斯信息准则BIC(评价模型拟合效果的一种方法)作为适应度函数，在本发明曲线拟合问题中，其表达式为：

BIC=N×(lnR)+(lnN)×(2n+k+1)。

其中，N为拟合数据点的数量，R为残差平方和，2n+k+1为变量的数量。BIC值的大小反映了拟合精度，其值越小，拟合精度越高。最后，根据贪婪法则，选择较优个体遗传到下一代：

。

其中，V_BIC表示实验向量V_i,G对应的BIC值，ξ_BIC表示原向量ξ_i,G对应的BIC值。

结合上述差分进化算法的描述，数据拟合方法即对每次迭代中的种群个体应用最小二乘法，求解与之对应的最小残差平方和，进而计算出适应度函数BIC值；进行变异和杂交操作后，根据适应度函数值进行选择及种群更新；达到迭代终止条件，则输出最优内节点组，完成拟合。终止条件均设为：平均平方误差MSE<10^-5或者迭代次数大于设定值。

通过计算实际数据与训练拟合曲线或曲面的偏离程度，根据设定阈值判断单源数据是否存在较大偏差，确定其是否与其他来源数据存在一致性，为后续分析是否采信该来源数据提供参考。

对于判定为不一致的数据，可以进行剔除或重新采集的方式。针对可靠数据无法补充的情况，在多源决策融合模块中可以针对三种单源数据评估结果分数的两两组合作为输入，训练出缺失某一来源的多源决策融合模型，利用缺失条件下的数据进行双源评估。针对重新采集的数据，则重新进行一致性评估及后续决策融合。

步骤110：将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的。

本发明多源决策融合模型采用基于弹性网络回归和XGBoost的回归预测模型。

本发明将效果评估模块中得到的三种单源数据评估结果分数作决策层融合、进行训练，综合得到最终的基于多源数据的评估结果分数。

多源决策融合模型是一种数值型的回归模型，具有自变量间相关性较强、不同来源数据可参考价值不同（权重不同）的特点。弹性网络回归模型结合LASSO回归及岭回归，同时具有筛选重要变量和防止多重共线性的优点。XGBoost是一种改进的梯度提升算法，集成学习能够进一步提升标准算法的预测性能。因此，针对该步骤，采用的方法可选用：基于弹性网络回归和XGBoost的回归预测模型。将三种单源数据评估结果分数和已知的多源数据评估结果分数作为输入，记弹性网络回归模型为

和XGBoost模型为/>

，则模型训练的优化目标为：

。

其中，Y_i表示模型对样本x_i的多源评估结果分数的预测值，r和t分别表示弹性网络回归模型和XGBoost模型的权重。该方法充分利用了弹性网络回归具有较低的估计误差、XGBoost具有较低的逼近误差两项优势，能够获得更优的模型预测性能。

本发明通过数据采集及预处理，实现操作视频、装备日志、人工录入信息的多源原始数据的获取、清洗，并通过专家评估的方法构建基于单源数据及多源数据评估的训练样本；通过适应于原始数据特点的对应机器学习方法，分别构建基于操作视频、装备日志、人工录入信息的三个单源评估模型；建立关于三个单源评估结果间的回归预测模型，用于多源数据间的一致性评估，解决单源数据的可靠性问题；最终通过学习单源评估结果与多源评估结果间的关系，从决策层面解决多模态数据的融合问题，得到最终的多源训练评估结果。

1、本发明能够对多个采集设备上的操作视频、装备日志、人工录入等信息进行采集，实现同一模态内的格式转换，解决不同装备、系统、采集设备上数据格式不统一的矛盾问题。

2、本发明根据操作视频、装备日志、人工录入等多源数据的特点，对非结构化数据进行相应的预处理，其中，能够利用深度学习、机器学习算法实现非人工录入数据的自适应解析，针对人工录入信息实现基于指标体系的智能计算。

3、本发明能够训练得到针对单源数据的训练效果评估模型，具有数据缺失等特殊情况下的效果评估鲁棒性。基于单源数据的训练评估模型，均可以迁移应用至对应模态数据的其他效果评估。

4、本发明设置一致性评估模块，基于单源数据训练效果评估结果，对某一来源数据进行可靠性检验，能够有效提升效果评估的可信度，且可进一步拓展应用于虚假信息的识别。

5、本发明在决策层面实现对多源数据训练效果评估的融合，能够从多源数据维度给出最终效果评估的具体解释。

图3为本发明一种基于多源数据的操作训练效果评估系统结构示意图，如图3所示，一种基于多源数据的操作训练效果评估系统，包括：

数据获取模块201，用于获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据。

视频信号统一模块202，用于分别将各采集设备采集的操作视频转化为统一格式的视频流信号。

待评估视频数据确定模块203，用于从各所述视频流信号中提取关键帧，获得待评估视频数据。

待评估日志数据确定模块204，用于采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据。

待评估录入数据确定模块205，用于将人工录入信息转换为格式化数据，获得待评估录入数据。

视频评分确定模块206，用于将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签。

装备评分确定模块207，用于将待评估日志数据输入基于装备日志的单源效果评估模型，获得日志评分，所述基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签。

人工录入评分确定模块208，用于将待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签。

数据源一致性评估模块209，用于对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估。

评估结果分数确定模块210，用于将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于多源数据的操作训练效果评估方法，其特征在于，包括：

获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据；

分别将各采集设备采集的操作视频转化为统一格式的视频流信号；

从各所述视频流信号中提取关键帧，获得待评估视频数据；

采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据；

将人工录入信息转换为格式化数据，获得待评估录入数据；

将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签；

将待评估日志数据输入基于装备日志的单源效果评估模型，获得装备评分，所述基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签；

将待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签；

对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估；

将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的；

所述基于操作视频的单源效果评估模型的训练过程包括：

采用视频数据集，以关键帧构成的视频数据为输入，以视频评分为输出训练基于Yolact++特征提取的反向传播网络，获得基于操作视频的单源效果评估模型；所述网络的训练过程中采用关键帧提取与评分预测的联合损失作为优化目标，所述联合损失包括关键帧提取损失函数和回归损失函数，其中SmoothL1作为关键帧提取损失函数，均方差作为反向传播网络输出评分的回归损失函数；

所述基于装备日志的单源效果评估模型的训练过程包括：

采用装备日志数据集，以解析日志获得的设定需求字段对应的数值为输入，以装备评分为输出训练岭回归模型，获得基于装备日志的单源效果评估模型；

所述基于人工录入信息的单源效果评估模型的训练过程包括：

采用人工录入信息数据集，以人工录入信息的格式化数据为输入，以人工录入评分为输出，基于梯度下降的方法训练云重心评估模型，获得基于人工录入信息的单源效果评估模型。

2.根据权利要求1所述的基于多源数据的操作训练效果评估方法，其特征在于，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：

采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中的标签数据进行三维曲面的拟合，获得拟合曲面；

分别判断所述视频评分、所述装备评分和所述人工录入评分与所述拟合曲面的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。

3.根据权利要求1所述的基于多源数据的操作训练效果评估方法，其特征在于，对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估，具体包括：

采用所述视频数据集、所述装备日志数据集和所述人工录入信息数据集中任意两个数据集的标签数据进行二维曲线的拟合，获得三个拟合曲线；

在操作视频、装备日志和人工录入信息中任意来源数据缺失情况下，使用对应二维曲线进行数据源一致性评估：判断所述视频评分、所述装备评分或所述人工录入评分与对应所述拟合曲线的偏离是否大于设定阈值，若大于设定阈值，则剔除大于设定阈值对应的评分，获得通过数据源一致性评估的评分。

4.根据权利要求1所述的基于多源数据的操作训练效果评估方法，其特征在于，所述从各所述视频流信号中提取关键帧，获得待评估视频数据，具体包括：

从各所述视频流信号中选择视频镜头中光流移动次数最少的视频帧作为关键帧。

5.一种基于多源数据的操作训练效果评估系统，其特征在于，包括：

数据获取模块，用于获取操作训练过程中的操作视频、装备日志和人工录入信息；所述操作视频包括多个采集设备采集的操作视频，所述装备日志包括多种装备的日志数据，所述人工录入信息为多种固定表单数据；

视频信号统一模块，用于分别将各采集设备采集的操作视频转化为统一格式的视频流信号；

待评估视频数据确定模块，用于从各所述视频流信号中提取关键帧，获得待评估视频数据；

待评估日志数据确定模块，用于采用基于聚类的日志解析方法对不同格式的日志数据进行特征提取，从提取出的特征字段中筛选出设定需求字段并获得设定需求字段对应的数值，获得待评估日志数据；

待评估录入数据确定模块，用于将人工录入信息转换为格式化数据，获得待评估录入数据；

视频评分确定模块，用于将待评估视频数据输入基于操作视频的单源效果评估模型，获得视频评分，所述基于操作视频的单源效果评估模型是根据视频数据集训练确定的；所述视频数据集中样本数据包括视频数据和与视频数据对应的标签；

装备评分确定模块，用于将待评估日志数据输入基于装备日志的单源效果评估模型，获得装备评分，所述基于装备日志的单源效果评估模型是根据装备日志数据集训练确定的；所述装备日志数据集中样本数据包括装备日志数据和与装备日志数据对应的标签；

人工录入评分确定模块，用于将所述待评估录入数据输入基于人工录入信息的单源效果评估模型，获得人工录入评分，所述基于人工录入信息的单源效果评估模型是根据人工录入信息数据集训练确定的；所述人工录入信息数据集中样本数据包括人工录入信息的格式化数据和与人工录入信息的格式化数据对应的标签；

数据源一致性评估模块，用于对所述视频评分、所述装备评分和所述人工录入评分进行数据源一致性评估；

评估结果分数确定模块，用于将通过数据源一致性评估的评分输入多源决策融合模型，得到评估结果分数；所述多源决策融合模型是根据多源评估数据集训练确定的；

所述基于操作视频的单源效果评估模型的训练过程包括：

采用视频数据集，以关键帧构成的视频数据为输入，以视频评分为输出训练基于Yolact++特征提取的反向传播网络，获得基于操作视频的单源效果评估模型；所述网络的训练过程中采用关键帧提取与评分预测的联合损失作为优化目标，所述联合损失包括关键帧提取损失函数和回归损失函数，其中SmoothL1作为关键帧提取损失函数，均方差作为反向传播网络输出评分的回归损失函数；

所述基于装备日志的单源效果评估模型的训练过程包括：

采用装备日志数据集，以解析日志获得的设定需求字段对应的数值为输入，以装备评分为输出训练岭回归模型，获得基于装备日志的单源效果评估模型；

所述基于人工录入信息的单源效果评估模型的训练过程包括：

采用人工录入信息数据集，以人工录入信息的格式化数据为输入，以人工录入评分为输出，基于梯度下降的方法训练云重心评估模型，获得基于人工录入信息的单源效果评估模型。

Images