CN112446591A - 一种用于学生综合能力评价的评价体系及零样本评价方法 - Google Patents

Abstract

本发明公开了一种面向学生综合能力评价的评价体系及零样本评价方法。其中，评价体系为评价方法提供合理的数据集（最终形成的是A类、B类、C类、D类四类型数据，其中A、B、C类是根据评价体系综合得分G所在区间划分得到，D类为模拟出的不符合评价指标规范的异常类数据）。评价方法中先进行数据预处理工作，将所得数据集利用SVM算法做分类，以模拟出实际评价工作中已存在的已知类别p（SVM中准确度已达100%的样本，即：本发明中A、D类）和将来可能会出现的未知类别q（SVM中准确度未达100%的样本，即：本发明中B、C类），之后进行模型构建的三步工作，最终达到只训练p类已知样本却可准确识别出q类未知样本的效果。

Description

一种用于学生综合能力评价的评价体系及零样本评价方法

技术领域

本发明涉及学生能力智能评价领域，具体为一种面向学生(研究生)综合能力评价的智能评价体系及零样本评价方法。

背景技术

研究生综合能力评价是研究生科学研究能力的衡量依据，构建一种面向研究生综合能力评价的智能评价体系及评价方法，对革新教学评价方式、改善研究生考核的全面性和准确性、助力高等学校科学研究范式的转型升级以及增强研究生的专业综合素养具有重要意义。

现阶段关于研究生综合能力的智能评价体系及评价方法的研究已经取得一些成效，主要体现在：陈莹采用层次分析法构建了创业意识、创业品质、创业知识和创业技能等大学生创新能力评价指标，为大学生创新创业能力的培养绩效评价提供借鉴，但评价体系中评价指标不够全面且缺乏指标定性化与定量化两方面的考虑。陈方芳运用灰色模糊理论模型结合最大隶属度原则及灰度原理的方法，建立灰色模糊综合评价模型，并以实例验证求解，讨论了该方法的适用性与科学性，可有效评价高校大学生数学素质，但在构建模型过程中，权重部分只用利用层次分析法来计算且构建隶属度矩阵时未考虑客观因素，导致计算过程存在着主观不确定性。Xin Li等人建立以职业能力为基础的评价指标体系，由六个主要指标和28个二级指标构成的递归类结构模型，为高校培养合格的本科专业人才提供了一条较为有效的途径，但却未给出较完整的能力评判规则，致使评价方案存在些许不足，无法保证高校评价制度的完善性。刘佳构建了基于BP神经网络的大学生科研能力评价模型，采用基于LM算法的的8-12-1单隐层BP神经网络评价模型对40组样本进行分类评估，准确率达到了92.5％。崔桓睿关于学生学习情况展开研究，利用基于改进K-modes的神经网络算法对课堂中学生的学习效果进行聚类分析，准确度达93.96％。Xiang Feng等人运用文献分析法与资料预分析法，提出一种基于长短时记忆注意机制(LSTM-ATT)和注意机制的学业情绪分类算法，对在线学习环境下学生的学习情绪识别测量，在测试集上准确率达71％。

通过分析可以看出，目前关于构建研究生综合能力评价体系的研究发展多停留在基于层次分析法、专家打分法等传统主观赋值法。相关领域关于构建研究生综合能力评价的智能评价体系及评价方法只局限于固定的体系流程，实践意义不强。能力评价工作往往只是就某类指标进行评估，根据固定评价导向规则和专家经验来确定某个能力评价方案的合理性。在指标权重方面，通常会把某一项指标的比重放到无以复加的地位，直接决定了综合素质评价结果，在评价结果给定方面，通常只是套用固定的线性表达式予以计算。这些都导致了目前的能力评价体系过于主观或者过于客观，缺乏科学可靠性。同时，大部分学者对研究生综合能力评价方法的探索多基于评价指标及传统机器学习相结合的方法，传统评价网络特征分析有限，且输入的离散样本难以充分体现评价特征间的相关性，进而影响评价的准确率。近年来，深度学习在许多机器视觉识别任务上都表现出卓越的性能。与机器学习方法不同，表达能力更强的深度学习方法能够自动对原始图像进行更丰富的特征信息分析、提取。为了确保高性能的特性，深度学习方法需要非常大的数据集，但由于缺乏积累，与评价体系相应的训练数据样本较少并且各类别很难达到均衡，常常会遇到些少见或从未出现过的罕见类评价样本，严重影响了识别算法的性能。

发明内容

为了进一步提高现阶段研究生科学研究能力评价的主客观综合性、科学可靠性，以及针对评价样本少、样本不均衡、罕见零样本等问题，本发明目的是提出一种研究生综合能力评价体系以及相应的基于语义自编码的零样本综合能力智能评价方法。在保证综合评价体系主客观评价指标科学配比的同时，也有效提高研究生各类综合能力评价结果的准确率。

本发明是采用如下技术方案实现的：

一种用于学生综合能力评价的评价体系及零样本评价方法，包括如下步骤：

(1)、综合能力评价体系构建

1.1、建立研究生综合能力评价指标体系

根据学生综合能力培养过程中的表征信息确定学生综合能力评价指标体系的组成成分，构成指标因素集U＝{u₁,u₂,…,u_h}，其中u₁,u₂…u_h代表评价指标体系中一级指标，且u₁,u₂…u_h细化为{u₁₁u₁₂…u_1k,u₂₁u₂₂…u_2k,…,u_h1u_h2…u_hk}此类二级指标，最终构建出学生综合能力评价指标体系。

1.2、确定学生综合能力评价指标体系权重

1.2.1、构造多位领域专家权重综合矩阵

假设评价体系中有n个评价指标，请m位领域专家对指标的权重给出每位独特的见解，进而得到m个判断数据序列，由这些数据序列构成综合权重矩阵，领域专家权重的综合矩阵形式如下式：

式子中，a_nm是第m个专家对第n个指标的权重判断数据。

1.2.2、确定对照数据序列A₀

从综合矩阵A中选择一个最大的权重值作为每个领域专家公有的对照权重值，记为a_i0,i＝1,2，…n，以a_i0来构建出对照数据序列，具体如下式：

A₀＝(a₁₀,a₂₀,...，a_n0)^T

其中，a₁₀＝a₂₀＝a₃₀＝…＝a_n0＝max{a₁₁,...,a_1m；a₂₁,…,a_2m；a_n1,...,a_nm}。

1.2.3、求得相对距离

求得对照数据序列A₀之后，开始计算专家权重综合矩阵A中每一列即每个专家给定的指标权重序列A₀，A₁，…，A_n与参考序列A₀之间的相对距离D_i0,i＝1,2…n，具体计算如下：

1.2.4、求取综合能力评价指标赋权体系中主观权重

由专家权重综合矩阵A中每一列与对照数据序列之间的相对距离的大小求取学生综合能力评价指标赋权体系中主观权重，具体公式如下：

规范化处理所得的主观权重，求得

ω_ai即为所求得的最终主观权重向量，即学生综合能力评价指标体系的主观权重系数。

求解出综合能力评价指标体系主观权重系数ω_ai,(i＝1,2,...n)后，由构建评价指标体系所制定的规则而收集到的研究生各指标原始数据，应用变异系数法进行指标权重体系中客观权重的计算，即求得综合能力评价指标体系客观权重系数ω_bi,(i＝1,2,...,n)；结合综合能力评价指标体系中各指标因子的主观权重ω_ai和客观权重ω_bi得到对应的综合权重ω_i,(i＝1,2,...n)，且约束ω_i权重值应与ω_ai和ω_bi权重值越为接近越好，采用公式如下：

求得综合权重ω_i，也即学生综合能力评价指标体系的最终权重系数。

1.3、量化研究生综合能力评价体系最终评价结果

1.3.1、确定能力评价对象集、指标因素集和评语集

以能力评价对象和指标因素为基础，确定出评语集V＝{v₁,v₂,...,v_n}，其中，评价语句设定为V＝{优，良，中，差}。

1.3.2、确定模糊权重向量P

模糊权重向量即为综合能力评价指标权重体系最终得到的综合权重ω_i。

1.3.3、确定模糊变换矩阵R

确定出模糊变化矩阵即隶属函数，其目的是得到从特征因素及到评语集的模糊映射R_f＝(r_i1,r_i2,...,r_in)，且要满足

a、对于定性指标的处理，采用模糊统计法确定隶属度函数的方法，详细步骤为：

邀请m位领域专家对评价对象关于体系中定性指标根据n个评语等级分别进行评价，评价后对结果进行综合统计，据此计算评价对象对应于指标U_i的隶属度r_ij：

r_ij＝m_ij/m

式中m为专家个数，m_ij表示指标U_i隶属于该评价等级的专家人数；

利用上式获得定性指标模糊综合评价R_ij＝(r_i1,r_i2,......r_in)。

b、定量指标全部属极大型指标，隶属度采用指派法确定，对该类指标隶属度函数定义为：

式中，a_i(i＝1,2,3,......)为各指标对应于评语集的评价标准，且满足μ₁+μ₂+μ₃+μ₄＝1，将标准参数带入隶属度函数后将实际值代入函数即求得指标隶属度u_i，进而得到定量指标模糊综合评价R_ij＝(r_i1,r_i2,......r_in)；

将定性指标与定量指标的模糊映射联立构造综合能力的模糊变化矩阵，即指标隶属度矩阵：

1.3.4、确定模糊评价结果

在权重矩阵P和指标隶属度R基础上，进行复合运算求得各评价对象的最终评价结果B′，采用加权平均算子，公式如下：

B'＝PR＝(b′₁,b′₂,...,b′_n)

式中，

b'_j表示评价对象隶属于评语V_j的程度。

1.3.5、模糊综合评价结果分析

根据模糊评价结果，采用量化处理的方式对所给的结果进行进一步的描述和分析；量化时，先将评语集V上的各个评价语句赋予相应的分值，对应评价语句赋予分值为{优＝95，良＝80，中＝65，差＝50}，将分值集合和模糊评价结果B′采用加权平均算子进行计算，求得评价对象综合得分：

式中，g_j是对V上第j个评价语句赋予的分值。

最后，将所得综合评分由所属区间进行分类处理，取得最终能力评价体系评价结果，即：将综合得分处于评语集中良～优区间的学生数据给定为A类、处于中～良区间的数据给定为B类、处于差～中区间的数据给定为C类。

(2)、学生综合能力评价方法制定

2.1、数据预处理

以学生综合能力评价数据为基础，收集A类数据、B类数据、C类数据，模拟出不符合评价体系指标规则的异常类D类数据；

按照分类结果，将A类数据与D类数据作为零样本模型中的已知类记作p，将B类数据与C类数据作为零样本模型中的未知罕见类记作q，以期实现训练少量的A、D类型样本数据去预测识别B、C类型样本数据；

将A类数据、B类数据、C类数据及D类数据采用格拉姆角和场方程生成二维图像样本。

2.2、模型构建

零样本分类工作中，将p类样本模拟为实际评价过程中可见类型数据样本，将q类样本模拟为未见类数据样本。

2.2.1、视觉空间的构建

经格拉姆角和场转换出的二维图片样本首先利用Keras深度学习库中批量生成器方法实现数据增强，其中，随机旋转角度参数设置为40，随机水平偏移、随机竖直偏移、剪切变换角度、随机缩放的幅度、随机通道偏移的幅度与随机竖直翻转参数值均设置为0.2，fill_mode参数设置为nearest，当进行数据增强时超出边界的点将根据原参数方法进行填充处理；

网络输入层图像大小上设置为224*224*3，将处理好的4类评价结果图像样本输入网络训练，learning rate设置为1e-4，学习率衰减为每20个Epoch衰减10％，优化器选择拥有自适应算法Adam，MiniBatchSize设置为16；训练时，先将在ImageNet上训练好的VGG16预训练模型导入以实现迁移学习，在微调设置方面上，对训练好的VGG16模型block1-block4的结构和参数冻结，VGG16预训练模型中block1、block2中均含两个卷积层，block3、block4中均包含三个卷积层，在对VGG16预训练模型block5卷积块处理中，将先前模型中3层步长为均为1大小均为512的3*3的卷积核替换为128个1*1卷积核、192个1*1卷积核经过ReLu激活函数再进行256个3*3卷积、32个1*1卷积核经过Relu激活函数再进行64个5*5卷积、3*3大小pool层后再进行64个1*1卷积核的第三维并联结构，并且采用depthcat组合各卷积核输出完成不同尺度特征的融合，全连接层部分修改先前模型倒数第二层中的4096参数降为1024以期更好的提取图像特征，同时对输出层采用sofx-max函数，使模型能够作多分类预测；

模型搭建完毕后，将图片样本中可见类样本以及不可见类样本输入，提取模型中全连接层倒数第二层输出的1024维深层特征数据作为视觉空间中视觉特征，分别记作X_Y与X_Z。

2.2.2、语义空间的构建

构建出可见类A、D评价结果类型样本以及罕见类B、C类型样本的语义特征矩阵，记作S_Y与S_Z，并由所得语义特征矩阵构建出语义空间。

2.2.3、视觉-语义映射的构建

构建基于语义自编码器的零样本学习模型SAE，具体如下：

构建语义自编码器的目标函数为：

s.t.WX＝S

式中，输入样本数据即为X∈R^d×N，d是样本的特征维度，N是样本总数；投影矩阵W∈R^k×d，k是样本属性的维度，样本属性S∈R^k×N；令W^*＝W^T，将上式重写为：

其中||·||_F是Frobenius范式，第一项

是自编码器项，第二项

是视觉语义约束项，用来约束投影矩阵W，同时保证模型具有的泛化性；λ是超调参数；对上式先求导，再利用矩阵迹的性质化简，结果如下：

-2SX^T+2SS^TW+2λWXX^T-2λX^TS

令其为0，得

SS^TW+λWXX^T＝SX^T+λSX^T

再令A＝SS^T,B＝λXX^T,C＝(1+λ)SX^T，则上式最终写成如下形式：

AW+WB＝C

上式为一个西尔维斯特方程，用Bartels-Stewart算法求解，即求得最终的最优映射矩阵W与W^T；

最后在未知类样本标签预测阶段，在语义属性空间中，利用余弦相似性将推导出的未知类样本属性与未知类原型属性进行对比，从而预测得到未知类样本的标签；其中，余弦相似性是指在向量空间中用两个向量夹角的余弦值度量两个个体间的差异，将两个向量绘制到向量空间中，求得他们的夹角以及角对应的余弦值；夹角越小，余弦值越接近于1，向量方向便越吻合，则两数据样本越相似，预测得到未知类样本的标签为：

其中

是目标域中第i个样本的预测属性，

是第j个未知类的原型属性，d(·)是余弦距离方程，f(·)是预测得到的样本标签。

运用上述所搭建的SAE模型，通过训练可见评价结果类型数据的视觉特征X_Y，结合所构建语义空间中的可见类型语义特征S_Y，求出相关映射矩阵W，之后测试集中罕见类评价结果通过其视觉特征X_Z由W反映射出语义向量并与初始罕见类语义特征矩阵比对由余弦相似度得出分类结果。

本发明方法具有如下优点：

(1)、为了进一步提高学生(研究生)综合能力评价的主客观综合性、科学可靠性，本发明构建出一套研究生综合能力评价体系，运用主客观组合赋权方式，在模糊数学理论中综合考虑定性和定量指标对应不同评价结果的隶属度关系，最终量化出研究生综合能力评价结果。

(2)、针对离散评价指标信息特征丰富度低、特征相关性表达有限等问题，本发明在保留离散指标特征的同时，将特征指标衍生到格拉姆角和场域(GASF)中，将本发明评价特征提取聚类问题转化为适用于深度学习网络的的二维图像处理问题，有利于提供更丰富的评价特征信息。

(3)、针对评价类样本数量少、样本不均衡等问题，本发明创新性采用基于迁移学习的多尺度VGG网络模型(TMVGG)，迁移预训练模型减少训练数据的规模，修改模型中最后层串联卷积块为多个尺度卷积核并联结构。在有效减少网络参数的同时，又保证了小样本背景下视觉特征提取和评价类型分类的精确性。

(4)、为构建能够充分表达不同评价类型的语义空间，本发明采用基于评价指标的专家评分方法，求取评价类型与指标关联度实值大小作为语义特征，将特征矩阵灰度图形化构建出语义空间。有利于提高零样本模型中语义特征的丰富性和有效性。

(5)、针对评价工作中存在的罕见或异常类型样本缺失的问题，本发明采用基于TMVGG和语义自编码的零样本研究生综合能力智能评价方法，有效提高了对罕见/异常评价结果类型样本的分类准确率。

(6)、为有效避免构建映射矩阵产生的异常值对语义空间反映射计算的影响，本发明采用基于平均插值的数据缺失值处理方法。有效提高了视觉空间到语义空间映射相似性同时，进一步提高了对罕见/异常类型数据的智能评价效果。

附图说明

图1表示学生(研究生)综合能力评价体系流程图。

图2表示学生(研究生)综合能力评价指标体系。

图3表示学生(研究生)综合能力智能评价方法流程图。

图4表示SVM分类器参数选择结果图。

图5表示一维序列数据SVM分类结果图(图中标签类型：1-A、2-B、3-C、4-D)。

图6表示TMVGG网络结构及参数。

图7表示部分方式数据增强后A类型格拉姆角和场图像。

图8表示TMVGG模型准确率迭代曲线。

图9表示混淆矩阵。

图10表示语义空间图形化。

图11表示部分B、C(罕见)类样本零样本模型分类结果图(1.0-B类型，2.0-C类型)。

图12表示B、C(罕见)类全部样本零样本模型分类结果图(1.0-B类型，2.0-C类型)。

图13表示四种类型评价结果序列图及对应格拉姆角和场图像。

具体实施方式

下面结合附图对本发明的具体实施例进行详细说明。

一种面向学生综合能力评价的评价体系及零样本评价方法，以研究生为例，具体包括如下步骤。

1、研究生综合能力评价体系构建

科学、可靠的评价体系是实现智能评价的前提。构建研究生综合能力评价体系目的在于提高能力评价过程的科学性和精确性，为智能评价方法的制定工作提供合理的数据集。它的构建过程分为指标体系的建立、指标权重的确定、构建出定性与定量相结合的隶属度矩阵后利用模糊数学理论综合评分三个主要部分。其中，指标体系的建立为能力评价收集研究生可表现信息，给权重的确定以及结果的量化一个可用的初始数据；指标权重的确定将各指标重要程度量化，保证评价流程的可靠性；综合评分将取得的研究生综合能力评价结果直观体现，为之后智能评价工作提供合理的数据集。相关流程细节如图1所示。

1.1、建立研究生综合能力评价指标体系

根据研究生综合能力培养的基本过程，结合各研究生在校学习、生活等各场景中的表征信息确定研究生综合能力评价指标体系的组成成分，构成指标因素集U＝{u₁,u₂,…,u_h}，如表1所示。其中u₁,u₂...u_h代表评价指标体系中一级指标，对应于本发明实施例中评价指标体系中文化学习素质、实践素质、创新素质三个方面，且u₁,u₂...u_h可细化为{u₁₁u₁₂...u_1k,u₂₁u₂₂...u_2k,...,u_h1u_h2...u_hk}此类二级指标，譬如本发明中文化学习素质中细分为学习成绩、英语水平、知识分析能力、复杂问题解决能力、逻辑思维能力、信息收集和文献查阅能力6项指标。最终构建出的研究生综合能力评价指标体系如图2所示。

表1

1.2、确定研究生综合能力评价指标体系权重

首先根据所构造的研究生综合能力评价指标体系，确定指标间的层次结构，在此基础上，运用层次分析法分别求得多位领域专家老师的权重判断值。之后进行综合处理，采用整合灰色关联度方法对所得多个权重判断值进行汇总，即可得出指标权重体系中的主观权重。取得主观权重后，根据收集到的每位研究生对应各个指标的原始数据，结合变异系数法进行指标权重体系中客观权重的计算。主观权重以及客观权重都求得以后，利用最小相对信息熵原理进而求出组合权重，即确定出本发明实施例中综合能力评价体系所用的最终权重值。下面分别就整合灰色关联度方法综合多位专家老师权重方案和最终主客观权重的结合方法进行详细说明。

本发明实施例中整合灰色关联度分析方法，用来克服传统灰色关联度分析方法对评价体系中部分指标的最优解无法确定而导致的主观性过强问题。最终目的为综合多位领域专家老师所构建的指标权重进而得出指标赋权体系中的主观权重。整合灰色关联度分析方法具体计算方法与步骤如下。

1.2.1、构造多位领域专家权重综合矩阵

假设评价体系中有n个评价指标，请m位领域专家对指标的权重给出每位独特的见解，进而得到m个判断数据序列，由这些数据序列可构成综合权重矩阵。领域专家权重的综合矩阵形式如下式：

式中，a_nm是第m个专家对第n个指标的权重判断数据，也即对于该专家经过确定主观权重的第一步工作中层次分析法得到的全体单个判断矩阵的合成权重。

1.2.2、确定对照数据序列A₀

从包含多个专家给定出权重的综合矩阵A中选择一个最大的权重值作为每个领域专家公有的对照权重值，记为a_i0,i＝1,2，...n，以a_i0来构建出对照数据序列，具体如下式：

A₀＝(a₁₀,a₂₀,...，a_n0)^T

其中，a₁₀＝a₂₀＝a₃₀＝...＝a_n0＝max{a₁₁,...,a_1m；a₂₁,...,a_2m；a_n1,...,a_nm}

1.2.3、求得相对距离

求得对照数据序列A₀之后，开始计算专家权重综合矩阵A中每一列即每个专家给定的指标权重序列A₀，A₁，…，A_n与参考序列A₀之间的相对距离D_i0,i＝1,2…n，具体计算如下式：

1.2.4、求取综合能力评价指标赋权体系中主观权重

由专家权重综合矩阵A中每一列与对照数据序列之间的相对距离的大小求取研究生综合能力评价指标赋权体系中主观权重，具体公式如下：

规范化处理所得的主观权重，可求得

ω_ai即为所求得的最终主观权重向量，即研究生综合能力评价指标体系的主观权重系数。

求解出综合能力评价指标体系主观权重系数ω_ai,(i＝1,2,…n)后，根据构建评价指标体系所制定的评分细则收集研究生关于各类指标原始数据，应用变异系数法进行指标权重体系中客观权重的计算，求得综合能力评价指标体系客观权重系数ω_bi,(i＝1,2,...,n)。本发明实施例中各指标的评分细则中，每项指标满分10分，对定量类指标采用终结性评分，如：英语水平项指标评分细则中，未获得证书记1分、四级记4分、六级记8分、八级及以上记10分；对定性类指标采用形成性评分，如：知识分析能力指标评分细则中，采用李克特量表问卷测试评分。

结合综合能力评价指标体系中各指标因子的主观权重ω_ai和客观权重ω_bi可得到对应的综合权重ω_i,(i＝1,2,...n)，且约束ω_i权重值应与ω_ai和ω_bi权重值越为接近越好。对主客观权重综合处理上本发明实施例中结合最小信息熵原理予以解决。最小信息熵原理目的在于寻求一种鉴别信息。鉴别信息是度量两个分布之间差异的指标，而鉴别信息最小化指的是，在满足约束前提下，给出的分布距离先验分布最小，也就是鉴别信息最小。采用公式如下：

可求得综合权重ω_i，也即研究生综合能力评价指标体系的最终权重系数。

1.3、量化研究生综合能力评价体系最终评价结果

求得最终权重系数ω_i后，以模糊数学理论为基础，运用模糊综合的方法对收集到的研究生关于体系中各指标数据进行综合评价。本发明实施例采用结合定性与定量因素构建隶属度矩阵对研究生综合能力进行模糊综合评价的方法，用来克服传统模糊评价方法对指标权重矢量的确定主观性较强的问题。

模糊综合评价的基本原理就是寻找研究生综合能力评价指标体系即特征因素集U上的评价指标权重即模糊权重向量P以及从U到评价语句V的模糊变换f即隶属度函数。其中，f理解为对U上的单个因素进行的评判结果，有f(u_i)＝(r_i1,r_i2,...,r_in)∈F(V),i＝1,2,...,m。根据模糊变换f可以得到U×V上的模糊关系矩阵即隶属度矩阵

其中r_ij表示U上的特征元素u_i对应V上的评语v_j的程度。由权重向量矩阵P和隶属度矩阵R即可运算得出相对应的评价结果B′，有B'＝(b'₁,b'₂,...,b'_n)，其中的b'_j表示被评价对象对应V上的评语v_j表现度。具体流程如下：

1.3.1、构建指标因素集和评语集

针对所要解决的问题，通过深入分析评价对象，确定出可以涵盖住评价对象各方面特点的指标因素集U＝{u₁,u₂,...,u_m}，本发明实施例中指标因素集即为研究生综合能力评价指标体系。接下来，以能力评价对象和指标因素为基础，确定出评语集V＝{v₁,v₂,...,v_n}，本发明实施例中评价语句设定为V＝{优，良，中，差}。

1.3.2、确定模糊权重向量P

模糊权重向量表示指标因素集中各元素对应将来评判结果的重要性程度，本发明中模糊权重向量即为综合能力评价指标权重体系最终的到的综合权重ω_i。

1.3.3、确定模糊变换矩阵R

为处理研究生综合能力评价体系建立过程中的主观性过大，易出现超模糊、分辨率差等问题，首要的即确定出模糊变化矩阵即隶属函数，其目的是得到从特征因素及到评语集的模糊映射R_f＝(r_i1,r_i2,...,r_in)，且要满足

由于研究生综合能力评价指标有着定性与定量的特点，故本发明选择不同的隶属函数确定方法。

a、对于定性指标的处理，采用模糊统计法确定隶属度函数的方法，详细步骤为：邀请m位领域专家对评价对象关于体系中定性指标根据n个评语等级分别进行评价，评价后对结果进行综合统计，据此计算评价对象对应于指标U_i的隶属度r_ij：

r_ij＝m_ij/m

式中m为专家个数，m_ij表示指标U_i隶属于该评价等级的专家人数。

利用上式可得定性指标模糊综合评价R_ij＝(r_i1,r_i2,......r_in)。

b、本发明构建的研究生综合能力评价体系中定量指标全部属极大型指标，隶属度采用指派法确定。对该类指标隶属度函数定义为：

式中，a_i(i＝1,2,3,......)为各指标对应于评语集的评价标准，且满足μ₁+μ₂+μ₃+μ₄＝1，本发明将收集研究生各项指标得分数据归一化处理后确定评价标准参数为：a₁＝0.1，a₂＝0.4，a₃＝0.6，a₄＝0.8。将标准参数带入隶属度函数后将实际值代入函数即求得指标隶属度u_i，进而得到定量指标模糊综合评价R_ij＝(r_i1,r_i2,......r_in)。

以上工作完成后，将定性与定量指标的模糊映射联立构造综合能力的模糊变化矩阵，即指标隶属度矩阵：

1.3.4、确定模糊评价结果

在权重矩阵P和指标隶属度R基础上，进行复合运算求得各评价对象的最终评价结果B′。本发明采用的是加权平均算子，公式如下：

B'＝PR＝(b′₁,b′₂,...,b′_n)

式中，

b'_j表示评价对象隶属于评语V_j的程度。如本发明实施例中求得某一研究生综合能力模糊评价结果为B′＝{0.2154,0.3882,0.1835,0.2128}，表示该生隶属于评语“优”的程度为0.2154。

1.3.5、模糊综合评价结果分析

由前一步得到的模糊评价结果，采用量化处理的方式对所给的结果进行进一步的描述和分析。量化时，先将评语集V上的各个评价语句赋予相应的分值，本发明实施例中对应评价语句赋予分值为{优＝95，良＝80，中＝65，差＝50}，将分值集合和模糊评价结果B'采用加权平均算子进行计算，可求得评价对象综合得分：

式中，g_j是对V上第j个评价语句赋予的分值。

最后，将所得综合评分由所属区间进行分类处理，取得最终能力评价体系评价结果。本发明实施例中将综合得分处于评语集中良(80)～优(95)区间的学生数据给定为A类、处于中～良区间的数据给定为B类、处于差～中区间的数据给定为C类。

2、研究生综合能力智能评价方法制定

高效、精准的智能评价算法是实现研究生综合能力评价的关键。研究生综合能力智能评价方法的拟定流程分为三个模块：处理前一步评价体系工作的最终结果构建出初步数据集，利用支持向量机SVM算法根据识别精度区分出已知类别(精度达100％)以及未知类别(精度未达100％)，之后采用格拉姆角和场(Gramian Angular Summation Field，GASF)算法将所有一维序列样本转换为二维图片样本进行数据预处理工作；接下来由卷积神经网络对预处理后图像数据进行分类识别验证数据可行性，准确度达标准后利用卷积网络模型分别提取已知类别与未知类别图片特征构建零样本模型中视觉空间矩阵，采取领域专家计分方式确定评价体系中各指标即属性与各评价结果类型间实值关系构建出已知类以及未知类的语义空间矩阵，运用基于语义自编码算法的零样本图像识别方法以期实现只训练已知类型数据却可识别测试集中新出现的未知评价结果类型数据的效果。相关流程如图3所示。

2.1、数据预处理

构建研究生综合能力智能评价方法过程中，首要任务是先将前一步综合能力评价体系所得最终数据融合为输入样本，之后将所有样本放入支持向量机(Support VectorMachine，SVM)分类器进行分类评估，采用“one-against-one”方法构造多元分类器，具体为：对N元分类问题建立N(N-1)/2个SVM分类器，每两类之间训练1个分类器将彼此分开，通过在高维空间建立最优分类超平面将学生综合能力评价结果样本进行分类。之后对分类结果进行处理，将分类精度达到100％的综合能力评价等级类别提取出作为已知类别即之后零样本分类工作中的训练样本，同时将分类精度未达100％的等级类别提取作为未知类别也即零样本分类工作中的测试样本。本发明实施例中，以太原科技大学已毕业2017届以及在2018读三届研究生综合能力评价数据为基础，收集到了A类数据31条、B类数据171条、C类数据22条，模拟出不符合评价体系指标规则的异常类D类数据117条，共计样本341条。将所收集样本经支持向量机(SVM)分类器进行分类，核函数选择RBF函数。最优惩罚参数c选择为16，最优gamma函数g选择为0.25，寻找到的全局最优解为84.44％，各最优参数可视化视图如图4所示。最终，所测试的共48个样本分类精确度为89.58％，分类效果图如图5所示，其中A、D类样本识别准确率可达100％，按照分类结果，将A与D类研究生能力评价结果类型(A类数据与D类数据)作为零样本模型中的已知类记作p，将B与C类研究生能力评价结果类型(B类数据与C类数据)作为零样本模型中的未知罕见类记作q，以期实现训练A、D类型样本数据去预测识别B、C类型样本数据。

深度学习在碰到一维序列时，由于循环神经网络较难训练以及1D-CNN十分不方便，构建预测模型是很难的，并且在神经网络中，做二维的卷积运算会比较直接。由此采用格拉姆角和场(GASF)，将原始一维序列转换为沿对角线对称的特征图，保持样本数据的稀疏性，使得每个序列都会产生唯一的一个极坐标映射图像。让网络在原有的基础上再添加多个模态，并且能够充分利用目前机器视觉上的优势。

格拉姆角和场(GASF)首先利用一个区间范围在[-1,1]的最小-最大定标器(Min-Max scaler)把一维序列数据样本缩放到[-1,1]，公式如下：

之后，将缩放后的值编码为角余弦，将序列样本评价指标数编码为半径r并重新转化为极坐标的一维序列

公式如下：

式中，t_i为序列样本评价指标数，N为正则化极坐标系统生成空间的常数因子。

上述完成后，即可得经转换后的特征图，由于特征图像蕴含原始数据相关信息，因此也可利用特征图对一维序列进行重构。最后通过方程来生成图像，本发明实施例采用格拉姆角和场方程生成二维图像样本。方程式如下：

方程式定义了基于余弦函数的格拉姆角和场。其中，I为单位行向量[1,1,…,1]，

为

得转置向量。

为直观对比，本发明实施例将四种类型部分评价结果离散评价指标处理为一维序列图，与转换出的格拉姆角和场(GASF)二维图像样本类比情况如图13所示。

2.2、模型构建

在前一步数据集预处理中，已区分出了经支持向量机分类后精度达100％的数据p以及精度未达100％的数据q。零样本分类工作中，则将p类样本模拟为实际评价过程中可见类型数据，将q类样本模拟为未见类数据，通过嵌入空间来建立数据p与数据q之间耦合关系，在训练阶段使用数据p学习图像与类别之间的关系，在测试阶段利用该关系，先由图像特征预测对应的语义向量，再根据语义向量匹配图像所属类别。即根据训练集中的可见类别数据，通过计算，实现对未见类别的数据q预测与识别。在构建研究生综合能力智能评价方法零样本分类模型中，分为三个步骤：(1)提取视觉特征构建视觉空间；(2)提取语义特征构建语义空间；(3)实现视觉空间与语义空间之间的映射构建嵌入空间。

2.2.1、视觉空间的构建

随着卷积神经网络和深度学习在计算机视觉领域取得巨大成果，如今对图像特征的提取更为有效的还是基于深度卷积神经网络的方法。深度卷积神经网络通过使用一系列的卷积核和非线性激活函数可以从原始图像中提取更高层级的抽象特征。本发明实施例采用基于迁移学习思想的多尺度VGG优化网络模型(TMVGG)。网络结构与参数如图6所示。

本发明实施例中，经格拉姆角和场(GASF)转换出的二维图片样本首先利用Keras深度学习库中批量生成器方法实现数据增强，随机旋转角度参数设置为40，随机水平偏移、随机竖直偏移、剪切变换角度、随机缩放的幅度、随机通道偏移的幅度与随机竖直翻转参数值均设置为0.2。处理边缘值时，fill_mode参数设置为nearest。当进行数据增强时超出边界的点将根据原参数方法进行填充处理(随机旋转角度参数设置为40，随机水平偏移、随机竖直偏移、剪切变换角度、随机缩放的幅度、随机通道偏移的幅度与随机竖直翻转参数值均设置为0.2)。为保证数据均衡性以及合理性，将原先样本集中A类数据扩充22倍、B类数据扩充5倍、C类数据扩充38倍、D类数据扩充4倍，每类数据都达到近870数量的样本集。进行数据增强的主要目的是为了解决网络可能出现的过拟合、泛化效果差等问题，以本发明中A类中某一数据样本为例，经数据增强后部分样式评价结果GASF图像如图7所示。

网络输入层图像大小上设置为224*224*3，将处理好的4类评价结果图像样本输入网络训练，learning rate设置为1e-4，学习率衰减为每20个Epoch衰减10％，优化器选择拥有自适应算法Adam，MiniBatchSize设置为16。训练时，先将在ImageNet上训练好的VGG16预训练模型导入以实现迁移学习，在微调设置方面上，对训练好的VGG16模型block1-block4的结构和参数冻结，VGG16预训练模型中block1、block2中均含两个卷积层，block3、block4中均包含三个卷积层，由于ImageNet是个特别庞大的数据集，可近似认为训练ImageNet得到的网络结构中，前几部分已经学习到良好的通用特征，故将block5前几部分参数结构冻结，以期降低训练成本、更好的适应能力评价结果此类小数据集。在对VGG16预训练模型block5卷积块处理中，本发明实施例结合Inception网络模型，将先前模型中3层步长为均为1大小均为512的3*3的卷积核替换为128个1*1卷积核、192个1*1卷积核经过ReLu激活函数再进行256个3*3卷积、32个1*1卷积核经过Relu激活函数再进行64个5*5卷积、3*3大小pool层后再进行64个1*1卷积核的第三维并联结构，并且采用depthcat组合各卷积核输出完成不同尺度特征的融合，全连接层部分修改先前模型倒数第二层中的4096参数降为1024以期更好的提取图像特征，同时对输出层采用sofx-max函数，使模型可做多分类预测。这种并联结构采用不同大小的卷积核以获得不同大小的感受野，使用密集结构来近似一个稀疏的卷积层实现了内存和时间上的高效，目的是为了解决传统block5层训练过程中需要学习到的参数将会不断增加从而导致计算量过大以及出现过拟合的问题。将之前预训练网络模型中卷积层最后一层2359296的参数量减少到了591872，大约减少了四倍。本发明将预处理后数据集输入TL-I-VGG16网络模型中，对验证集中每类90个评价结果样本，精确度可达95.83％，实现分类效果如图8所示，所得混淆矩阵如图9所示。

由效果图8看出经格拉姆角和场(GASF)转换出的二维图片样本数据集存在着局部相关特征，可由卷积神经网络模型有效识别。

模型搭建完毕后，将图片样本中可见类样本以及不可见类样本输入，提取模型中全连接层倒数第二层输出的1024维深层特征数据作为视觉空间中视觉特征，分别记作X_Y与X_Z。

2.2.、语义空间的构建

零样本学习之所以可以完成传统监督学习无法完成的对未知类识别的任务，关键因素就在于零样本学习除了将视觉特征用于识别外，还引入了语义特征，从而超越了互斥对象类之间的类边界。本发明实施例采用人工打分的方式对评价类型与属性间的关联关系进行估计，邀请研究生综合能力评价体系中的六位领域专家分别对评价工作中各评价结果类型相对于全部属性特征的强度在固定的[0,10]区间内打分，之后将收集到的各专家评分数据进行平均以及归一化处理，确定属性与评价类型之间的实值关系，最后根据所得实值来构建语义特征矩阵。由于语义特征均由相关领域的专家人工标注而成，伴随着良好的区分度以及对相应类别较好的代表性，可将其看作是一组相对完备的语义空间基底。据此，本发明构建出可见类A、D评价结果类型样本以及罕见类B、C类型样本的语义特征矩阵，记作S_Y与S_Z，并由所得语义特征矩阵构建出语义空间，将语义空间图形化后如图10所示。

图10中，纵坐标中1、2、3、4区间依次对应本发明中A、B、C、D四种类型评价结果，横坐标的23个区间表示四种评价类型所对应的23个属性即本发明中所有数据样本所共有的23项能力评价指标。颜色的深浅代表着某评价结果类型与某属性特征间的关联度大小，颜色越浅区域表示该类型评价结果对于某项属性特征关联度越深。

2.2.3、视觉-语义映射的构建

视觉-语义映射是解决零样本学习问题必不可少的基石，是图像特征与语义向量之间的连接的枢纽。一旦建立好视觉-语义映射，便可以计算任意未知类数据和未知类原型之间的相似度，并基于该相似度对未知类进行分类。本发明实施例构建基于语义自编码器的零样本学习模型(semantic autoencoder，SAE)，在映射层添加具体语义信息的限制，约束重建效果，实现有监督下的投影函数学习，以语义属性描述或词向量作为迁移知识，将隐藏层的信息设定为样本语义属性，通过填补约束来增强所构建视觉空间到语义空间的映射准确度。具体步骤如下：

构建语义自编码器的目标函数为：

s.t.WX＝S

式中，输入样本数据即为X∈R^d×N，d是样本的特征维度，N是样本总数。

投影矩阵W∈R^k×d,k是样本属性的维度，样本属性S∈R^k×N。为了简化模型运算，令W^*＝W^T，同时考虑解决约束WX＝S比较困难，故将上式重写为：

其中||·||_F是Frobenius范式，第一项

是自编码器项，第二项

是视觉语义约束项，用来约束投影矩阵W，同时保证模型具有的泛化性。λ是超调参数，用来平衡这两项。对上式的优化可先求导，再利用矩阵迹的性质化简，结果如下：

-2SX^T+2SS^TW+2λWXX^T-2λX^TS

令其为0，可得

SS^TW+λWXX^T＝SX^T+λSX^T

再令A＝SS^T,B＝λXX^T,C＝(1+λ)SX^T，则上式最终可写成如下形式：

AW+WB＝C

上式为一个西尔维斯特方程(Sylvester equation)方程，可用Bartels-Stewart算法求解，即可求得最终的最优映射矩阵W与W^T。

在映射矩阵计算过程中，由于存在均值方差归一化处理和西尔维斯特方程求解，会存在一些不完整的异常数据会影响数据执行效率，如NAN值，最终会影响语义空间反映射的计算。本发明实施例采用基于平均插值理论的数据处理方式，先通过isnull函数查看映射矩阵W中是否存在异常值，再通过自定义的fill_na函数对异常值进行替换插补，具体为对数据异常值由滑动平均窗口法进行数据插补，对该列的非异常值求和后求出平均值作为插补数据，将数据赋值给缺失值，最后将插补后新列赋值给原始列。经实验验证，运用平均插值的数据处理方法极大提高了视觉空间到语义空间的映射相似性，使得计算后的映射矩阵W更为合理，可以有效的解决零样本模型中视觉-语义空间映射过程中数据异常问题。

最后在未知类样本标签预测阶段，在语义属性空间中，利用余弦相似性(CosineSimilarity)将推导出的未知类样本属性与未知类原型属性进行对比，从而预测得到未知类样本的标签。其中，余弦相似性是指在向量空间中用两个向量夹角的余弦值度量两个个体间的差异，将两个向量绘制到向量空间中，求得他们的夹角以及角对应的余弦值。夹角越小，余弦值越接近于1，向量方向便越吻合，则数据样本越相似。预测得到未知类样本的标签为：

其中

是目标域中第i个样本的预测属性，

是第j个未知类的原型属性，d(·)是余弦距离方程，f(·)是预测得到的样本标签。

本发明运用上述所搭建的SAE模型，通过训练可见评价结果类型数据的视觉特征X_Y，结合所构建语义空间中的可见类型语义特征S_Y，求出相关映射矩阵W，之后测试集中罕见类评价结果通过其视觉特征X_Z由W反映射出语义向量并与初始罕见类语义特征矩阵S_Z比对由余弦相似度得出分类结果。

最终所达到的分类表现效果良好。随机各取20个原始数据集中B、C类图片样本验证，所得精确度为100％，效果图如图11所示。为防止偶然性存在，对数据增强后1500个B、C类图片样本验证结果如图12所示，所得精确度为96.67％。

总之，本发明中，评价体系为评价方法提供合理的数据集(最终形成的是A类、B类、C类、D类四类型数据，其中A、B、C类是根据评价体系综合得分G所在区间划分得到，D类为模拟出的不符合评价指标规范的异常类数据)。评价方法中先进行数据预处理工作，将所得数据集利用SVM算法做分类，以模拟出实际评价工作中已存在的已知类别p(SVM中准确度已达100％的样本，即：本发明中A、D类)和将来可能会出现的未知类别q(SVM中准确度未达100％的样本，即：本发明中B、C类)，之后进行模型构建的三步工作，最终达到只训练p类已知样本却可准确识别出q类未知样本的效果(即没有斑马类这一概念，却根据已知的马外形和熊猫的花色认出斑马)。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明专利技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明专利的保护范围。

Claims (1)

1.一种用于学生综合能力评价的评价体系及零样本评价方法，其特征在于：包括如下步骤：

(1)、综合能力评价体系构建

1.1、建立研究生综合能力评价指标体系

根据学生综合能力培养过程中的表征信息确定学生综合能力评价指标体系的组成成分，构成指标因素集U＝{u₁,u₂,...,u_h}，其中u₁,u₂...u_h代表评价指标体系中一级指标，且u₁,u₂...u_h细化为{u₁₁u₁₂...u_1k,u₂₁u₂₂...u_2k,...,u_h1u_h2...u_hk}此类二级指标，最终构建出学生综合能力评价指标体系；

1.2、确定学生综合能力评价指标体系权重

1.2.1、构造多位领域专家权重综合矩阵

假设评价体系中有n个评价指标，请m位领域专家对指标的权重给出每位独特的见解，进而得到m个判断数据序列，由这些数据序列构成综合权重矩阵，领域专家权重的综合矩阵形式如下式：

式子中，a_nm是第m个专家对第n个指标的权重判断数据；

1.2.2、确定对照数据序列A₀

从综合矩阵A中选择一个最大的权重值作为每个领域专家公有的对照权重值，记为a_i0,i＝1,2，…n，以a_i0来构建出对照数据序列，具体如下式：

A₀＝(a₁₀,a₂₀,...，a_n0)^T

其中，a₁₀＝a₂₀＝a₃₀＝...＝a_n0＝max{a₁₁,...,a_1m；a₂₁,...,a_2m；a_n1,...,a_nm}；

1.2.3、求得相对距离

求得对照数据序列A₀之后，开始计算专家权重综合矩阵A中每一列即每个专家给定的指标权重序列A₀，A₁，…，A_n与参考序列A₀之间的相对距离D_i0,i＝1,2…n，具体计算如下：

1.2.4、求取综合能力评价指标赋权体系中主观权重

由专家权重综合矩阵A中每一列与对照数据序列之间的相对距离的大小求取学生综合能力评价指标赋权体系中主观权重，具体公式如下：

规范化处理所得的主观权重，求得

ω_ai即为所求得的最终主观权重向量，即学生综合能力评价指标体系的主观权重系数；

求解出综合能力评价指标体系主观权重系数ω_ai,(i＝1,2,...n)后，由构建评价指标体系所制定的规则而收集到的研究生各指标原始数据，应用变异系数法进行指标权重体系中客观权重的计算，即求得综合能力评价指标体系客观权重系数ω_bi,(i＝1,2,...,n)；结合综合能力评价指标体系中各指标因子的主观权重ω_ai和客观权重ω_bi得到对应的综合权重ω_i,(i＝1,2,...n)，且约束ω_i权重值应与ω_ai和ω_bi权重值越为接近越好，采用公式如下：

求得综合权重ω_i，也即学生综合能力评价指标体系的最终权重系数；

1.3、量化研究生综合能力评价体系最终评价结果

1.3.1、确定能力评价对象集、指标因素集和评语集

以能力评价对象和指标因素为基础，确定出评语集V＝{v₁,v₂,...,v_n}，其中，评价语句设定为V＝{优，良，中，差}；

1.3.2、确定模糊权重向量P

模糊权重向量即为综合能力评价指标权重体系最终得到的综合权重ω_i；

1.3.3、确定模糊变换矩阵R

确定出模糊变化矩阵即隶属函数，其目的是得到从特征因素及到评语集的模糊映射R_f＝(r_i1,r_i2,...,r_in)，且要满足

a、对于定性指标的处理，采用模糊统计法确定隶属度函数的方法，详细步骤为：

邀请m位领域专家对评价对象关于体系中定性指标根据n个评语等级分别进行评价，评价后对结果进行综合统计，据此计算评价对象对应于指标U_i的隶属度r_ij：

r_ij＝m_ij/m

式中m为专家个数，m_ij表示指标U_i隶属于该评价等级的专家人数；

利用上式获得定性指标模糊综合评价R_ij＝(r_i1,r_i2,......r_in)；

b、定量指标全部属极大型指标，隶属度采用指派法确定，对该类指标隶属度函数定义为：

式中，a_i(i＝1,2,3,......)为各指标对应于评语集的评价标准，且满足μ₁+μ₂+μ₃+μ₄＝1，将标准参数带入隶属度函数后将实际值代入函数即求得指标隶属度u_i，进而得到定量指标模糊综合评价R_ij＝(r_i1,r_i2,......r_in)；

将定性指标与定量指标的模糊映射联立构造综合能力的模糊变化矩阵，即指标隶属度矩阵：

1.3.4、确定模糊评价结果

在权重矩阵P和指标隶属度R基础上，进行复合运算求得各评价对象的最终评价结果B'，采用加权平均算子，公式如下：

B'＝PR＝(b₁',b₂',...,b'_n)

式中，

b'_j表示评价对象隶属于评语V_j的程度；

1.3.5、模糊综合评价结果分析

根据模糊评价结果，采用量化处理的方式对所给的结果进行进一步的描述和分析；量化时，先将评语集V上的各个评价语句赋予相应的分值，对应评价语句赋予分值为{优＝95，良＝80，中＝65，差＝50}，将分值集合和模糊评价结果B′采用加权平均算子进行计算，求得评价对象综合得分：

式中，g_j是对V上第j个评价语句赋予的分值；

最后，将所得综合评分由所属区间进行分类处理，取得最终能力评价体系评价结果，即：将综合得分处于评语集中良～优区间的学生数据给定为A类、处于中～良区间的数据给定为B类、处于差～中区间的数据给定为C类；

(2)、学生综合能力评价方法制定

2.1、数据预处理

以学生综合能力评价数据为基础，收集A类数据、B类数据、C类数据，模拟出不符合评价体系指标规则的异常类D类数据；

按照分类结果，将A类数据与D类数据作为零样本模型中的已知类记作p，将B类数据与C类数据作为零样本模型中的未知罕见类记作q，以期实现训练A、D类型样本数据去预测识别B、C类型样本数据；

将A类数据、B类数据、C类数据及D类数据采用格拉姆角和场方程生成二维图像样本；

2.2、模型构建

零样本分类工作中，将p类样本模拟为实际评价过程中可见类型数据样本，将q类样本模拟为未见类数据样本；

2.2.1、视觉空间的构建

经格拉姆角和场转换出的二维图片样本首先利用Keras深度学习库中批量生成器方法实现数据增强，随机旋转角度参数设置为40，随机水平偏移、随机竖直偏移、剪切变换角度、随机缩放的幅度、随机通道偏移的幅度与随机竖直翻转参数值都设置为0.2；处理边缘值时，fill_mode参数设置为nearest；

网络输入层图像大小上设置为224*224*3，将处理好的4类评价结果图像样本输入网络训练，learning rate设置为1e-4，学习率衰减为每20个Epoch衰减10％，优化器选择拥有自适应算法Adam，MiniBatchSize设置为16；训练时，先将在ImageNet上训练好的VGG16预训练模型导入以实现迁移学习，在微调设置方面上，对训练好的VGG16模型block1-block4的结构和参数冻结，VGG16预训练模型中block1、block2中均含两个卷积层，block3、block4中均包含三个卷积层，在对VGG16预训练模型block5卷积块处理中，将先前模型中3层步长为均为1大小均为512的3*3的卷积核替换为128个1*1卷积核、192个1*1卷积核经过ReLu激活函数再进行256个3*3卷积、32个1*1卷积核经过Relu激活函数再进行64个5*5卷积、3*3大小pool层后再进行64个1*1卷积核的第三维并联结构，并且采用depthcat组合各卷积核输出完成不同尺度特征的融合，全连接层部分修改先前模型倒数第二层中的4096参数降为1024以期更好的提取图像特征，同时对输出层采用sofx-max函数，使模型能够作多分类预测；

模型搭建完毕后，将图片样本中可见类样本以及不可见类样本输入，提取模型中全连接层倒数第二层输出的1024维深层特征数据作为视觉空间中视觉特征，分别记作X_Y与X_Z；

2.2.2、语义空间的构建

构建出可见类A、D评价结果类型样本以及罕见类B、C类型样本的语义特征矩阵，记作S_Y与S_Z，并由所得语义特征矩阵构建出语义空间；

2.2.3、视觉-语义映射的构建

构建基于语义自编码器的零样本学习模型SAE，具体如下：

构建语义自编码器的目标函数为：

式中，输入样本数据即为X∈R^d×N，d是样本的特征维度，N是样本总数；投影矩阵W∈R^k×d，k是样本属性的维度，样本属性S∈R^k×N；令W^*＝W^T，将上式重写为：

其中||·||_F是Frobenius范式，第一项

是自编码器项，第二项

是视觉语义约束项，用来约束投影矩阵W，同时保证模型具有的泛化性；λ是超调参数；对上式先求导，再利用矩阵迹的性质化简，结果如下：

-2SX^T+2SS^TW+2λWXX^T-2λX^TS

令其为0，得

SS^TW+λWXX^T＝SX^T+λSX^T

再令A＝SS^T,B＝λXX^T,C＝(1+λ)SX^T，则上式最终写成如下形式：

AW+WB＝C

上式为一个西尔维斯特方程，用Bartels-Stewart算法求解，即求得最终的最优映射矩阵W与W^T；

最后在未知类样本标签预测阶段，在语义属性空间中，利用余弦相似性将推导出的未知类样本属性与未知类原型属性进行对比，从而预测得到未知类样本的标签；其中，余弦相似性是指在向量空间中用两个向量夹角的余弦值度量两个个体间的差异，将两个向量绘制到向量空间中，求得他们的夹角以及角对应的余弦值；夹角越小，余弦值越接近于1，向量方向便越吻合，则两数据样本越相似，预测得到未知类样本的标签为：

其中

是目标域中第i个样本的预测属性，

是第j个未知类的原型属性，d(·)是余弦距离方程，f(·)是预测得到的样本标签；

运用上述所搭建的SAE模型，通过训练可见评价结果类型数据的视觉特征X_Y，结合所构建语义空间中的可见类型语义特征S_Y，求出相关映射矩阵W，之后测试集中罕见类评价结果通过其视觉特征X_Z由W反映射出语义向量并与初始罕见类语义特征矩阵比对由余弦相似度得出分类结果。

Images