CN115392769A - 一种评价模型训练方法、绩效评价方法及装置 - Google Patents

一种评价模型训练方法、绩效评价方法及装置 Download PDF

Info

Publication number
CN115392769A
CN115392769A CN202211121543.XA CN202211121543A CN115392769A CN 115392769 A CN115392769 A CN 115392769A CN 202211121543 A CN202211121543 A CN 202211121543A CN 115392769 A CN115392769 A CN 115392769A
Authority
CN
China
Prior art keywords
evaluation
knowledge graph
knowledge
neural network
evaluation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211121543.XA
Other languages
English (en)
Inventor
朱林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Mass Media Vocational and Technical College
Original Assignee
Hunan Mass Media Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Mass Media Vocational and Technical College filed Critical Hunan Mass Media Vocational and Technical College
Priority to CN202211121543.XA priority Critical patent/CN115392769A/zh
Publication of CN115392769A publication Critical patent/CN115392769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Educational Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及人工智能领域技术领域，为绩效评价方法，具体涉及一种评价模型训练方法、绩效评价方法及装置；通过建立知识图谱‑评价体系和BP神经网络的关联关系，通过关联关系构建评价模型，并且通过对评价模型的训练实现了对于评价结果的精准和稳定的获得。并且，在本申请实施例提供的技术方案中，针对于评价体系引入了适用于场景下使用的评价指标，通过评价指标使评价模型的训练更加的准确，得到的期望输出的准确度更高。

Description

一种评价模型训练方法、绩效评价方法及装置
技术领域
本申请涉及人工智能领域技术领域，为绩效评价方法，具体涉及一种评价模型训练方法、绩效评价方法及装置。
背景技术
高校始终处于科技发展的前沿地位，它的科研水平和科研规模是反映其综合实力的重要指标，科研绩效的评价标准可以引导科研人员的研究方向和战略，对学校的科研发展方向产生直接影响，同时对学校的发展也具有一定的导向作用。通过对科研绩效的恰当评价，建立能够充分发挥研究人员创造能力的开放、灵活和竞争的学术环境，从而从整体上引导科学研究的发展方向、发展模式，达到调动教师的积极性、适应学校工作重点调整、贯彻学校发展规划的目的。
随着知识经济的到来，科教兴国已经成为全国上下的共识，各级政府和高等学校都加大了对科技的投入。如何评价投资效益、评价科研人员水平、评价科研人员工作完成情况等即对科研绩效的评价成为科研管理部门考虑的问题。
针对于现在进行的高校可沿绩效评价的方法很多，有学者按照评价方法的类别进行了划分，将科研项目的评价方法分为主观评价方法、客观评价方法和主客观相结合的评价方法。在评价方法选取上，H指数、主成分RBF(Radial Basis Function,径向基函数)、灰色系统理论、BP神经网络、灰色关联分析法、平衡计分卡、最佳权重集合，这些方法已经被学者进行应用,并且取得了不错的效果。另外,数据包络分析(DataEnvelopment Analysis，DEA)方法，在一些非营利部门绩效评价中被广泛采用，这种研究方法从“投入一产出”视角构建高校科研绩效评价模型，受到了越来越多学者的青睐。但是单一的研究方法在应用的过程中可能会遇到一些局限，所以需要提供一种融合性的方法使对于绩效评价的结果更具有整体性和准确性。
发明内容
为了解决以上的技术问题，本申请提供一种评价模型训练方法、绩效评价方法及装置，通过将知识图谱以及BP神经网络进行关联和构建，并且通过建立对应的评价体系实现了最终绩效评价结果的全面性和准确性。
为了达到上述目的，本申请实施例采用的技术方案如下：
第一方面，一种评价模型训练方法，包括：获取绩效评价数据样本数据集，基于所述样本数据集构建知识图谱，所述知识图谱为三元结构，还包括与三元结构中实体对应设置评价体系；将所述知识图谱作为训练样本和测试样本，将训练样本输入到预先建立的BP神经网络中，对BP神经网络进行训练，得到第一评价模型，所述BP神经网络的结构与所述知识图谱中的第一特征相对应，所述第一特征为所述评价体系中的评价指标；将测试样本输入到所述第一评价模型中，对所述第一评价模型进行测试，并利用损失函数对所述第一评价模型进行校正，得到最终的评价模型；基于所述样本数数据集构建知识图谱包括：对所述绩效评价数据知识抽取、知识抽取、知识融合、知识加工和知识推理构建初始知识图谱；基于评价体系对所述初始知识图谱进行标注，得到含有评分的目标知识图谱，所述评价体系与所述初始知识图谱的实体进行对应设置。
第一方面的第一种实现方式中，所述BP神经网络包括输入层、隐藏层和输出层，所述输入层与所述评价指标数量相同。
第一方面的第二种实现方式中，将训练样本输入到预先建立的BP神经网络中，对BP神经网络进行训练，包括：抽取所述知识图谱中的三元组结构的实体、关系以及关系平面进行向量初始化，基于所述正例三元组构建负例三元组，对所述正例三元组和所述负例三元组进行训练，采用随机梯度下降的优化方法，根据损失函数减小方向对实体、关系以及关系平面向量进行更新，直到损失函数趋于稳定时停止迭代，得到优化后的实体、关系以及关系平面的向量表示。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述负例三元组通过随机替换正例三元组中的头实体或者尾实体得到的。
第一方面的第四种实现方式中，将测试样本输入到所述第一评价模型中，对所述第一评价模型进行测试，并利用损失函数对所述第一评价模型进行校正，得到最终的评价模型，包括：基于所述评价体系得到目标期望输出，所述期望输出为所述BP神经网络的目标期望输出；基于所述测试样本作为输入至迭代后的BP神经网络，得到实时期望输出；比较所述目标实时期望输出与所述目标期望输出；基于比较结果利用损失函数对所述BP神经网络进行调整。
第二方面，一种评价模型训练装置，包括：知识图谱构建模块，用于将获取的绩效评价数据样本数据集转换为知识图谱；第一评价模型，用于将知识图谱作为训练样本和测试样本，并将训练样本输入至预先建立的BP神经网络中，对BP神经网络进行训练，得到第一评价模型；评价模型校正模块，用于将测试样本输入到所述第一评价模型中，对所述第一评价模型进行测试，并利用损失函数对所述第一评价模型进行校正；所述BP神经网络的结构与所述知识图谱中的第一特征相对应。
第二方面的第一种实现方式中，所述知识图谱构建模块包括：初始知识图谱构建单元，用于对所述绩效评价数据进行知识抽取、知识抽取、知识融合、知识加工和知识推理构建初始知识图谱；标注单元，用于基于评价体系对所述初始知识图谱进行标注，得到含有评分的目标知识图谱，所述评价体系与所述初始知识图谱的实体进行对应设置。
第三方面，一种绩效评价方法，包括：将待处理的信息基于预设置的知识图谱模板进行处理得到含有待处理信息的目标知识图谱；对所述目标知识图谱进行学习表示，得到初始数据；将所述待处理的数据输入至BP神经网络得到期望输出。
在第三方面的第一种实现方式中，对所述目标知识图谱进行学习表示包括：抽取所述目标知识图谱中的三元组结构的实体、关系以及关系平面进行向量初始化，基于所述正例三元组构建负例三元组，对所述正例三元组和所述负例三元组进行训练，采用随机梯度下降的优化方法，根据损失函数减小方向对实体、关系以及关系平面向量进行更新，直到损失函数趋于稳定时停止迭代，得到优化后的实体、关系以及关系平面的向量表示。
第四方面，一种绩效评价装置，包括：目标知识图谱获取模块，用于将待处理的信息基于预设置的知识图谱模板进行处理得到含有待处理信息的目标知识图谱；学习表示模块，用于对所述目标知识图谱进行学习表示，得到待处理的数据；处理模块，用于将标注后的所述待处理数据输入至BP神经网络得到期望输出。
第五方面，提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求上述任一项所述的绩效评价方法。
第六方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求上述任一项所述的绩效评价方法。
本申请实施例提供的技术方案中，通过建立知识图谱-评价体系和BP神经网络的关联关系，通过关联关系构建评价模型，并且通过对评价模型的训练实现了对于评价结果的精准和稳定的获得。并且，在本申请实施例提供的技术方案中，针对于评价体系引入了适用于场景下使用的评价指标，通过评价指标使评价模型的训练更加的准确，得到的期望输出的准确度更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。
图1是本申请实施例提供的终端设备的结构示意图。
图2是本申请的一些实施例所示的绩效评价方法的流程图。
图3是根据本申请实施例提供的绩效评价装置方框示意图。
图4是本申请的一些实施例所示的评价模型训练方法的流程图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
(1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
(2)基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
(3)BP神经网络，BP神经网络是一种人工神经网络(Artificial Neural Network，ANN)，简称神经网络或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
(4)知识图谱，以符号形式结构化地描述了物理世界中的概念及其相互关系，知识基本组成形式为<实体,关系,实体>的三元组，实体间通过关系相互联结，构成了复杂的网状知识结构。
本申请实施例提供的技术方案，主要的应用场景为对于高校教师的绩效评价，科研是高校教师的基本职责之一，并且在当前高校教师评价体系中，科研绩效评价占有绝对优势。高校教师科研绩效评价既是教师聘任、晋级、薪酬管理中的重要方式，同时，评价亦发挥着导向和激励功能，影响高校教师学术性专业发展的方向和水平。当前，随着科研活动的迅速扩大，科研成果激增，科研竞争日益国际化，依据科学计量学的量化评价成为与传统同行评价并重的高校教师科研绩效评价方式。但在量化评价的使用过程中，评价指标过于繁杂、过于偏向计量指标、计量指标的简单处理、数据获取困难、量化评价的解释不足等问题日益突出。因此，本实施例提供的一种评价方法用于实现对于高校教师科研绩效量化评价。
而目前针对于评价方法选取上，H指数、主成分RBF(Radial Basis Function,径向基函数)、灰色系统理论、BP神经网络、灰色关联分析法、平衡计分卡、最佳权重集合，这些方法已经产生了应用，并且取得了不错的效果。另外,数据包络分析(DataEnvelopmentAnalysis，DEA)方法，在一些非营利部门绩效评价中被广泛采用，这种研究方法从“投入一产出”视角构建高校科研绩效评价模型，受到了越来越多学者的青睐。但是单一的研究方法在应用的过程中可能会遇到一些局限，具有评价结果完整性不高，准确度不高的问题。
基于以上的技术背景，本申请实施例提供一种终端设备100，该终端设备包括存储器110、处理器120以及存储在存储器中并可在处理器上运行的计算机程序，其中处理器执行绩效评价方法。在本实施例中，该终端设备与用户端进行通信，将获取到的检测信息下发至对应的用户端，在硬件上实现对于检测信息的发送。其中，针对于发送信息的方式基于网络实现，并且在终端设备进行应用之前需要对用户端与终端设备建立关联关系，可以通过注册的方式实现对于终端设备与用户端之间的关联。其中终端设备可以针对多个用户端，也可以针对一个用户端，并且用户端通过密码以及其他加密的方式与终端设备进行通信。
在本实施例中，该终端可以为服务器，针对于服务器的物理结构，包括存储器、处理器和通信单元。存储器、处理器以及通信单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器用于存储特定的信息和程序，通信单元用于将处理后的信息进行发送至对应的用户端。
本实施例将存储模块划分为两个存储区域，其中一个存储区为程序存储单元，另一个存储区域为数据存储单元。程序存储单元相当于固件区，该区域的读写权限设置为只读模式，其内存储的数据不可擦除和更改。而数据存储单元中的数据可以进行擦除或读写，当数据存储区域的容量已满时，新写入的数据会对最早期的历史数据进行覆盖。
其中，存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Ele超声ric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图2，在本实施例中，针对于绩效评价方法，其工作逻辑为通过建立的知识图谱，并通过在知识图谱中对于实体部分对应设置有评价体系，并将经知识图谱处理后得到的数据进行处理得到可用于BP神经网络处理的结构数据，并通过BP神经网络得到最终的期望输出即最终的评分。
针对于本实施例提供的工作逻辑提供一种绩效评价方法，应用于高校的教师的绩效评价，具体包括以下方法：
步骤S210.将待处理的信息基于预设置的知识图谱模板进行处理得到含有待处理信息的目标知识图谱。
在本实施例中，预设置的知识图谱模板通过前期模型构建的方式进行构建，且在本实施例中针对于知识图谱模板中设置有评价体系，并且在知识图谱模板中的评分体系中设置有具体的评分权重。
在本实施例中知识图谱可以用G＝(E，R)表示，其中E和R分别表示知识图谱中多类型的实体和关系集合，知识图谱由许多RDF三元组组成，表示形式为T＝<Vh,r,vt>，其中Vh代表头实体，vt代表尾实体，r代表头实体和尾实体之间的关系。
其中，针对于知识图谱的构建包括针对于源数据进行知识抽取、知识融合、知识加工以及知识推理的过程进行构建。
针对于本实施例中的评价体系中各个要素之间的相互关系，层次结构。根据本研究需要，采用三层指标结构:总目标、子目标层、指标层。其中针对于本次模型的应用场景，针对于第三层的具体指标结构共设置有25个评价指标，具体为：职称、学历、学科群成员、重点研究基地成员、知名学者、重要学术兼职、国家级科研项目、省部级科研项目、横向科研项目、纵向科研经费总额、横向科研经费总额、高水平论文数、SCI论文数、EI论文数、SSCI论文数、CSSCI论文数、A&HCI论文数、专著、编著、发明专利、实用新型专利、国家级科研奖、省部级科研奖、科研经济效益、科研社会效益。并依据科研活动的特征，对选定的25个指标要素进行同质归类，形成10个二级指标，分别是：科研基础条件、科研团队成员、学术声誉、科研项目、科研经费、论文、著作、专利、科研奖励、科研转化。其次，依据科学计量学原理和评价指标对10个二级指标进行分类概况，形成4个一级指标，分别是：支撑指标、投入指标、产出指标、效益指标。
针对于本实施例的应用场景，知识图谱为科研管理知识图谱，针对于本实施例提供的科研管理知识图谱的结构为：实体类型集合为X＝{科研人员、标准、科研获奖、科研项目、论文成果、专利}，然后构建各个实体的属性特征，科研人员＝{姓名、部门、性别、职位、学历、年龄、职称}，科研项目＝{项目名称、部门、负责人、项目类别、项目性质、项目来源、开始时间、完成时间、批准金额}，标准＝{标准名称、部门、制定人、批准号、标准类别、申请时间、批准时间、个人排序、单位排序}，专利＝{专利名称、部门、所有人、申请号、批准号、专利类别、申请时间、批准时间、个人排序、单位排序)，论文＝{论文名称、部门、作者、期刊名称、期刊类别、检索情况、发表时间、资助情况}。
通过本实施例提供的知识图谱模板获取对应的目标知识图谱，用于后续的数据的处理以及获得具体的绩效评价结果。
步骤S220.对所述目标知识图谱进行学习表示，得到待处理的数据。
在本实施例中，基于步骤S210获取到的知识图谱的结构为三元组结构，其中针对于知识图谱的红的的实体和关系采用离散符号表示，而针对于后续使用的BP神经网络进行数据处理均是基于连续数值的，无法直接应用在知识图谱，所以需要对知识图谱的数据结构进行处理得到可以用于BP神经网络进行处理的数据结构。目前，常用的独热编码(one-hot Representation)可以很好地将不同实体表示为互不相同且相互独立的向量，但完全忽略了实体之间的语义关系。在实际应用中，知识图谱中很多实体之间具有丰富的语义关系，而独热编码表示方式不能满足表达实体间语义关系的需求。为了更好地表示知识的语义信息，本文使用表示学习技术将电压暂降知识图谱中的实体和关系投影到低维向量空间，对每一个实体和关系进行学习，得到一个连续向量的知识表示。基于得到的连续向量的知识表示可以利用数值运算对实体与实体之间的语义关系进行衡量，有效地推理出新知识，还可以将其作为先验知识输入到BP神经网络中，用来约束和监督模型的训练过程。
在本实施例中，针对于学习表示模型为TransH模型，能够对基于三元组结构的实体和关系进行表示学习，不仅给每一个实体、每一种关系定义一个实值向量，还要给每种关系定义一个超平面用，并用其法向量wr表示，具体的处理包括以下过程：
对于一个三元组(h,r,t)，TransH首先将头实体向量h与尾实体向量t沿法线wr投影到关系r对应的超平面中，用hr、tr表示：
Figure BDA0003847296450000111
Figure BDA0003847296450000112
在本实施例中，针对于三元组(h,r,t)满足hr+r≈tr，否则tr与hr+r应当远离，其中得分函数表示为：
dist(h,r,t)＝||hr+r-tr||。
因此TransH定义的损失函数为：
Figure BDA0003847296450000113
在本实施例中，h′和t′代表负例三元组中头、尾实体向量；S代表正例三元组集合；S′代表负例三元组集合；γ是一个常数，用来表示正负样本之间的间距；[x]+表示max(0,x)。
在本实施例中，利用TransH对科研管理知识图谱中的实体和关系进行表示学习，得到它们的向量表示。由于向量已经经过一次训练包含丰富的语义信息，将其作为深度学习模型的输入，不仅可以减少BP神经网络对大量标注数据的依赖，同时可以用来指导和约束深度学习模型的学习过程，提高分类效果，表现出良好的可解释性。
步骤S230.将所述待处理的数据输入至BP神经网络得到期望输出。
在本实施例中，BP神经网络为训练得到的神经网路，而针对于BP神经网络的训练包括以下过程：
基于步骤S210中的构建的知识图谱模板，以及构建与对知识图谱模板对应的评价体系。
在本实施例中，针对于知识图谱模板的结构不再进行描述，而针对于评价体系的构建进行描述，针对于本实施例中的评级体系为一种数学模型，具体的构建方法包括：基于以上的一级、二级和三级评价指标构建评价体系，具体为：
建立层级间的重要性影响关系，即设m个因素对上一层某因素存在相对重要性，根据特定的标度法则，第i个因素(i＝1,2,3,…,m)与第j个因素(j＝1,2,3,…m)比较判断，其相对重要程度为aij。这样构造的m阶矩阵可用于求解各因素关于某些准则的优先权重，称其为判断矩阵，记作
A＝(aij)m*m。
构造判断矩阵的关键在于设计一种特定的成对比较判断两因素的相对重要程度的标度法则，使得任意两因素相对重要程度有一定的数量标准，在本实施例中采用“1—9标度方法”进行处理，通过“1—9标度方法”建立判断矩阵：A＝(aij)m*m。
具体的，标度ajm中的j与m表示第j个和第m个因素，若ajm＝3，则表明关于准则Cr，第j个因素比第m个因素稍微重要，其余标度意义类似。
依据上述处理，综合运用专家访谈法和层次分析法，分别需要对一级指标“高校教师科研绩效量化评价指标”与10个二级指标“基础条件”、“所属团队”、“学术声誉”、“科研项目”、“科研经费”、“论文”、“著作”、“专利”、“科研获奖”和“科研转化”分别构造判断矩阵，具体如下：
Figure BDA0003847296450000131
其中针对于10个二级指标的矩阵分别为：
基础条件矩阵为：
Figure BDA0003847296450000132
所属团队矩阵为：
Figure BDA0003847296450000133
学术声誉矩阵为：
Figure BDA0003847296450000134
科研项目矩阵为：
Figure BDA0003847296450000135
科研经费矩阵为：
Figure BDA0003847296450000136
论文矩阵为：
Figure BDA0003847296450000137
著作矩阵为：
Figure BDA0003847296450000138
专利矩阵为：
Figure BDA0003847296450000139
科研获奖矩阵为：
Figure BDA0003847296450000141
科研转化矩阵为：
Figure BDA0003847296450000142
基于以上的矩阵，求出各个判断矩阵的最大特征根λmax及其相对应的特征向量W，即AiW＝λmax W，此过程的具体过程包括：
计算出各个判断矩阵对应的特征向量W，W的分量(W1，W2，…，Wm)就是对应于m个要素的相对重要度，即权重系数。
其中，针对于计算权重系数的方法有和积法和方根法两种，在本实施例中采用和积法，因此仅对和积法进行描述：
将判断矩阵每一列归一化：
Figure BDA0003847296450000143
对按列归一化的判断矩阵，再按行
Figure BDA0003847296450000144
求和，将求和结果进行归一化向量的获得，
Figure BDA0003847296450000145
则W＝[W1,W2,W3,…Wm]即为所求。
根据最大特征根的计算公式：
Figure BDA0003847296450000146
其中(AWi)表示向量AW的第i个分量。
根据上述公式计算可得知对应的各个二级指标的权重以及对应指标的最大特征值，并且可得知特征向量W以及各个指标的单排序矩阵P。
特征向量矩阵如下：
W＝(0.0231,0.0165,0.0331,0.1521,0.0616,0.2090,0.0816,0.1109,0.2680,0.0440)T。
针对于二级层次的单排序矩阵如下：
基础条件矩阵为：P2＝(0.8000,0.2000)T；
所属团队矩阵为：P3＝(0.8000,0.2000)T；
学术声誉矩阵为：P4＝(0.2000,0.8000)T；
科研项目矩阵为：P5＝(0.1782,0.7514,0.0704)T；
科研经费矩阵为：P6＝(0.7500,0.2500)T；
论文矩阵为：P7＝(0.4402,0.0920,0.1470,0.0368,0.2350,0.0491)T；
著作矩阵为：P8＝(0.2000,0.8000)T；
专利矩阵为：P9＝(0.1667,0.8333)T；
科研获奖矩阵为：P10＝(0.1667,0.8333)T；
科研转化矩阵为：P11＝(0.1667,0.8333)T。
基于评价体系构建对应的BP神经网络，在本实施例中，针对于BP神经网络的结构包括输入层、隐藏层和输出层，其中输出层的层数结构为1，针对于隐藏层的设置通过以下任一公式进行获取：
Figure BDA0003847296450000151
其中，k为隐藏层节点数，n为输出层节点数，l为输出层节点数，a为1-10中的任一常数。
而针对于隐藏层节点数的获取基于评价体系中的三级评价指标数量进行确定。在本实施例中，针对于二级评级指标的数量为10，针对于三级评价指标的数量为25，即隐藏层的节点数即隐藏层的层级结构为25，而针对于输出层的节点数根据BP神经网络的结构为1，所以针对于以上公式可以获得针对于隐藏层的节点数为8。
其中，在本实施例中的BP神经网络中的隐含层设置的传递函数为Sigmoid函数。
以上为本实施例提供的BP神经网络的基本模型结构，针对于此基本模型结构通过训练的方式得到最优的目标BP神经网路，而针对于具体的训练过程为：
将训练样本即获取到的知识图谱模板输入至BP神经网络中进行训练，并通过测试样本即获得到的知识图谱模板对训练后的BP神经网络进行校正，得到最终的评价模型。
在本实施例中，针对于BP神经网络的训练过程包括两部分，第一部分为对于知识图谱模板的数据结构的转换，第二部分为基于数据结构转换后的数据对BP神经网络进行训练的具体过程。
其中针对于知识图谱模板的数据结构的转换包括：抽取所述知识图谱中的三元组结构的实体、关系以及关系平面进行向量初始化，基于所述正例三元组构建负例三元组，对所述正例三元组和所述负例三元组进行训练，采用随机梯度下降的优化方法，根据损失函数减小方向对实体、关系以及关系平面向量进行更新，直到损失函数趋于稳定时停止迭代，得到优化后的实体、关系以及关系平面的向量表示。在本实施例中，所述负例三元组通过随机替换正例三元组中的头实体或者尾实体得到的。
针对于获取到的结构转换的数据需要进行数据提取以及标注，具体为：
经过数据转换后，知识图谱中的每一个实体都有一个与之对应的实体向量，每一种关系都有一个与之对应的关系向量和超平面。本实施例利用一下公式提取全部实体向量在“评分”关系超平面中的投影向量集合Er。其中公式如下：
Figure BDA0003847296450000161
其中，Eri∈Er，表示一个实体向量在“评分”关系所对应的超平面中的投影向量；Ei表示该实体向量；wr表示“评分”关系所对应超平面的法向量。
在本实施例中针对评价体系中的25个评价指标进行确定，将这25种评价指标即为“1000000000000000000000000”、“0100000000000000000000000”、“0010000000000000000000000”、“0001000000000000000000000”等，并对实体进行标注，将标注后的数据作为训练输入至对应的输入层。
而针对于转换后的结构以及标注后的数据进行具体的训练属于对BP神经网络进行训练方法可以为现有的训练过程，在本实施例中不再进行详细的描述。
而针对于训练后的BP神经网络需要进行对应的测试，而本实施例中的测试方法包括：基于评价体系得到目标期望输出，并基于BP神经网络得到实时期望输出，比较二者之间的关系，基于设置的阈值确定训练后的BP神经网络是否完成。
具体为：基于评价体系得到期望输出，所述期望输出为所述BP神经网络的目标期望输出；基于所述测试样本作为输入至迭代后的BP神经网络，得到实时期望输出；比较所述实时期望输出与所述目标期望输出；基于比较结果利用损失函数对所述BP神经网络进行调整。
在本实施例中，针对于评价体系获得期望输出的过程在步骤S210中进行了说明，通过构建二级分类的矩阵，就是那种判断矩阵的最大特征以及特征向量得到对应的输出结果。
基于所述训练样本作为输入至迭代后的BP神经网络，得到实时期望输出，比较所述实时期望输出与所述目标期望输出，基于比较结果调整所述损失函数。
针对于以上训练得到的BP神经网络用于对步骤S230中的设置有标注标签的待处理数据进行处理得到期望输出，其中期望输出为针对于具体的绩效的具体分数。
参阅图3，本实施例还提供一种绩效评价装置300，包括：目标知识图谱获取模块310，用于将待处理的信息基于预设置的知识图谱模板进行处理得到含有待处理信息的目标知识图谱。学习表示模块320，用于对所述目标知识图谱进行学习表示，得到待处理的数据。处理模块330，用于将标注后的所述待处理数据输入至BP神经网络得到期望输出。
本申请实施例提供的技术方案中，通过建立知识图谱-评价体系和BP神经网络的关联关系，通过关联关系构建评价模型，并且通过对评价模型的训练实现了对于评价结果的精准和稳定的获得。并且，在本申请实施例提供的技术方案中，针对于评价体系引入了适用于场景下使用的评价指标，通过评价指标使评价模型的训练更加的准确，得到的期望输出的准确度更高。
需要理解的是，针对上述内容没有进行名词解释的技术术语，本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义在此均不作限定。
本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及偏好标签的技术特征/技术术语进行确定，例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语，本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导，从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀，例如“第一”、“第二”、“示例”、“目标”等，可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀，例如“集合”、“列表”等，也可以根据前后文进行毫无疑义地推导和确定。
本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解，本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的，因此上述内容并不是对整体方案的创造性的评判。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。
另外，本领域普通技术人员可以理解的是，本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“系统”。此外，本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。
本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象程序设计，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET，Python等，或类似的常规程序编程语言，如"C"编程语言，Visual Basic，Fortran2003，Perl，COBOL 2002，PHP，ABAP，动态编程语言如Python，Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网络(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非申请专利范围中明确说明，本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的申请专利范围并不仅限于披露的实施例，相反，申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件装置实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或行动装置上安装所描述的系统。
同样应当理解的是，为了简化本申请揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (10)

1.一种评价模型训练方法，其特征在于，包括：
获取绩效评价数据样本数据集，基于所述样本数据集构建知识图谱，所述知识图谱为三元结构，还包括与三元结构中实体对应设置评价体系；
将所述知识图谱作为训练样本和测试样本，将训练样本输入到预先建立的BP神经网络中，对BP神经网络进行训练，得到第一评价模型，所述BP神经网络的结构与所述知识图谱中的第一特征相对应，所述第一特征为所述评价体系中的评价指标；
将测试样本输入到所述第一评价模型中，对所述第一评价模型进行测试，并利用损失函数对所述第一评价模型进行校正，得到最终的评价模型；
基于所述样本数数据集构建知识图谱包括：
对所述绩效评价数据知识抽取、知识抽取、知识融合、知识加工和知识推理构建初始知识图谱；
基于评价体系对所述初始知识图谱进行标注，得到含有评分的目标知识图谱，所述评价体系与所述初始知识图谱的实体进行对应设置。
2.根据权利要求1所述的评价模型训练方法，其特征在于，所述知识图所述BP神经网络包括输入层、隐藏层和输出层，所述输入层与所述评价指标数量相同。
3.根据权利要求1所述的评价模型训练方法，其特征在于，将训练样本输入到预先建立的BP神经网络中，对BP神经网络进行训练，包括：
抽取所述知识图谱中的三元组结构的实体、关系以及关系平面进行向量初始化，基于所述正例三元组构建负例三元组，对所述正例三元组和所述负例三元组进行训练，采用随机梯度下降的优化方法，根据损失函数减小方向对实体、关系以及关系平面向量进行更新，直到损失函数趋于稳定时停止迭代，得到优化后的实体、关系以及关系平面的向量表示。
4.根据权利要求3所述的评价模型训练方法，其特征在于，所述负例三元组通过随机替换正例三元组中的头实体或者尾实体得到的。
5.根据权利要求3所述的评价模型训练方法，其特征在于，将测试样本输入到所述第一评价模型中，对所述第一评价模型进行测试，并利用损失函数对所述第一评价模型进行校正，得到最终的评价模型，包括：
基于所述评价体系得到目标期望输出，所述期望输出为所述BP神经网络的目标期望输出；
基于所述测试样本作为输入至迭代后的BP神经网络，得到实时期望输出；
比较所述目标实时期望输出与所述目标期望输出；
基于比较结果利用损失函数对所述BP神经网络进行调整。
6.一种评价模型训练装置，其特征在于，包括：
知识图谱构建模块，用于将获取的绩效评价数据样本数据集转换为知识图谱；第一评价模型，用于将知识图谱作为训练样本和测试样本，并将训练样本输入至预先建立的BP神经网络中，对BP神经网络进行训练，得到第一评价模型；评价模型校正模块，用于将测试样本输入到所述第一评价模型中，对所述第一评价模型进行测试，并利用损失函数对所述第一评价模型进行校正；所述BP神经网络的结构与所述知识图谱中的第一特征相对应。
7.根据权利要求6所述的评价模型训练装置，其特征在于，所述知识图谱构建模块包括：
初始知识图谱构建单元，用于对所述绩效评价数据进行知识抽取、知识抽取、知识融合、知识加工和知识推理构建初始知识图谱；
标注单元，用于基于评价体系对所述初始知识图谱进行标注，得到含有评分的目标知识图谱，所述评价体系与所述初始知识图谱的实体进行对应设置。
8.一种绩效评价方法，其特征在于，包括：
将待处理的信息基于预设置的知识图谱模板进行处理得到含有待处理信息的目标知识图谱；
对所述目标知识图谱进行学习表示，得到初始数据；
将所述待处理的数据输入至BP神经网络得到期望输出。
9.根据权利要求8所述的绩效评价方法，其特征在于，对所述目标知识图谱进行学习表示包括：
抽取所述目标知识图谱中的三元组结构的实体、关系以及关系平面进行向量初始化，基于所述正例三元组构建负例三元组，对所述正例三元组和所述负例三元组进行训练，采用随机梯度下降的优化方法，根据损失函数减小方向对实体、关系以及关系平面向量进行更新，直到损失函数趋于稳定时停止迭代，得到优化后的实体、关系以及关系平面的向量表示。
10.一种绩效评价装置，其特征在于，包括：
目标知识图谱获取模块，用于将待处理的信息基于预设置的知识图谱模板进行处理得到含有待处理信息的目标知识图谱；
学习表示模块，用于对所述目标知识图谱进行学习表示，得到待处理的数据；
处理模块，用于将标注后的所述待处理数据输入至BP神经网络得到期望输出。
CN202211121543.XA 2022-09-15 2022-09-15 一种评价模型训练方法、绩效评价方法及装置 Pending CN115392769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211121543.XA CN115392769A (zh) 2022-09-15 2022-09-15 一种评价模型训练方法、绩效评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211121543.XA CN115392769A (zh) 2022-09-15 2022-09-15 一种评价模型训练方法、绩效评价方法及装置

Publications (1)

Publication Number Publication Date
CN115392769A true CN115392769A (zh) 2022-11-25

Family

ID=84126589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211121543.XA Pending CN115392769A (zh) 2022-09-15 2022-09-15 一种评价模型训练方法、绩效评价方法及装置

Country Status (1)

Country Link
CN (1) CN115392769A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094566A (zh) * 2023-10-19 2023-11-21 中节能大数据有限公司 一种视图导向的企业管理分析策略方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094566A (zh) * 2023-10-19 2023-11-21 中节能大数据有限公司 一种视图导向的企业管理分析策略方法
CN117094566B (zh) * 2023-10-19 2024-01-02 中节能大数据有限公司 一种视图导向的企业管理分析策略方法

Similar Documents

Publication Publication Date Title
Grahek et al. Anatomy of a psychological theory: Integrating construct-validation and computational-modeling methods to advance theorizing
Huang et al. Predicting student academic performance in an engineering dynamics course: A comparison of four types of predictive mathematical models
Plambeck The development of new products: The role of firm context and managerial cognition
Fadli et al. Implementation of MOORA method in evaluating work performance of honorary teachers
CN114913729B (zh) 一种选题方法、装置、计算机设备和存储介质
CN112069329B (zh) 文本语料的处理方法、装置、设备及存储介质
Montoya Extending the Johnson-Neyman procedure to categorical independent variables: Mathematical derivations and computational tools
Peng Research on online learning behavior analysis model in big data environment
Timbers et al. Data science: A first introduction
Liu et al. Construction of a Hierarchical Neural Network Power Source Model for Human Capital Technology Innovation and Benefit Distribution with Big Data Analysis
Terada et al. Automatic generation of fill-in-the-blank programming problems
CN115392769A (zh) 一种评价模型训练方法、绩效评价方法及装置
Yi et al. [Retracted] The Use of Genetic Algorithm, Multikernel Learning, and Least‐Squares Support Vector Machine for Evaluating Quality of Teaching
CN112396092B (zh) 一种众包开发者推荐方法和装置
Fotheringham et al. Multiscale geographically weighted regression: Theory and practice
Hajovsky et al. A quantile regression analysis of cognitive ability and spelling predictors of written expression: Evidence of gender, age, and skill level moderation
Li [Retracted] The Use of Machine Learning Model in the Evaluation of College Students’ Employment and Entrepreneurship Level
Khatri et al. Modeling intellectual capital-based intrapreneurial ability of working professionals through servant leadership and self-efficacy
Liu et al. Multimode Teaching Quality Evaluation Model of Higher Education Course Based on Improved Particle Swarm Optimization
US10699589B2 (en) Systems and methods for determining the validity of an essay examination prompt
CN114925610A (zh) 一种学习者知识结构与水平建模方法、系统、设备及终端
Caemmerer et al. Beyond individual tests: Youth's cognitive abilities on their math and writing skills
Grotenhuis et al. Modest performance of text mining to extract health outcomes may be almost sufficient for high-quality prognostic model development
Zhang et al. [Retracted] Research on the Hierarchical Teaching Method of University English Based on Artificial Intelligence Wireless Network
Gao et al. The use of the analytic hierarchy process in improving psychological empowerment and employee performance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhu Lin

Inventor after: Zhu Yingjie

Inventor before: Zhu Lin

CB03 Change of inventor or designer information