CN114595309A - 一种培训装置实现方法及系统 - Google Patents

一种培训装置实现方法及系统 Download PDF

Info

Publication number
CN114595309A
CN114595309A CN202210213717.9A CN202210213717A CN114595309A CN 114595309 A CN114595309 A CN 114595309A CN 202210213717 A CN202210213717 A CN 202210213717A CN 114595309 A CN114595309 A CN 114595309A
Authority
CN
China
Prior art keywords
training
information
data
model
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210213717.9A
Other languages
English (en)
Inventor
常秋
冯亮祖
王贺
王相云
李明利
张昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Citic Bank Corp Ltd
Original Assignee
China Citic Bank Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Citic Bank Corp Ltd filed Critical China Citic Bank Corp Ltd
Priority to CN202210213717.9A priority Critical patent/CN114595309A/zh
Publication of CN114595309A publication Critical patent/CN114595309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种培训装置实现方法及系统,涉及数据处理领域,其中,所述方法包括:获得员工培训信息;通过新增模块对员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息;获得用户录入信息;基于用户录入信息通过链接模块,获得匹配链接路径;通过匹配链接路径进入模型检索模块进行检索,获得匹配培训资料,并根据匹配培训资料确定资料存储地址信息;根据资料存储地址信息,通过在线浏览模块进行在线浏览。解决了现有技术中存在对各业务管理系统的操作用户展开定向培训工作,会受到多个因素限制,成本高,效果不明显,并且金融机构的资料数据检索功能,在语义、环境匹配方面效果较差的技术问题。

Description

一种培训装置实现方法及系统
技术领域
本发明涉及数据处理领域,具体涉及一种培训装置实现方法及系统。
背景技术
大型银行等金融机构的业务管理系统,主要实现企业各项业务的信息管理,促使各项业务流程信息化、系统化,为企业带来经济效益。一般由总行机构或人力部门下发相关系统的操作手册,或展开相应培训,帮助用户了解、熟悉系统的各项操作。目前总行机构或人力部门对各业务管理系统的操作用户展开定向培训工作,会受到时间、岗位、人员、地点、资金、系统版本等诸多因素限制,成本高,效果不明显。银行等金融机构的资料数据检索功能,一般使用字、词组、关键组合等技术进行检索,在语义、环境匹配方面效果较差。
但现有技术存在诸多因素限制定向培训工作开展,成本高,效果不明显,并且金融机构的资料数据检索功能,在语义、环境匹配方面效果较差的技术问题。
发明内容
本申请通过提供了一种培训装置实现方法及系统,解决了现有技术中存在诸多因素限制定向培训工作开展,成本高,效果不明显,并且金融机构的资料数据检索功能,在语义、环境匹配方面效果较差的技术问题。达到了降低人力培训成本,提高培训效率,有利于系统操作流程和规范的信息化、智能化以及公开化、透明化,使用神经网络BERT技术能够快速、准确完成语义匹配任务,用户可通过查看该系统所有的培训指导材料,从而快速熟悉系统的技术效果。
鉴于上述问题,本申请提供了一种培训装置实现方法及系统。
第一方面,本申请提供了一种培训装置实现方法,所述方法包括:获得员工培训信息,通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息,获得用户录入信息,基于所述用户录入信息通过链接模块,获得匹配链接路径,通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料,并根据所述匹配培训资料确定资料存储地址信息,根据所述资料存储地址信息,获取所述匹配培训资料,通过在线浏览模块对所述匹配培训资料进行在线浏览。
另一方面,本申请提供了一种培训装置实现系统,所述系统包括:第一获得单元,所述第一获得单元用于获得员工培训信息;第一执行单元,所述第一执行单元用于通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息;第二获得单元,所述第二获得单元用于获得用户录入信息;第三获得单元,所述第三获得单元用于基于所述用户录入信息通过链接模块,获得匹配链接路径;第四获得单元,所述第四获得单元用于通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料,并根据所述匹配培训资料确定资料存储地址信息;第二执行单元,所述第二执行单元用于根据所述资料存储地址信息,通过在线浏览模块对所述匹配培训资料进行在线浏览。
第三方面,本发明提供了一种培训装置实现系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述方法的步骤。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、由于采用了采集员工培训信息,通过新增模块进行加工处理后,保存至培训资料数据库中,并且返回存储地址信息;进一步采集用户录入信息,通过链接模块和用户录入信息获得匹配链接路径,通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料;并根据所述匹配培训资料确定资料存储地址信息,根据所述资料存储地址信息,获取匹配培训资料;员工使用在线浏览模块对所述匹配培训资料进行在线浏览的技术方案,本申请通过提供了一种培训装置实现方法及系统,达到了降低人力培训成本,提高培训效率,有利于系统操作流程和规范的信息化、智能化以及公开化、透明化,使用神经网络BERT技术能够快速、准确完成语义匹配任务,用户可通过查看该系统所有的培训指导材料,从而快速熟悉系统的技术效果。
2、由于采用了文件转PDF、添加水印、在线浏览的方法,达到了培训材料安全、独立的目的,能够减少对外部插件的需求和提高移动端的适用性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例一种培训装置实现方法的流程示意图;
图2为本申请实施例一种培训装置实现方法的通过新增模块对员工培训信息进行加工处理的流程示意图;
图3为本申请实施例一种培训装置实现方法的获得检索模型的流程示意图;
图4为本申请实施例一种培训装置实现方法的获得BERT模型的流程示意图;
图5为本申请实施例一种培训装置实现方法的按照预设规则读取数据处理数据的流程示意图;
图6为本申请实施例一种培训装置实现系统的结构示意图;
图7为本申请实施例示例性电子设备的结构示意图。
附图标记说明:第一获得单元11,第一执行单元12,第二获得单元13,第三获得单元14,第四获得单元15,第二执行单元16,电子设备300,存储器301,处理器302,通信接口303,总线架构304。
具体实施方式
本申请通过提供了一种培训装置实现方法及系统,解决了现有技术中存在诸多因素限制定向培训工作开展,成本高,效果不明显,并且金融机构的资料数据检索功能,在语义、环境匹配方面效果较差的技术问题。达到了降低人力培训成本,提高培训效率,有利于系统操作流程和规范的信息化、智能化以及公开化、透明化,使用神经网络BERT技术能够快速、准确完成语义匹配任务,用户可通过查看该系统所有的培训指导材料,从而快速熟悉系统的技术效果。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
大型银行等金融机构的业务管理系统,主要实现企业各项业务的信息管理,促使各项业务流程信息化、系统化,为企业带来经济效益。一般由总行机构或人力部门下发相关系统的操作手册,或展开相应培训,帮助用户了解、熟悉系统的各项操作。目前银行等金融机构的资料数据检索功能,一般使用字、词组、关键组合等技术进行检索。现有技术中存在诸多因素限制定向培训工作开展,成本高,效果不明显,并且金融机构的资料数据检索功能,在语义、环境匹配方面效果较差的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:
本申请提供了一种培训装置实现方法,所述方法包括:采集员工培训信息,通过新增模块进行加工处理后,保存至培训资料数据库中,并且返回存储地址信息;进一步采集用户录入信息,通过链接模块和用户录入信息获得匹配链接路径,通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料;并根据所述匹配培训资料确定资料存储地址信息,根据所述资料存储地址信息,获取匹配培训资料;员工使用在线浏览模块对所述匹配培训资料进行在线浏览。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种培训装置实现方法,其中,所述方法应用于业务管理系统,所述业务管理系统与所述培训装置嵌入式连接,所述培训装置包括新增模块、链接模块、模型检索模块、在线浏览模块,所述方法包括:
S100:获得员工培训信息;
S200:通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息;
具体而言,嵌入式,一般是指嵌入式系统。嵌入式系统,是以应用为中心,以计算机技术为基础,软件硬件可裁剪,适用于对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。具有很强的灵活性和可定制能力,可以用于多种用途。换句话说嵌入式就是在已经存在的硬件平台上移植操作系统并且做相应的应用开发。所述培训装置与所述业务管理系统嵌入式连接,可以理解为在已存在的业务管理系统的硬件平台上,进行相应的培训方面的应用开发。所述培训装置包括新增模块、链接模块、模型检索模块、在线浏览模块。其中新增模块用于处理信息发布者录入的功能名称(包括菜单名称、按钮名称等)、功能路径、功能描述(简介),以及上传的指导附件等。
员工培训信息,包括员工培训的指导文件信息和其他描述类文本,其他描述类文本包括但不限于信息发布者录入的功能名称、功能路径、功能描述。所述功能名称包括菜单名称、按钮名称等,例如培训项目的名称。所述描述信息包括培训培训项目简介、主题介绍等。所述功能路径包括目录、索引等。
员工培训信息由信息发布方采集并上传至新增模块中,信息发布方一般由需求分析师、系统设计师、总行机构管理人员等角色承担。为了达到培训材料安全、独立的目的,使用新增模块对所述员工培训信息进行加工处理。加工处理包括但不限于转换成PDF、添加水印等方法。加工处理后得到处理好的附件上传至平台存储至所述培训资料数据库中,并返回存储地址。信息发布方也会承担信息修改、删除等任务,对存储信息进行修改和删除。从信息发布的角度来看,大大降低人力培训成本,提高培训效率,有利于系统操作流程和规范的信息化、智能化以及公开化、透明化。
S300:获得用户录入信息;
S400:基于所述用户录入信息通过链接模块,获得匹配链接路径;
具体而言,所述用户为信息接收方,即系统一般使用者,他们是主要的培训受众,如金融机构的员工。用户通过录入信息进行培训文件的搜索,用户录入信息包括但不限于检索关键词句、用户点击菜单名称等。
所述链接模块是连接一般用户和培训材料的重要通路。用户进入培训指导文件装置的方式分为两大类:一是直接进入培训指导检索页面,自行输入感兴趣的关键词句搜索;二是进入业务操作页面,点击为每个操作菜单专门设置的指导操作相关链接,系统自动捕获当前菜单名称,跳转进入培训指导页面,检索关键词默认跳转菜单名称。
基于所述用户录入信息,包括但不限于用户录入的检索关键词句、用户点击的业务功能菜单链接等,通过连接模块的两类进入培训指导文件装置的方式,获得匹配的链接路径。支持用户多种途径进入学习模块,匹配的链接路径可以使用户快速、准确的进入匹配的学习模块。
S500:通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料,并根据所述匹配培训资料确定资料存储地址信息;
S600:根据所述资料存储地址信息,通过在线浏览模块对所述匹配培训资料进行在线浏览。
具体而言,通过所述匹配链接路径进入模型检索模块进行检索。所述模型检索模块,是用户通过关键词句精准快速找到对应结果的关键模块。使用的检索模型优选为BERT模型(Bidirectional Encoder Representations from Transformers)。相较RNN模型(RecurrentNeural Networks,循环神经网络模型)、LSTM模型(Long short-term Memory,长短期记忆神经网络模型)模型,BERT模型可以做到并发执行,同时提取词在句子中的关系特征,并且能在多个不同层次提取关系特征,进而更全面反映句子语义。相较Word2Vec模型,BERT又能根据句子上下文获取词义,从而避免歧义出现,Word2Vec模型是从大量文本预料中以无监督方式学习语义知识的模型,被广泛地应用于自然语言处理中。
经过模型检索模块,检索得到所述匹配培训资料,培训资料存入本地培训资料数据库时,会有对应的存储地址。基于所述匹配培训资料获得资料的存储地址信息后,系统可使用HTTP协议通过文件存储地址链接获取附件。然后针对不同的附件格式,使用不同的展示形式供用户浏览。附件格式包括但不限于视频如MP4格式和文档如PDF格式。对于视频文件,优选为使用HTML5技术,只需客户端浏览器支持HTML5,便可支持视频在线播放。对于PDF格式文档文件,优选为调用PDF组件,通过数据地址获取文件,然后将PDF渲染到每个页面,便可直接在web页面看到展示文件。
所述在线浏览模块为用户提供视频在线播放、文档在线预览的功能。通过在线浏览模块,用户获得对应的展示方式,包括视频在线播放、文档在线预览。从信息接收角度来看,简单易操作,用户可以通过本发明查看该系统所有的培训指导材料,从而快速熟悉系统。
进一步的,如图2所示,所述通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息,步骤S200包括:
S210:根据所述员工培训信息,获得功能名称、功能路径、描述信息;
S220:获得员工培训信息格式;
S230:根据所述员工培训信息格式匹配加工处理逻辑;
S240:根据匹配的加工处理逻辑对所述员工培训信息进行加工处理后,保存至所述培训资料数据库中,获得所述存储地址信息;
S250:将所述存储地址信息进行返回,并将所述功能名称、功能路径、描述信息、存储地址信息保存至本地。
具体而言,所述员工培训信息,包括员工培训的指导文件信息和其他描述类文本。员工培训指导文件包括培训文件、培训视频等,其他描述类文本包括但不限于信息发布者录入的功能名称、功能路径、功能描述。因此根据所述员工培训信息,获得功能名称、功能路径、描述信息,所述功能名称包括菜单名称、按钮名称等,例如培训项目的名称。所述描述信息包括培训培训项目简介、主题介绍等。所述功能路径包括目录、索引等。
根据所述员工培训信息获得员工的指导附件的格式信息,针对不同格式的附件,使用不同的附件加工逻辑,对于Office文档(如Word,Excel,PowerPoint),调用Office提供的COM接口,把文档另存为PDF;对于纯文本文档,调用技术组件如iTextSharp等指定字体后转换成PDF;从信息安全的角度出发,为视频类文档(MP4、WebM、HLS等)和上传或转换后的PDF文档,添加水印。
根据匹配的加工处理逻辑对员工的指导附件进行加工处理后,保存至所述培训资料数据库中,获得指导附件保存的存储地址信息,最后,将所述存储地址信息进行返回,并将所述功能名称、功能路径、描述信息、存储地址信息保存至本地数据库。能够提高培训效率,达到了系统操作流程和规范的信息化、智能化以及公开化的技术效果。
进一步的,所述基于所述用户录入信息通过链接模块,获得匹配链接路径,步骤S400包括:
S410:基于所述用户录入信息判断是否进入培训指导检索页面;
S420:当进入所述培训指导检索页面时,获得检索关键词;
S430:基于所述检索关键词,获得匹配链接路径,所述匹配链接路径为通过检索关键词进入所述模型检索模块进行检索。
具体而言,为用户提供了多种进入通道获取培训指导文件,除了统一的检索集散中心,用户在一般业务功能菜单页面就能快速跳转进入对应的操作指导材料页面。因此需要对用户录入信息进行判断,判断用户是选择进入培训指导检索页面还是选择进入业务功能菜单页面。当判断用户进入所述培训指导检索页面时,采集用户检索的关键词,基于所述检索关键词获得匹配的链接路径,所述匹配链接路径为通过检索关键词进入所述模型检索模块进行检索。能够实现在用户在遇到操作问题时,及时通过关键词检索有效地寻求解决方案的技术效果。
进一步的,如图3所示,本申请实施例包括:
S510:获得数据集;
S520:对所述数据集按照预设规则进行数据读取,并对读取的数据进行转换,获得输入特征值集合;
S530:基于所述输入特征值集合,确定训练特征值,并利用所述训练特征值进行模型训练,其中,所述模型为BERT模型;
S540:使用交叉熵损失函数对所述BERT模型的输出结果进行损失函数值计算,直到损失函数值满足训练要求为止,获得BERT训练模型;
S550:对训练好的所述BERT训练模型通过Adam算法进行模型调整,确定优化模型,基于所述优化模型获得检索模型;
S560:将所述用户录入信息输入所述检索模型中,获得所述检索模型的输出结果,所述输出结果包括匹配培训资料。
进一步的,如图4所示,所述对所述数据集按照预设规则进行数据读取,并对读取的数据进行转换,步骤S520还包括:
S521:按照所述预设规则读取数据,获得数据信息,所述预设规则包括去除收尾空格、分离标签与句子内容、添加特殊符号、分隔符标记;
S522:将所述数据信息转换为数字信息;
S523:设定固定长度信息;
S524:判断所述数字信息的长度是否满足固定长度信息;
S525:当长度不足所述固定长度信息时,按照所述固定长度信息进行长度补齐;
S526:当长度超出所述固定长度信息时,按照所述固定长度信息进行长度进行截断。
具体而言,基于本地的历史数据获得数据集,进行数据采样。进一步将所述数据集按照预设规则进行数据提取,其中预设规则根据需求进行设定,所述预设规则包括去除收尾空格、分离标签与句子内容、添加特殊符号、分隔符标记。读取数据时,首先去除首尾空格,分离标签与句子内容,在每个输入示例前面添加特殊符号[CLS]),分隔符用特殊标记[SEP](例如,分隔问题/答案)。其中[CLS]表示该特征用于分类模型。[SEP]表示分句符号,用于断开输入语料中的两个句子。然后,将数据转换为数字信息,设置固定长度信息,判断所述数字信息的长度是否满足设置的固定长度信息,不足长度用0作为补齐,超过长度则按照所述固定长度信息进行截断。由于BERT模型可以联系语境,所以在中文BERT模型中,中文分词是基于字而非词,所以无需进行额外分词操作。
转换完成后的特征值可以作为输入,获得所述输入特征值集合,所述输入特征值集合用于模型的训练和测试。将所述输入特征值集合按照一定比例划分为训练集、验证集、测试集,划分比例优选为6:2:2。
预先训练好的BERT模型可以通过一个额外的输出层进行微调,从而为广泛的任务(如问答和语言推理)创建先进的模型,而无需对特定于任务的体系结构进行实质性修改。微调模型优选为使用谷歌官方发布的中文预训练模型bert-base-chinese,建议在此模型的基础上进行微调训练。在微调过程中,所有参数都会进行微调。使用所述训练特征值进行BERT模型训练,模型训练使用交叉熵损失函数,不仅可以容易地进行求导计算,快速收敛,而且能够很好地衡量模型的效果。在二分的情况下,模型最后需要预测的结果只有两种情况,每个类别预测得到的概率为p和1-p,此时交叉熵表达式为:
Figure BDA0003531683090000111
其中:yi表示样本i的label,正类为1,负类为0;pi表示样本i预测为正类的概率。
使用交叉熵损失函数进行损失函数值计算,直至收敛,获得BERT训练模型,模型训练算法使用BERT专用的Adam算法(Adaptive moment Estimation,自适应矩估计)。设置合适的学习率、一阶矩估计的指数衰减率和二阶矩估计的指数衰减率等参数,Adam依靠动量和自适应学习率加快收敛速度。通过Adam算法进行模型调整,确定优化模型,基于所述优化模型获得检索模型。用户检索阶段。加载模型,然后将用户输入的检索关键词句按照上述特征提取的方法转化为特征值,通过模型检索得到输出结果,所述输出结果包括匹配培训资料。完成读取数据、特征转换,并且确认了损失函数、微调模型,并且通过模型训练算法Adam算法进行模型训练,得到科学性、适用性强的检索模型。
进一步的,如图5所示,本申请实施例还包括:
S561:获得训练数据集;
S562:对所述训练数据集进行联合调节,获得联合调节特征值,所述联合调节为调节左右上下文;
S563:基于所述训练数据集、所述联合调节特征值,获得第一训练集、第二训练集,其中,所述第一训练集为无标记数据,第二训练集为有标记数据;
S564:利用所述第一训练集进行无监督模型训练,获得第一语言模型;
S565:基于所述第一语言模型添加神经网络层,并利用所述第二训练集对添加神经网络层的所述第一语言模型进行有监督模型训练,获得所述BERT模型;
S566:其中,在进行所述无监督模型训练、有监督模型训练过程中,获得模型中间结果,并将所述模型中间结果加入训练特征进行模型训练。
具体而言,基于大数据获得训练数据集,BERT在特征学习时,BERT模型通过双向训练的方式,对左右上下文进行联合调节,获得联合调节特征值。同时利用语言模型的中间结果作为额外的特征,引入到原任务的模型中,从而达到有效学习语境和上下文的效果。
基于所述训练集、所述联合调节特征值,生成第一训练集和第二训练集。所述第一训练集为无标记数据,第二训练集为有标记数据,用于标记的标签定义两个,分别表示检索匹配(label=1)、检索不匹配(label=0),标签与文本之间用Tab符号隔开。
BERT特征训练主要包含两部分:首先在所述第一训练集上无监督地训练语言模型,训练完毕得到第一语言模型;然后采用有标记的第二训练集有监督地训练模型,在第一语言模型基础上增加少量神经网络层来完成特定任务例如序列标注、分类等获得所述BERT模型。BERT模型作为当前最先进的自然语言处理工具之一,能起到很好地联系语境、理解语义、预测结果的技术效果。
进一步的,所述根据所述资料存储地址信息,通过在线浏览模块对所述匹配培训资料进行在线浏览,步骤S600还包括:
S610:根据所述资料存储地址信息,获取所述匹配培训资料;
S620:判断所述匹配培训资料是否为视频格式;
S630:当所述匹配培训资料为所述视频格式时,获得预设播放器,并通过所述预设播放器进行在线播放;
S640:当所述匹配培训资料不是所述视频格式时,获得预设转换器,并通过所述预设转换器对所述匹配培训资料进行格式转换后进行在线浏览。
具体而言,根据所述资料存储地址信息,系统使用HTTP协议通过文件存储地址链接获取附件,附件包括所述匹配培训资料,然后针对不同的匹配培训资料格式,使用不同的展示形式供用户浏览。判断所述匹配培训资料是否为视频格式,若为视频格式,获得预设的网络视频播放器,进行在线视频播放。
在HTML5技术出现之前,大部分Web视频播放是通过浏览器插件如Adobe Flash来实现,这要求客户在观看视频之前需要保证安装相应的组件。为了独立于设备、减少对外部插件的需求(比如Flash,已停止更新),使用video网络视频播放器,不再依赖于特定第三方技术,只需客户端浏览器支持HTML5,便可支持视频在线播放。目前大多主流浏览器都已支持HTML5,如IE、火狐、谷歌等。另外除了电脑端,video播放器同样很好地适用于移动端。
当所述匹配培训资料不是所述视频格式时,换句话说所述匹配培训资料为Office文档(Word,Excel,PowerPoint)等非视频格式时,获得预设转换器,对所述匹配培训资料进行格式转换,实现在线浏览。举例如对于PDF文件,浏览器不需额外安装PDF阅读器插件,调用PDF组件,通过数据地址获取文件,然后将PDF渲染到每个页面,便可直接在web页面看到展示文件。使用了文件在线浏览等技术手段,能够减少对外部插件的需求,提高移动端的适用性。
实施例二
基于与前述实施例中一种培训装置实现方法相同的发明构思,如图6所示,本申请实施例提供了一种培训装置实现系统,其中,所述系统包括:
第一获得单元11,所述第一获得单元11用于获得员工培训信息;
第一执行单元12,所述第一执行单元12用于通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息;
第二获得单元13,所述第二获得单元13用于获得用户录入信息;
第三获得单元14,所述第三获得单元14用于基于所述用户录入信息通过链接模块,获得匹配链接路径;
第四获得单元15,所述第四获得单元15用于通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料,并根据所述匹配培训资料确定资料存储地址信息;
第二执行单元16,所述第二执行单元16用于根据所述资料存储地址信息,通过在线浏览模块对所述匹配培训资料进行在线浏览。
进一步的,所述系统包括:
第五获得单元,所述第五获得单元用于根据所述员工培训信息,获得功能名称、功能路径、描述信息;
第六获得单元,所述第六获得单元用于获得员工培训信息格式;
第三执行单元,所述第三执行单元用于根据所述员工培训信息格式匹配加工处理逻辑;
第七获得单元,所述第七获得单元用于根据匹配的加工处理逻辑对所述员工培训信息进行加工处理后,保存至所述培训资料数据库中,获得所述存储地址信息;
第四执行单元,所述第四执行单元用于将所述存储地址信息进行返回,并将所述功能名称、功能路径、描述信息、存储地址信息保存至本地。
进一步的,所述系统包括:
第一判断单元,所述第一判断单元用于基于所述用户录入信息判断是否进入培训指导检索页面;
第八获得单元,所述第八获得单元用于当进入所述培训指导检索页面时,获得检索关键词;
第九获得单元,所述第九获得单元用于基于所述检索关键词,获得匹配链接路径,所述匹配链接路径为通过检索关键词进入所述模型检索模块进行检索。
进一步的,所述系统包括:
第五执行单元,所述第五执行单元用于当不进入所述培训指导检索页面时,进入业务操作页面;
第十获得单元,所述第十获得单元用于基于所述业务操作页面,获得指导操作链接;
第十一获得单元,所述第十一获得单元用于根据所述指导操作链接,获得菜单名称;
第十二获得单元,所述第十二获得单元用于基于所述菜单名称,跳转进入所述培训指导检索页面,其中,所述检索关键词为所述菜单名称,并基于所述菜单名称,获得匹配链接路径。
进一步的,所述系统包括:
第十三获得单元,所述第十三获得单元用于获得数据集;
第十四获得单元,所述第十四获得单元用于对所述数据集按照预设规则进行数据读取,并对读取的数据进行转换,获得输入特征值集合;
第六执行单元,所述第六执行单元用于基于所述输入特征值集合,确定训练特征值,并利用所述训练特征值进行模型训练,其中,所述模型为BERT模型;
第七执行单元,所述第七执行单元用于使用交叉熵损失函数对所述BERT模型的输出结果进行损失函数值计算,直到损失函数值满足训练要求为止,获得BERT训练模型;
第八执行单元,所述第八执行单元用于对训练好的所述BERT训练模型通过Adam算法进行模型调整,确定优化模型,基于所述优化模型获得检索模型;
第十五获得单元,所述第十五获得单元用于将所述用户录入信息输入所述检索模型中,获得所述检索模型的输出结果,所述输出结果包括匹配培训资料。
进一步的,所述系统包括:
第十六获得单元,所述第十六获得单元用于获得训练数据集;
第十七获得单元,所述第十七获得单元用于对所述训练数据集进行联合调节,获得联合调节特征值,所述联合调节为调节左右上下文;
第十八获得单元,所述第十八获得单元用于基于所述训练数据集、所述联合调节特征值,获得第一训练集、第二训练集,其中,所述第一训练集为无标记数据,第二训练集为有标记数据;
第十九获得单元,所述第十九获得单元用于利用所述第一训练集进行无监督模型训练,获得第一语言模型;
第二十获得单元,所述第二十获得单元用于基于所述第一语言模型添加神经网络层,并利用所述第二训练集对添加神经网络层的所述第一语言模型进行有监督模型训练,获得所述BERT模型;
第二十一获得单元,所述第二十一获得单元用于其中,在进行所述无监督模型训练、有监督模型训练过程中,获得模型中间结果,并将所述模型中间结果加入训练特征进行模型训练。
进一步的,所述系统包括:
第二十二获得单元,所述第二十二获得单元用于按照所述预设规则读取数据,获得数据信息,所述预设规则包括去除收尾空格、分离标签与句子内容、添加特殊符号、分隔符标记;
第九执行单元,所述第九执行单元用于将所述数据信息转换为数字信息;
第十执行单元,所述第十执行单元用于设定固定长度信息;
第二判断单元,所述第二判断单元用于判断所述数字信息的长度是否满足固定长度信息;
第十一执行单元,所述第十一执行单元用于当长度不足所述固定长度信息时,按照所述固定长度信息进行长度补齐;
第十二执行单元,所述第十二执行单元用于当长度超出所述固定长度信息时,按照所述固定长度信息进行长度进行截断。
进一步的,所述系统包括:
第二十三获得单元,所述第二十三获得单元用于根据所述资料存储地址信息,获取所述匹配培训资料;
第三判断单元,所述第三判断单元用于判断所述匹配培训资料是否为视频格式;
第二十四获得单元,所述第二十四获得单元用于当所述匹配培训资料为所述视频格式时,获得预设播放器,并通过所述预设播放器进行在线播放;
第二十五获得单元,所述第二十五获得单元用于当所述匹配培训资料不是所述视频格式时,获得预设转换器,并通过所述预设转换器对所述匹配培训资料进行格式转换后进行在线浏览。
示例性电子设备
下面参考图7来描述本申请实施例的电子设备。
基于与前述实施例中一种培训装置实现方法相同的发明构思,本申请实施例还提供了一种培训装置实现系统,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使得系统以执行第一方面任一项所述的方法。
该电子设备300包括:处理器302、通信接口303、存储器301。可选的,电子设备300还可以包括总线架构304。其中,通信接口303、处理器302以及存储器301可以通过总线架构304相互连接;总线架构304可以是外设部件互连标(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry Standardarchitecture,简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器302可以是一个CPU,微处理器,ASIC,或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口303,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless localareanetworks,WLAN),有线接入网等。
存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable Programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器301用于存储执行本申请方案的计算机执行指令,并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令,从而实现本申请上述实施例提供的一种培训装置实现方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
本申请实施例提供了一种培训装置实现方法,其中,所述方法包括:采集员工培训信息,通过新增模块进行加工处理后,保存至培训资料数据库中,并且返回存储地址信息;进一步采集用户录入信息,通过链接模块和用户录入信息获得匹配链接路径,通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料;并根据所述匹配培训资料确定资料存储地址信息,根据所述资料存储地址信息,获取匹配培训资料;员工使用在线浏览模块对所述匹配培训资料进行在线浏览。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也不表示先后顺序。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个、种),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于终端中。可选地,处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。

Claims (10)

1.一种培训装置实现方法,其特征在于,所述方法应用于业务管理系统,所述业务管理系统与所述培训装置嵌入式连接,所述培训装置包括新增模块、链接模块、模型检索模块、在线浏览模块,所述方法包括:
获得员工培训信息;
通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息;
获得用户录入信息;
基于所述用户录入信息通过链接模块,获得匹配链接路径;
通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料,并根据所述匹配培训资料确定资料存储地址信息;
根据所述资料存储地址信息,通过在线浏览模块对所述匹配培训资料进行在线浏览。
2.如权利要求1所述的方法,其特征在于,所述通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息,包括:
根据所述员工培训信息,获得功能名称、功能路径、描述信息;
获得员工培训信息格式;
根据所述员工培训信息格式匹配加工处理逻辑;
根据匹配的加工处理逻辑对所述员工培训信息进行加工处理后,保存至所述培训资料数据库中,获得所述存储地址信息;
将所述存储地址信息进行返回,并将所述功能名称、功能路径、描述信息、存储地址信息保存至本地。
3.如权利要求1所述的方法,其特征在于,所述基于所述用户录入信息通过链接模块,获得匹配链接路径,包括:
基于所述用户录入信息判断是否进入培训指导检索页面;
当进入所述培训指导检索页面时,获得检索关键词;
基于所述检索关键词,获得匹配链接路径,所述匹配链接路径为通过检索关键词进入所述模型检索模块进行检索。
4.如权利要求3所述的方法,其特征在于,所述基于所述用户录入信息判断是否进入培训指导检索页面之后,所述方法还包括:
当不进入所述培训指导检索页面时,进入业务操作页面;
基于所述业务操作页面,获得指导操作链接;
根据所述指导操作链接,获得菜单名称;
基于所述菜单名称,跳转进入所述培训指导检索页面,其中,所述检索关键词为所述菜单名称,并基于所述菜单名称,获得匹配链接路径。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
获得数据集;
对所述数据集按照预设规则进行数据读取,并对读取的数据进行转换,获得输入特征值集合;
基于所述输入特征值集合,确定训练特征值,并利用所述训练特征值进行模型训练,其中,所述模型为BERT模型;
使用交叉熵损失函数对所述BERT模型的输出结果进行损失函数值计算,直到损失函数值满足训练要求为止,获得BERT训练模型;
对训练好的所述BERT训练模型通过Adam算法进行模型调整,确定优化模型,基于所述优化模型获得检索模型;
将所述用户录入信息输入所述检索模型中,获得所述检索模型的输出结果,所述输出结果包括匹配培训资料。
6.如权利要求5所述的方法,其特征在于,所述方法还包括:
获得训练数据集;
对所述训练数据集进行联合调节,获得联合调节特征值,所述联合调节为调节左右上下文;
基于所述训练数据集、所述联合调节特征值,获得第一训练集、第二训练集,其中,所述第一训练集为无标记数据,第二训练集为有标记数据;
利用所述第一训练集进行无监督模型训练,获得第一语言模型;
基于所述第一语言模型添加神经网络层,并利用所述第二训练集对添加神经网络层的所述第一语言模型进行有监督模型训练,获得所述BERT模型;
其中,在进行所述无监督模型训练、有监督模型训练过程中,获得模型中间结果,并将所述模型中间结果加入训练特征进行模型训练。
7.如权利要求5所述的方法,其特征在于,所述对所述数据集按照预设规则进行数据读取,并对读取的数据进行转换,包括:
按照所述预设规则读取数据,获得数据信息,所述预设规则包括去除收尾空格、分离标签与句子内容、添加特殊符号、分隔符标记;
将所述数据信息转换为数字信息;
设定固定长度信息;
判断所述数字信息的长度是否满足固定长度信息;
当长度不足所述固定长度信息时,按照所述固定长度信息进行长度补齐;
当长度超出所述固定长度信息时,按照所述固定长度信息进行长度进行截断。
8.如权利要求1所述的方法,其特征在于,所述根据所述资料存储地址信息,通过在线浏览模块对所述匹配培训资料进行在线浏览,包括:
根据所述资料存储地址信息,获取所述匹配培训资料;
判断所述匹配培训资料是否为视频格式;
当所述匹配培训资料为所述视频格式时,获得预设播放器,并通过所述预设播放器进行在线播放;
当所述匹配培训资料不是所述视频格式时,获得预设转换器,并通过所述预设转换器对所述匹配培训资料进行格式转换后进行在线浏览。
9.一种培训装置实现系统,其特征在于,所述系统包括:
第一获得单元,所述第一获得单元用于获得员工培训信息;
第一执行单元,所述第一执行单元用于通过新增模块对所述员工培训信息进行加工处理后,保存至培训资料数据库中,并返回存储地址信息;
第二获得单元,所述第二获得单元用于获得用户录入信息;
第三获得单元,所述第三获得单元用于基于所述用户录入信息通过链接模块,获得匹配链接路径;
第四获得单元,所述第四获得单元用于通过所述匹配链接路径进入模型检索模块进行检索,获得匹配培训资料,并根据所述匹配培训资料确定资料存储地址信息;
第二执行单元,所述第二执行单元用于根据所述资料存储地址信息,通过在线浏览模块对所述匹配培训资料进行在线浏览。
10.一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算程序和/或指令被处理器执行时实现权利要求1~8中任一项所述方法的步骤。
CN202210213717.9A 2022-03-04 2022-03-04 一种培训装置实现方法及系统 Pending CN114595309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210213717.9A CN114595309A (zh) 2022-03-04 2022-03-04 一种培训装置实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210213717.9A CN114595309A (zh) 2022-03-04 2022-03-04 一种培训装置实现方法及系统

Publications (1)

Publication Number Publication Date
CN114595309A true CN114595309A (zh) 2022-06-07

Family

ID=81815915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210213717.9A Pending CN114595309A (zh) 2022-03-04 2022-03-04 一种培训装置实现方法及系统

Country Status (1)

Country Link
CN (1) CN114595309A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357691A (zh) * 2022-10-21 2022-11-18 成都数之联科技股份有限公司 一种语义检索方法及系统、设备和计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357691A (zh) * 2022-10-21 2022-11-18 成都数之联科技股份有限公司 一种语义检索方法及系统、设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11403680B2 (en) Method, apparatus for evaluating review, device and storage medium
WO2021203581A1 (zh) 基于精标注文本的关键信息抽取方法、装置及存储介质
CN107491534B (zh) 信息处理方法和装置
CN109408622B (zh) 语句处理方法及其装置、设备和存储介质
US8630972B2 (en) Providing context for web articles
CN111651996B (zh) 摘要生成方法、装置、电子设备及存储介质
CN107256267A (zh) 查询方法和装置
CN104850574B (zh) 一种面向文本信息的敏感词过滤方法
US20080104037A1 (en) Automated scheme for identifying user intent in real-time
US20200134019A1 (en) Method and system for decoding user intent from natural language queries
CN111160007B (zh) 基于bert语言模型的搜索方法、装置、计算机设备及存储介质
US11379527B2 (en) Sibling search queries
US10915756B2 (en) Method and apparatus for determining (raw) video materials for news
US20220121668A1 (en) Method for recommending document, electronic device and storage medium
CN111782793A (zh) 智能客服处理方法和系统及设备
CN112380866A (zh) 一种文本话题标签生成方法、终端设备及存储介质
CN112579729A (zh) 文档质量评价模型的训练方法、装置、电子设备和介质
CN112052424A (zh) 一种内容审核方法及装置
CN114357204B (zh) 媒体信息的处理方法及相关设备
CN110020024B (zh) 一种科技文献中链接资源的分类方法、系统、设备
CN111199151A (zh) 数据处理方法、及数据处理装置
CN114595309A (zh) 一种培训装置实现方法及系统
CN116644183B (zh) 文本分类方法、装置及存储介质
CN111126073B (zh) 语义检索方法和装置
US8666987B2 (en) Apparatus and method for processing documents to extract expressions and descriptions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination