CN110364049A - 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法 - Google Patents

一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法 Download PDF

Info

Publication number
CN110364049A
CN110364049A CN201910645271.5A CN201910645271A CN110364049A CN 110364049 A CN110364049 A CN 110364049A CN 201910645271 A CN201910645271 A CN 201910645271A CN 110364049 A CN110364049 A CN 110364049A
Authority
CN
China
Prior art keywords
training
data
subject
teaching
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910645271.5A
Other languages
English (en)
Other versions
CN110364049B (zh
Inventor
毛雨霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910645271.5A priority Critical patent/CN110364049B/zh
Publication of CN110364049A publication Critical patent/CN110364049A/zh
Application granted granted Critical
Publication of CN110364049B publication Critical patent/CN110364049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法。该系统包括智能化实训教材、技能训练专用设施、现场信息采集设备、系统服务器、辅助教学终端。该方法以智能化实训教材为导航,通过扫描或触摸教材中不同的ID标识,获得相关科目训练的资源或确定一个训练科目的操作跟踪流程;该方法将技能训练过程细分为可识别的跟踪数据采集点,通过对学习者和示范者的细分操作数据的相似度比较,产生偏离度反馈信息;实现以ID标识为纽带的“科目训练开始—训练过程数据采集—样板数据相似度比较—训练过程跟踪评估—偏离度纠偏建议推送—ID关联学习观摩素材获取—科目训练再开始”的数据闭环纠偏控制过程。

Description

一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训 辅助教学系统及辅助教学方法
技术领域
本发明属于职业教育技术领域,涉及一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法。
背景技术
传统的技能训练操作,是一种“师傅带徒弟”型的“手把手”的模式。在教学实践中,一位专业教师需要辅导一个班级的学生。由于不同的教师自身对科目训练技能的掌握参差不齐,对专业技能操作标准的理解掌握有差异性,在实现专业化的均衡教育过程中具有较大的难度。
多年以来的专业教学设计中,将专业教学计划内容分为专业基础课教学和专业技能实训教学两部分,前者以知识点传授为主、后者以技能习惯养成为目标。现有的技能训练模式和现有的计算机辅助教学手段,不能进行自动跟踪评估并自动纠偏,完全依靠教师自行完成,不能完全实现专业实训教学过程中的规范化、标准化、精准化和教学资源均衡。
发明内容
本发明的目的在于,克服专业教学中的不足,提供一种具有偏离度自动反馈数据闭环纠偏控制的专业技能训练辅助教学系统,和一种具有偏离度自动反馈数据闭环纠偏控制的专业技能训练辅助教学方法;解决职业教育中的技能实训教学的专业性、规范性、均衡性和可操作性的难题,实现生均共享的技能训练“自动跟踪纠偏”辅导和面向技能大赛成果的拓展应用。
本发明的目的是通过如下技术方案实现的:
一种具有偏离度自动反馈数据闭环纠偏控制的专业技能训练辅助教学系统,该系统包括智能化实训教材、技能训练专用设施、现场信息采集设备、系统服务器、辅助教学终端;系统服务器包括现场数据服务器、云端服务器;辅助教学终端包括现场智能教学终端、智能学习终端;
技能训练专用设施设置于实训教学现场,用于实训操作;现场信息采集设备设置于技能训练专用设施上或附近,用于采集现场实训操作数据信息(包括围绕技能训练专用设施进行操作训练时的操作信息和思维判断信息);
现场数据服务器附带前置采集终端,与现场信息采集设备连接,装有与现场信息采集设备配套的专业数据采集卡和配套的数据采集、转换软件;实训操作的图像、音频和开关信号通过专业数据采集卡和配套的专业数据采集软件进行采集;现场数据服务器用于与现场信息采集设备之间的交互响应,以及对现场采集的数据的预处理和转换;
智能化实训教材按照针对训练科目的科目训练路线导航图设计,是一个或多个技能实训科目的集合;它将每一个技能实训科目内容作为一个独立的章节,每一个章节,具有相同的架构设计;架构中包含了以下几个部分的内容:1)、专业知识点、技能点基础学习准备;2)、技能实训科目专业环境使用方法学习准备;3)、技能实训科目训练要求与评价标准;4)、技能实训科目训练步骤学习与示范;5)、技能实训科目训练跟踪评估反馈建议;各部分的内容均按照树状索引结构编排,每一条索引设置有一个隐形的唯一性的ID标识(即隐形链接地址);各ID标识均与预存在云端服务器中的相关实训教学资源信息相对应;
云端服务器设置于实训教学现场或者通过租赁的形式设置于运营商机房内;云端服务器中预存有实训教学资源信息,这些实训教学资源信息具有与智能化实训教材相对应的资源架构和ID标识链接地址;云端服务器,通过智能化实训教材中的ID标识向用户提供服务响应、对科目训练现场采集、上传的数据进行深度识别处理、比较和跟踪评估、并且根据评估结果进行偏离度信息反馈,提供针对性的补充学习建议;
智能学习终端上安装有供学习者使用的应用软件,即智能学习终端APP;现场智能教学终端上,安装有供专业教师使用的应用软件,即现场智能教学终端APP;智能学习终端APP通过wifi无线网络或者Internet与现场数据服务器、云端服务器连接;现场智能教学终端通过网线与现场数据服务器连接,并且通过Internet与云端服务器连接;
智能学习终端APP或智能教学终端APP,通过扫描或触摸屏幕中的智能化实训教材中不同的ID标识,向系统服务器发出数据请求,可以获得预先上传到云端服务器中的与专业教学设计中相关的实训教学资源信息,对训练科目各部分的具体内容进行学习,或者指定一个训练科目操作的跟踪流程;在系统服务器完成对学习者的训练操作过程的数据采集、处理、比较和跟踪评估之后,所述终端APP可以接收到从云端服务器发出的偏离度反馈信息、评估结果和纠偏学习建议,通过选择建议中的ID标识,即可获得针对性的学习资源推送服务;
该辅助教学系统以智能化实训教材中设计的科目训练路线导航图为导航;自动学习示范者的技能操作过程,生成比较评估样板数据库;自动跟踪学习者的技能训练操作过程,与样板数据库中的数据进行比较;在系统服务器完成对现场采集数据的识别、处理、比较和跟踪评估后,产生偏离度评估结果反馈信息和纠偏补充学习建议;学习者通过ID标识关联后,获取学习观摩素材,选择适用的内容进行补充学习;之后,科目训练再次开始;由此实现“科目训练开始—训练过程数据采集—样板数据相似度比较—训练过程跟踪评估—偏离度纠偏建议推送—ID标识关联学习观摩素材获取—科目训练再开始”的循环;构成技能科目训练中依据对现场操作数据采集的跟踪评估,实现以ID标识为纽带的数据闭环纠偏控制。
进一步地,智能化实训教材的每一个章节即为一个技能训练科目,其架构至少包括“实训科目介绍”、“实训环境介绍”、“专业基础知识”和“虚拟仿真实训环境”四个部分;“实训科目介绍”部分分成“实训科目内容介绍”、“实训科目考核说明”、“实训操作步骤介绍”三个总目,每个总目分成若干分目,分目下面又分成若干支目;“实训环境介绍”部分分成“技能训练环境介绍”、“技能实训流程介绍”、“训练过程跟踪评估”、“技能训练管理手册”四个总目,每个总目下面分成若干分目,分目下面又分成若干支目;“专业基础知识”部分分成“专业基础知识介绍”、“专业课程资源素材”两个总目,每个总目又若干分目,每个分目又分成若干支目;“虚拟仿真实训环境”部分包含“虚拟仿真实训平台”一个总目,总目下面分成若干分目,分目下面又分成若干支目;每个总目、分目、支目、条目都含有一个索引框,每一个索引框都对应一个ID标识,各个ID标识与系统服务器内的专业教学资源的存储地址相关联;辅助教学系统从专业技能教学流程和专业技能实训流程两个维度,将专业知识学习和训练跟踪反馈信息,通过智能化实训教材中的ID标识,与系统服务器之间建立起一个闭环的数据关联;构成一个围绕训练数据为中心的采集、识别、比较、评估、反馈、循环的相似度比较闭环纠偏控制系统,达到技能训练操作逐步向示范样板操作靠近的目的。
本发明中,一种利用上述专业技能实训辅助教学系统进行的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学方法如下:
该专业技能实训辅助教学方法,以智能化实训教材为导航,将智能化实训教材设计成专业训练科目的路线导航图,其中各部分内容按树状索引结构编排,每一个索引对应一个ID标识;学习者利用智能学习终端上的APP,通过扫描智能化实训教材中不同的ID标识,从云端服务器中获取预先上传的相关训练科目学习资源,进行针对性学习;专业教师利用智能教学终端上的APP,通过扫描或屏幕触摸智能化实训教材中不同的ID标识,从系统服务器中获取预先上传的相关训练科目教学资源,或指定一个训练科目操作的自动跟踪流程;
示范者在技能训练专用设施上进行示范操作时,通过现场信息采集设备和系统服务器,完成对示范者的示范操作数据采集与跟踪,生成评估样板数据库;亦即,根据训练科目的教学设计要求,采用与学习者的训练操作过程相同的细分和评价方法,采集示范者的操作示范过程数据即样板数据,经过处理之后存入到云端服务器的数据库中,成为学习者专业科目训练中的相似度比较样板;
学习者在技能训练专用设施上进行训练操作时,通过现场信息采集设备对学习者的操作过程进行自动跟踪和数据采集,系统服务器对采集到的训练数据进行细分、识别、处理之后,与评估样板数据库中的样板数据进行相似度比较;相似度比较结果经过积分处理,产生偏离度评价结果、科目训练过程评估反馈信息和补充学习纠偏建议;学习者通过ID标识关联获取信息之后,可以选择对自己最适用的内容进行补充学习纠偏;之后,重复科目训练过程;由此构成科目训练中对现场操作数据采集的循环跟踪评估,实现以ID标识为纽带的数据闭环纠偏控制。
进一步,针对服务型技能项目,将一个技能训练科目,按照训练大纲的要求,在操作者操作时的移动轨迹上,设置了多个需要重点掌握的操作技能点,包括多个关键技能点和多个一般技能点;在物理位置上,将关键技能点和一般技能点对应的操作区域,确定为“关键技能点区域”和“一般技能点区域”,区域的形状大小根据技能点属性在教学设计中确定;关键技能点属性的关注点设置为6-10个,一般技能点属性的关注点设置为2-5个;将各个技能点属性细分成为系统服务器可以进行特征识别跟踪的多个属性关注点(即多个维度的关注点),即:每个关键技能点区域包括多个属性关注点,每个一般技能点区域包括多个属性关注点;设置现场信息采集设备,采集各技能点区域内的各个属性关注点的现场数据(包括移动轨迹、体态、体感、骨骼、语音、图像、表情、交互、检测图像、面部矢量、肢体动作和专业设施变位数据信息);
将现场操作数据的采集分成两种类型:“科目训练示范数据”,是在示范者示范操作时所采集的现场数据,简称为样板数据;“学习者训练数据”,是学习者在科目训练中所采集的现场数据,简称为训练数据也即被评估数据;两种类型的数据在采集和跟踪处理时的细分规则和采集方法保持一致;
科目训练中,围绕技能训练专用设施,通过现场信息采集设备,采集操作者操作时在各技能点区域内的各个属性关注点的现场操作数据信息,包括移动轨迹、体态、体感、红外、肢体动作、话术、检测结果、操作细节和矢量值。
进一步地,将在各技能点区域内采集到的各个属性关注点的现场数据(包括“学习者训练数据”和“科目训练示范数据”),在现场数据服务器中进行预处理之后上传到云端服务器内;经云端服务器内的人工智能识别模块进行识别后,由云端服务器内的相似度比较模块将各个属性关注点上采集到的“学习者训练数据”与“科目训练示范数据”分别进行相似度比较;进行相似度比较的方法包括:针对各技能点区域内采集数据采用的一次特征改进雷达图评价方法,以及针对科目训练全流程中各个技能点评价结果采用的二次特征改进雷达图评价方法;然后,由云端服务器内的偏离度评价模块进行偏离度评价,即采用相对误差计算公式分别完成针对以技能点为依据和以科目训练全流程为依据的评价结果与样板数据之间的偏离度的计算,获得各技能点偏离度评价结果和科目训练全流程偏离度评价结果;最后,根据各技能点偏离度评价结果,产生偏离度自动反馈数据和补充学习纠偏建议,反馈到智能学习终端和智能教学终端;根据科目训练全流程偏离度评价结果,产生对学习者的本科目训练全流程的综合评价成绩,反馈到智能学习终端和智能教学终端。
进一步地,进行相似度比较和偏离度评价的具体方法是:将“学习者训练数据”与“科目训练示范数据”,按照现场全景摄像机提供的时间轴标记点进行特征比较;比较之后根据教学设计中确定的阈值产生比较结果,通过一次权重修正系数进行修正后,利用一次特征改进雷达图评价方法进行评价,即利用公式1或者公式2进行计算;将评价结果采用相对误差计算公式即公式4进行偏离度计算,产生学习者在各个技能点区域训练操作时与“科目训练示范数据”之间的偏离度评价结果,据此产生偏离度自动反馈数据和补充学习纠偏建议,反馈到智能学习终端和智能教学终端;将各个技能点区域内采集数据的一次特征改进雷达图评价结果,通过二次权重修正系数进行修正,利用二次特征改进雷达图评价方法进行评价,即利用公式3进行计算;将评价结果采用相对误差计算公式即公式5进行偏离度计算,产生学习者的本科目训练全流程的综合评价成绩,反馈到智能学习终端和智能教学终端;偏离度自动反馈数据和补充学习纠偏建议的产生,主要是针对关键技能点区域的操作内容;公式3也可通过编程中的积分来计算;
在相似度比较计算中,需要根据专业教学要求分别设置阈值,形成量化的比较结果;相似度比较计算中的相关阈值和权重系数在专业教学设计中确定,并且在训练科目开始之前通过智能教学终端APP中的科目训练资源导入模块录入到系统之内。
进一步地,本发明的方法中,通过“科目训练开始—训练过程数据采集—样板数据相似度比较—训练过程跟踪评估—偏离度纠偏建议推送—ID标识关联学习观摩素材获取—科目训练再开始”的循环,构成技能科目训练中依据对现场操作数据的跟踪采集和跟踪评估,实现以ID标识为纽带的数据闭环纠偏控制的过程如下:
专业教师在训练科目的教学设计中,完成了关于科目训练过程中的细分规则设计、评价参数设计、专业资源素材准备、教学课件准备之后,通过智能教学终端上传到云端服务器中;然后通过智能教学终端,启动示范者操作的“科目训练示范数据”采集流程;现场信息采集设备采集的数据经过现场数据服务器预处理、压缩和标定后进入云端服务器,经过“运动轨迹信息提取”、“技能点属性关注点信息提取”以及识别处理之后,判别为“科目训练示范数据”存入“样板曲线模板数据库”即样板数据库;
通过现场智能教学终端APP中的ID扫描识别通信模块扫描或屏幕触摸智能化实训教材中对应章节的“训练过程跟踪评估”的ID标识,向系统服务器发出确定训练科目的指令;随后,启动学习者的现场科目训练操作;现场信息采集设备对现场的科目训练操作数据进行跟踪采集;现场数据服务器中的“现场数据信息预处理模块”对采集到的现场实时数据进行预处理,数据信息压缩传输模块将预处理之后的数据信号,经过压缩和标定后形成带有采集标志的数据包,上传到云端服务器中;云端服务器内的人工智能识别模块对上传的数据进行“运动轨迹信息提取”、“技能点属性关注点信息提取”以及识别处理之后,将跟踪采集到的数据判别为“学习者训练数据”,自动保存到训练数据库中;
之后,对应的“科目训练示范数据”和“学习者训练数据”在“相似度比较模块”中,按照预定的“细分规则设计、评价参数设计”进行相似度比较;即对各技能点区域内采集的数据按“一次特征改进雷达图”评价方法利用公式1或公式2进行评价;对科目训练全流程中各个技能点的评价结果按“二次特征改进雷达图”评价方法利用公式3进行评价;然后进入偏离度评价模块,按所述的偏离度评价方法,利用公式4计算关键技能点操作的偏离度,利用公式5计算并产生科目全流程训练偏离度情况的综合评价成绩;
云端服务器的自动反馈与纠偏建议形成及输出模块,根据“一次特征改进雷达图”评价和偏离度评价结果,对各个技能点偏离度超过阈值的部分,向学习者推送“偏离度反馈信息”和“补充学习建议”信息,信息的表达方式是与智能化实训教材中设置的ID标识一致的;云端服务器的自动反馈与纠偏建议形成及输出模块,根据“二次特征改进雷达图”评价和偏离度评价结果,向学习者推送针对科目训练全流程“偏离度反馈信息”和“补充学习建议”信息,信息的形式也是与智能化实训教材中设置的ID标识一致的;
通过对“补充学习建议”中的ID标识,学习者可以知道自己的当前训练情况和需要补充的纠偏学习内容;在“补充学习建议”中的ID标识中,学习者可以选择最适用的ID标识,从系统服务器获取学习资源;经过关于知识点和技能点的观摩、学习之后,学习者重新开始科目训练流程,进行第二次循环,直至针对科目训练全流程的“偏离度反馈信息”满足科目训练教学设计的要求;循环次数的控制、最终训练成绩的判定,由专业教师按照教学设计中的规定执行;以上对科目训练操作数据的闭环纠偏控制过程,通过反馈以ID标识为纽带的补充学习建议,引导学习者逐次向训练要求靠近。
本发明的有益效果:
本发明提出了一种新型的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及专业技能辅助教学方法;该辅助教学系统及辅助教学方法,以智能化实训教材为导航,将智能化实训教材设计成技能训练中的路线导航图,通过扫描或触摸教材中不同的ID标识,可以获得相关科目训练的资源或指定一个训练科目的操作跟踪流程;并且,将技能训练过程细分为可识别的跟踪数据采集点(即属性关注点),通过对学习者和示范者的“两种类型”的细分操作数据的相似度比较和偏离度计算,产生偏离度反馈信息、跟踪评估成绩和补充学习纠偏建议;通过“科目训练开始—训练过程数据采集—样板数据相似度比较—训练过程跟踪评估—偏离度纠偏建议推送—ID标识关联学习观摩素材获取—科目训练再开始”,构成科目训练中依据对操作数据的采集跟踪,实现以ID标识为纽带的数据闭环纠偏控制过程。
该辅助教学系统及辅助教学方法,将实训科目、实训环境、专业资源、现场评估和训练指导链接到一起,构成一个具有咨询、辅导、评估、反馈功能的智能化训练系统,自动进行跟踪评估和自动产生纠偏信息;可实现专业实训教学过程中的规范化、标准化、精准化和技能训练科目操作中的教学均衡,实现了职业技能实训教学模式的创新。该辅助教学系统及辅助教学方法适用但不局限于汽车营销专业,汽车机械拆装和电气维修,以及其他类似的服务型技能学习和专业技能训练场合;也适用于服务型技能大赛成果的普及、推广实践。
附图说明
图1是本发明的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统的结构图;
图2是本发明中的智能化实训教材的总体架构框图;
图3是本发明中的智能学习终端APP的索引框图;
图4是本发明中的智能教学终端APP的索引框图;
图5是本发明的专业技能实训辅助教学系统各部分之间的交互关系图;
图6是本发明中的智能实训方法的流程框图;
图7是本发明中的智能化实训教材中的实训科目介绍部分的架构框图;
图8是本发明中的智能化实训教材中的实训环境介绍部分的架构框图;
图9是本发明中的智能化实训教材中的专业技能知识基础部分的架构框图;
图10是本发明中的智能化实训教材中的虚拟仿真环境部分的架构框图;
图11是智能化实训教材中实训科目介绍部分的关键技能点属性构成和操作要求的架构框图;
图12是本发明实施例2中的汽车销售六方位绕车介绍法示意图;
图13是本发明实施例2中的第一关键技能点区域的属性关注点数据的一次特征改进雷达图;
图14是本发明中的实施例2中的科目训练全流程二次特征改进雷达图。
图12中:C为技能实训专用设备汽车,P为全景摄像机;t1为第一关键技能点,t2为第一一般技能点,t2为第二关键技能点,s2为第二一般技能点,t3为第三关键技能点,s3为第三一般技能点,t4为第四关键技能点,s4为第四一般技能点,t5为第一关键技能点,s5第五一般技能点,t6第六关键技能点。
具体实施方式
以下结合附图和实施例对本发明作进一步的说明。
实施例1
如图1所示,本发明一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,该系统包括智能化实训教材、技能训练专用设施、现场信息采集设备、系统服务器、辅助教学终端;系统服务器包括现场数据服务器、云端服务器;辅助教学终端包括现场智能教学终端、智能学习终端;现场智能教学终端包括大屏幕触摸屏电脑一体机、教学电脑、笔记本电脑、IPAD等;智能学习终端包括手机、IPAD、笔记本电脑、个人电脑;该系统还包括智慧教室信息化辅助设备(投影仪系统、音响、录播系统)、智能学习终端APP、智能教学终端APP、wifi无线网络设备;智慧教室信息化辅助设备与现场智能教学终端连接;云端服务器发送到智能化教学终端的数据信息,可以转发到现场智慧教室辅助信息化设备包括大屏幕触摸一体机之上;
技能训练专用设施设置于实训教学现场(实训室,wifi覆盖),用于实训操作;现场信息采集设备设置于技能训练专用设施上或附近,用于采集现场实训操作数据信息;现场信息采集设备与现场数据服务器连接;现场数据服务器用于与现场信息采集设备之间的交互响应,以及对现场采集的数据的预处理和转换(相当于一个前端数据转换平台);现场数据服务器附带前置采集终端(包括工控计算机、个人电脑),与现场信息采集设备连接,装有与现场信息采集设备配套的专业数据采集卡和配套的数据采集、转换软件;实训操作的图像、音频和开关信号通过专业数据采集卡和配套的专业数据采集软件进行采集;
智能学习终端APP是通过下载安装在学习者个人的智能学习终端上的应用软件,通过wifi无线网络与现场数据服务器、云端服务器连接;智能教学终端APP是安装在现场智能教学终端上的应用软件;现场智能教学终端通过网线与现场数据服务器连接;现场数据服务器通过wifi无线网络与云端服务器连接;
智能化实训教材是一个或多个技能训练科目的集合,它将每一个技能训练科目内容作为一个独立的章节;每一个章节,按照相同的架构设计,成为针对技能训练科目的学习路线导航图;每个章节都按照树状索引结构编排,每一条索引对应一个不同的ID标识(即隐形链接地址);
现场数据服务器安装在实训场地附近,设计中包含了一个前置采集终端,用来汇集与转发采集到的数据;还包含了对现场摄像机、传感器等设备的供电和信号交互,以及专业教学资源的中间缓存;
云端服务器中预存有实训教学资源信息和科目训练内容,这些资源信息具有与智能化实训教材相对应的架构;云端服务器中存放的训练科目信息和教学资源信息,均与智能化实训教材中的每一条索引的ID标识相关联;云端服务器除了与智能化实训教材ID标识进行交互响应,还对现场采集的数据进行深度识别处理、比较和跟踪评估,向智能学习终端和智能教学终端反馈科目训练评估结果、偏离度信息和补充学习纠偏建议。
如图5所示,智能学习终端APP或智能教学终端APP,通过扫描或屏幕触摸智能化实训教材中不同的ID标识,向系统服务器发出数据请求,可获得预先上传到云端服务器中的科目训练相关学习资源信息,或指定一个技能训练操作跟踪流程;接收从云端服务器传送过来的科目训练评估结果、偏离度反馈信息和补充学习纠偏建议;还包括咨询纠偏指导信息和优化训练的示范、补充资源素材。
以下对系统各部分做详细说明:
1、智能化实训教材
智能化实训教材按照国家专业教学大纲的要求,选择、编排的技能实训科目内容;智能化实训教材是一个或多个技能实训科目的集合,它将每一个技能训练科目作为一个独立的章节,按照相同的设计架构,针对训练科目流程的实施路线图进行设计;并且,智能化实训教材架构中包含的每一个技能训练科目的内容介绍(包括相关专业设备、内部构造、工作原理、训练流程、关键技能点、相关知识点、观摩素材等部分),均按照文、图、流程、操作要求的树状索引结构编排,每一条索引设置有唯一性的ID标识;各ID标识均与云端服务器中的相关实训教学资源信息存放地址相关联。
如图2所示,智能化实训教材每一个章节(每一个技能实训科目)的架构由“实训科目介绍”、“实训环境介绍”、“专业基础知识”和“虚拟仿真实训环境”四个部分组成;每个部分可以分成多个总目,每个总目又可分成若干分目,每个分目又可分成若干支目,每个支目又可分成若干条目;每个总目、分目、支目、条目有一个索引框,每一个索引框对应一个ID标识;如图7-图10所示,智能化实训教材每一个章节的“实训科目介绍”部分分成“实训科目内容介绍”、“实训科目考核说明”、“实训操作步骤介绍”三个索引框;“实训环境介绍”部分分成“技能训练环境介绍”、“技能实训流程介绍”、“训练过程跟踪评估”、“技能训练管理手册”四个索引框;“专业基础知识”部分分成“专业基础知识介绍”、“专业课程资源素材”两个索引框;“虚拟仿真实训环境”部分包含“虚拟仿真实训平台”一个索引框;以上每个索引框都带有一个ID标识。
智能化实训教材以供学习者使用的纸质印刷的教材和在智能教学终端和辅助设备上显示的电子文档两种形式存在,可以满足专业教师现场教学应用需求,和学生在其他区域位置的学习需求。智能学习终端和智能教学终端均可通过扫描或屏幕触摸智能化实训教材的ID标识从系统服务器获得相关的资源信息反馈。
智能化实训教材并不是传统意义上的一本教科书,而是一个“技能训练路线学习导航窗口”,它将实训科目、实训环境、专业资源、现场评估和训练指导链接到一起,构成一个具有咨询、辅导、评估、反馈功能的自动化训练导航系统。在技能训练过程中,它可以替代专业教师和教练,帮助学习者实现“咨询、观摩、评估、纠偏、辅导”的过程。在智能教学终端的屏幕上(包括大屏幕一体机)也可以通过触摸智能化实训教材的电子文档从系统服务器获得相关的资源信息反馈;在科目训练过程中,系统服务器通过智能化实训教材设计中规定的各个ID标识,向智能学习终端和智能教学终端推送偏离度评估信息和补充学习纠偏建议;学习者通过扫描各个ID标识获得对应的资源素材,由此构成以ID标识为中心的数据流转闭环纠偏控制过程,引导学习者逐步达到科目训练要求;借助ID标识的交互链接作用,将训练科目、实训环境、专业资源、现场评估和训练指导整合成为一个整体,构成一个具有咨询、辅导、评估、反馈功能的智能化辅助数据闭环辅助训练系统。
2、技能训练专用设施
技能训练专用设施是用来进行专业技能训练的真实的专用设施,这些设施在专业教学中用来帮助学习者练习、养成良好的拆装或维修技能习惯。另一种技能训练专用设施则是作为专业场景,帮助学习者练习、养成良好的服务型技能习惯。这些专用设施来源于真实应用中的常规设备或者子系统,在科目训练中,需要在上面增加一些传感器,用于检测到操作者的相关操作手势和动作;同时还包括技能训练中涉及的专用检测仪器和工具,在学习中也需要养成正确的操作和观察能力。
3、现场信息采集设备
现场信息采集设备包括全景摄像机、智能传感器矩阵、RGBD传感器矩阵、音频采集矩阵几个部分。除了全景摄像机之外,其它部分由2-N个(套)相同或者不同参数配置的设备构成。设备的数量和参数,根据技能训练区的面积大小和训练内容的不同来确定,达到覆盖技能训练区、获得操作者在科目训练流程中的完整的移动轨迹、体态、体感、红外、肢体动作、语言表达等信息,特别是针对关键技能点位置的清晰的记录信息。
全景摄像机是一台广角的固定摄像机,用于连续拍摄现场的整体平面图像,获得每幅图像中被跟踪操作者的2D像素坐标;通过配套的视频分析软件(例如选择kinect、QVA等现有的软件),2D像素坐标数据的变化所形成的平面移动轨迹和时间轴标识,产生全系统数据采集过程中的时间轴基准信息;全景摄像机固定安装在技能训练专用设施的上方(实训室顶端),其拍摄范围能够涵盖科目训练的活动区域;在技能训练专用设施的上方,还安装有一个与全景摄像机配套的高灵敏度的低噪音拾音器,用于获取训练区域中的音频信号。
智能传感器矩阵由多个不同性能参数的传感器部件构成,设置在操作流程中的预定的关键技能操作点区域附近或者专用设施上;传感器包括红外、触摸、光敏、体感、超声波、数据手套等不同类型,根据科目训练现场的具体操作类型进行配置,智能传感器还包括仪器检测结果识别和语音识别等功能。
RGBD传感器矩阵由2-N个RGB摄像机和深度摄像机构成,根据科目训练现场的需求进行配置,其特征是能够从不同的角度捕捉到操作者的动作信息和骨骼信息;RGB摄像机和深度摄像机的主要作用是采集到操作者的移动方向、矢量信息和体态动作的关键信息。RGBD传感器矩阵设置为可移动安装,能够覆盖相关的“技能点区域”,在10-15米范围内可以获得清晰的视频图像。
音频采集矩阵用于采集对现场音频信息或者语言表达内容有采集要求的训练流程之中;音频采集矩阵采用三种安装形式,实训室顶端固定安装、技能训练专用设施上安装、与RGBD传感器矩阵设备一致移动安装。
4、系统服务器
系统服务器包括现场数据服务器和云端服务器,均为市场销售的专业数据处理服务器,同时具备较大的数据存储能力。
现场数据服务器安装在实训场地附近,主要用于对现场采集的简单动作等数据的预处理、转换和专业技术资源的下载缓存服务;现场数据服务器系统的设计中包含对现场摄像机、传感器等设备的供电和信号转化部分,包含了一个前置采集终端,用来汇集与转发采集到的数据。
现场信息采集设备选择市场采购的专业设备,这些设备有的具有配套的数据采集处理软件和硬件,例如Kinect和数据手套;有的可以通过专业的数据采集卡和配套的软件完成采集工作;在现场数据服务器与现场信息采集设备之间,需要增加一个前置采集终端,用来汇集与转发采集到的数据,这个终端可以选择工控机,也可以使用个人电脑加扩展口的办法解决。
云端服务器重点用于与智能化实训教材ID标识之间的交互响应和对现场采集数据的深度识别处理、比较和跟踪评估,以及针对性的资源素材的自动推送服务。当学习者位于其它区域时,智能学习终端APP扫描智能化实训教材中的ID标识相关联信息的需求响应由云端服务器完成。
云端服务器可以本地化安装,也可以托管或租用的形式设置在电信机房之内。
4.1、现场数据服务器包括顺序连接的以下功能模块:
4.1.1、采集数据接口模块:用于完成与现场信息采集设备的数据输出的接口功能;分为三种:第一种采集数据接口模块,用于完成与现场信息采集设备的自带采集数据配套硬、软件的采集设备的数据输出的接口功能;第二种采集数据接口模块,用于完成与现场信息采集设备的专业数据采集卡配套的数据输出软件的接口功能;第三种采集数据接口模块,用于完成与现场信息采集设备的音视频信号采集卡配套的数据输出软件的接口功能。
4.1.2、现场数据信息预处理模块:用于根据统一的时间轴标志,完成该时间点之后的数据提取功能;这样的数据包括视频关键帧、采样图片、骨骼信号、音频信号、矢量信号、相对位置信号、模拟信号量、开关信号状态值;数据提取时通过平滑处理消除由于干扰的原因误读;
4.1.3、数据信息压缩传输模块:用于将预处理之后的数据信号,经过压缩和标定后形成带有采集标志的数据包;完成现场数据服务器与智能学习终端、智能教学终端、云端服务器之间的数据交换功能;其中,数据交换分为实时交换和静默推送二种形式;
实时交换的形式适用于:从用户终端发出的用户数据请求指令的转发响应;经预处理之后技能点属性关注点采集属性信息;其它需要立即响应并从云端服务器获得的反馈信息。
静默推送交换的形式适用于:科目训练中全景摄像机采集的完整的视频信号;科目训练中全景摄像机采集的完整的音频信号;通过智能教学终端选中的科目训练计划中设定的实训教学资源信息下载缓存服务。静默推送交换的形式是指系统服务器自动选择在系统和网络不繁忙的状态时实施的数据传送形式。
4.2、云端服务器包括依次连接的以下核心应用软件功能模块:
1)、人工智能识别模块:对现场数据服务器上传的过程采集信号进行识别,包括移动轨迹、体态、体感、骨骼、语音、图像、表情、交互、检测图像、面部矢量、肢体动作和专业设施变位数据信息;
2)、相似度比较模块:对现场数据服务器上传的训练过程采集的各技能点属性关注点数据进行识别,并且与对应的样板数据进行相似度比较;这种比较是在同一个时间轴标志下,针对预定的技能点区域内的信息评价结果进行的;进行相似度比较的方法包括:对各技能点区域内采集的数据按“一次特征改进雷达图”评价方法进行评价,即按公式1或者公式2进行计算;对科目训练全流程中各个技能点评价结果按“二次特征改进雷达图”评价方法进行结果性评价,即按公式3进行计算;
3)技能点偏离度评价模块:完成以技能点为依据的评价结果与样板数据的偏离度的计算,即采用相对误差计算公式4进行偏离度计算(进行偏离度评价),获得对各技能点操作的偏离度评价结果;通常是针对各关键技能点的偏离度评价,在科目训练需要时也可针对一般技能点的偏离度进行评价;
4)、科目训练全流程偏离度评价模块:完成以科目训练全流程为依据的评价结果与样板数据的偏离度的计算,即采用相对误差计算公式5进行偏离度计算(进行偏离度评价),获得对科目训练全流程操作的偏离度评价结果;
5)、自动反馈与纠偏建议形成及输出模块:根据技能点偏离度评价模块的输出结果,产生以各技能点操作的偏离度评价结果为依据的偏离度自动反馈信息及补充学习纠偏建议;根据科目训练全流程偏离度评价模块的输出结果,产生以科目训练全流程偏离度评价结果为依据的科目训练全流程综合评价成绩及反馈信息;该模块是构成科目训练中依据对操作数据的采集跟踪,实现以ID标识为纽带的数据闭环纠偏控制过程的主要流转数据生成模块。
4.3、云端服务器还包括依次连接的以下功能模块:
用户信息验证管理模块:实现用户注册、登录、信息采集和运行中的随机隐形用户信息验证功能;
ID扫描识别通信响应模块:完成对智能学习终端、智能教学终端发出的用户数据请求指令的确认和响应;完成对现场数据服务器发出的实时交换和静默推送数据交换形式的确认和响应;对发送到智能学习终端上的资源信息,进行数据包压缩和像素降低处理;
实训教学资源管理模块:用于对与智能化实训教材中设计的,学习路线图ID标识即隐形关联地址,相对应的资源信息的编辑和维护。
5、智能学习终端、现场智能教学终端、智能学习终端APP、智能教学终端APP
智能学习终端APP是可下载安装在学习者个人智能学习终端上的应用软件,可通过人脸识别或指纹识别注册生成“学员账户和学习档案”。智能教学终端APP是安装在现场智能教学终端上的应用软件。现场智能教学终端和智慧教室信息化辅助设备是实训教学资源信息的输出端口。
如图3所示,智能学习终端APP包括相互连接的智能用户注册管理模块、ID标识扫描识别通信模块;还包括分别与ID标识扫描识别通信模块连接的推荐资源交互学习模块、虚拟仿真简易练习模块、观摩资源点播学习模块、教学课程点播学习模块、学习过程信息记录模块、科目训练评估信息模块;此外还包括与以上各模块连接的用户信息隐性监督模块;
智能用户注册管理模块:通过人工智能手段采集用户信息,建立系统中的个人账户;与专业实训教学过程相关的历史记录数据将被保存在个人账户所对应的区域之中。
ID扫描识别通信模块:用于调用智能学习终端中的扫描框扫描纸质印刷的智能化实训教材中设定的ID标识,向云端服务器发出“用户数据请求”指令;待系统响应“用户数据请求”指令之后,接收对应的反馈信息(包括教学资源)。
推荐资源交互学习模块:向学习者推送针对性学习建议之后,记录用户的自我学习内容和响应程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程相关的历史记录数据。
虚拟仿真简易练习模块:科目训练流程的虚拟仿真练习,同时记录用户的自我学习过程和响应程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程相关的历史记录数据。
观摩资源点播学习模块:科目训练流程的观摩学习,同时记录用户的自我学习过程和关注程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程相关的历史记录数据。
教学课程点播学习模块:通过选择相关的ID标识,从云端服务器获取训练科目相关信息资源和辅助信息。记录用户在学习准备时或者课后的自我学习内容和推荐学习响应程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程相关的历史记录数据。
学习过程信息记录模块:记录用户在专业教学计划实施周期中,对知识点、技能点、观摩资源、实训内容、主动学习、学习积极性和效果信息;与用户信息隐性监督模块相配合,构成专业实训教学过程相关的历史记录数据。
科目训练评估信息模块:通过数据请求,从云端服务器获得科目训练历史评估记录、当前评估记录、训练成绩和补充学习建议;
用户信息隐性监督模块:对用户的自主学习过程进行记录,通过随机的隐形用户拍照和瞳孔识别,将获取的用户信息与注册信息进行比对,验证学习者的实时真实身份信息;经过身份确认的学习记录将构成“评估依据”的一个组成部分。
如图4所示,智能教学终端APP包括相互连接的智能用户注册管理模块、ID标识扫描识别通信模块;还包括分别与ID标识扫描识别通信模块连接的科目训练教学指导模块、虚拟仿真科目练习模块、观摩资源示范辅导模块、专业课件教学应用模块、示范样板信息录入模块、科目训练评估反馈模块;此外还包括与以上各模块连接的教学管理信息查询模块、科目训练资源导入模块;
智能用户注册管理模块:用于通过人工智能手段采集用户信息,建立系统中的个人账户;与专业实训教学过程相关的历史记录数据将被保存在个人账户所对应的区域之中。
ID标识扫描识别通信模块:用于调用现场智能教学终端中的扫描框,扫描纸质印刷的智能化实训教材中的ID标识,或者采用触摸的方式点击现场智能教学终端中的“智能化实训教材电子文档”中设定的ID标识,向云端服务器发出“用户数据请求”指令;待系统响应“用户数据请求”指令之后,接收对应的反馈信息,包括教学资源。
科目训练教学指导模块:用于根据每一个科目训练教学计划的设计,将与实训教学计划相关的跟踪评估规则和方法导入到系统中。该导入是登录教师特定权限账户后实现的。
虚拟仿真科目练习模块:用于选择不同科目的虚拟仿真练习内容,进行模拟现场训练环境和训练过程的虚拟训练操作。通过该模块可完整地模拟出现场的训练环境和训练过程。这种虚拟训练操作可以帮助学习者在实操之前,尽量的熟悉科目训练内容。通过该模块的操作可达到提高科目实操训练的效率,同时也可以解决提高学习者的有效实训操作效率的不足。
观摩资源示范辅导模块:用于向系统服务器传送相关示范资源的学习请求,从云端服务器或现场数据服务器获得实际的观摩示范资源。观摩示范内容包括示范者的真实的操作记录和虚拟增强现实教学素材。
专业课件教学应用模块:该模块是为专业教学服务的,用于获得教学计划实施中的相关课件、碎片化素材和其它课程资源。可以满足现场教学计划实施需求,也可以将教学过程中的相关附加信息(如板书内容)自动记录、推送到科目实训教学训练指导模块中。
示范样板信息录入模块:用于示范样板信息录入;通过专业示范者或者技能大赛优胜者进行现场示范操作,按照实训教学计划中设计的评价标准,进行相应的现场数据采集,经过处理之后录入存放到云端服务器中,成为示范操作样板(即科目训练示范数据)。其采用相同的数据采集方法和评价标准,经过数据处理之后,可形成规范化、专业化和归一化的评价过程。
科目训练评估反馈模块:该模块用于查阅学习者个人的训练的跟踪信息、评估信息、反馈信息和学习信息,包括统计信息和整体教学评估信息。
教学管理信息查询模块:用于检索、查询与科目训练相关的教学计划执行记录和学习者的学习过程、训练操作跟踪评估记录、历史信息和统计数据;该模块仅仅是发送相关的指令信息和接受反馈信息;运算过程、统计过程和历史数据均从云端服务器内数据库中提取。
科目训练资源导入模块:根据每一个科目训练计划的设计,将与实训教学计划相关的资源导入到系统中。系统的架构设计是固定的,但是科目训练的内容、学习资源、观摩、教学课件,包括知识点、技能点内容描述、虚拟仿真资源、训练设施和方法说明、安全要求等等,都是根据科目训练的教学设计来确定的。在每一个科目训练教学计划设计中,与实训教学计划相关的资源包括关键技能点数量、关键技能点属性的设置,都需要通过一个模板导入到系统中。该导入在登录教师特定权限账户后实现。
智能学习终端APP或现场智能教学终端APP通过调动终端中的扫描框扫描智能化实训教材中设定的ID标识,然后向云端服务器发出“用户数据请求”指令;智能学习终端APP或现场智能教学终端APP接收到云端服务器提供的反馈信息之后,通过激活APP中不同的功能模块(即图3智能学习终端APP、图4现场智能教学终端APP功能框图中各功能模块)后在屏幕上显示。
智能教学终端APP主要服务于现场教学,通过ID标识扫描识别通信模块调动扫描框扫描智能化实训教材中设定的ID标识,或者采用触摸的方式点击一体机中的“智能化实训教材电子文档”中设定的ID标识,然后,向现场数据服务器或者云端服务器发出“用户数据请求”指令。服务器响应服务后,反馈的相关信息可以满足现场教学需求。
如图4智能教学终端APP功能框图中所示,通过“科目训练资源导入”和“示范样板信息录入”的操作,在这两个模块中预先进行属性参数设置,确定“专业教学数据维护”的属性;然后,通过ID标识扫描识别通信模块向系统发送带有属性说明的指令。之后,系统服务器将对教学资源编辑或是对示范样板数据的进行采集的操作流程。如图6所示,系统将产生“科目训练示范数据”,经现场数据服务器上传到云端服务器,生成科目训练样板数据,存入样板数据库。
智能教学终端APP的功能设置除了智能学习终端APP中描述的之外,还增加了“科目训练资源导入”、“示范样板信息录入”功能模块,支持对新增教学计划内容的维护和管理。
6、技能训练科目设计内容
6.1、训练科目的教学准备
如图5所示,智能学习终端和智能教学终端可以通过扫描智能化实训教材中的ID标识,向系统服务器发出用户数据请求指令,内容包括专业教学课程资源、学习观摩资源、科目训练信息、偏离度反馈信息和补充学习建议历史信息;系统服务器的反馈信息,可以发送到智能学习终端也可以发送到智能教学终端以及信息化辅助设备和智能大屏幕一体机上。
专业教师利用智能教学终端APP,点击或触摸智能教学终端APP中的不同的ID标识,即可与系统服务器进行交互,获得相关的实训科目的教学资源和课件,并利用现场智能教学终端(一体化触摸屏等)或者智慧教室信息化辅助设施(投影仪等)实施现场教学和咨询辅导活动。
专业教师利用智能教学终端APP,通过调动终端中的扫描框扫描或屏幕触摸智能化实训教材导航图中预设的“训练过程跟踪评估”的ID标识,即可获得相关学习者的科目训练偏离度评估结果反馈信息和纠偏建议。
在新建一个智能化实训教材中的训练科目章节中的“训练过程跟踪评估”的ID标识时,首先需要在智能教学终端APP中,选择“科目训练资源导入模块”,添加这个训练科目;将与训练科目教学相关的科目训练内容、学习资源、观摩、教学课件,包括知识点、技能点内容描述、虚拟仿真资源、训练设施和方法说明、安全要求等等,逐一导入到系统服务器中;然后针对这个训练科目进行操作参数的设置,根据训练科目教学设计计划安排,专业教师在教学设计中需要确定训练流程中的关键技能点和一般技能点的细分规则和要求,以及相应的阈值、权重系数等操作参数;将这些需要设定的信息,通过智能教学终端中的“科目训练教学指导模块”,预先录入到云端服务器中。
6.2、训练过程中的数据采集与保存方法
6.2.1、通过智能教学终端APP,选择智能化实训教材中的某一个训练科目(章节),扫描图8中所示的“训练过程跟踪评估”的ID标识;启动图1中的现场信息采集设备之后,示范者可以在技能训练专用设施上开始对应的科目训练示范操作,此时通过现场信息采集设备进行数据采集,采集到的相关数据将自动被“学习和记录”,成为评估样板数据,存入现场数据服务器。
6.2.2、通过智能教学终端APP,选择智能化实训教材中的某一个训练科目(章节),扫描如图8中所示的“训练过程跟踪评估”的ID标识;启动图1中的现场信息采集设备之后,学习者就可以在技能训练专用设施中开始科目训练操作,此时,通过现场信息采集设备进行数据采集,采集到的相关数据将自动被记录、进入现场数据服务器中,并且上传到云端服务器。
6.2.3、利用现场信息采集设备进行数据采集与处理的具体方法如下:
1)、通过在实训设备上方,垂直安装的全景摄像机以及配套的视频分析软件,可以获取每一关键帧图像中被跟踪操作者的2D像素坐标,形成带有时间轴标识的操作者的平面移动轨迹图和矢量方向图,同时产生全系统数据采集过程中的时间轴基准信息。
2)、根据预先设定的关键技能点位置和关键技能点区域范围,可以获得操作中的各种关键技能点属性采集数据。如语音、语气、表情、关键词句识别、操作姿态、操作者朝向、检测数据图像、动作顺序、逻辑顺序、判断结果、操作效率、冗余操作等。还可获得KGBD传感器转换后的,操作者与实训设备和可能的“客户”之间的相对位置变化和正面朝向矢量变化方向等信息。图像采集的核心是对操作者的体态、姿态、正面矢量方向和手部动作进行采样和记录,采样密度为每秒12-15帧。如操作者的动作比较频繁和细腻,则采用数据手套的形式来获得局部动作捕捉数据。RGB图像和音频信息同时也进行记录(数据手套是智能传感器矩阵的一种类型)。
3)、在关键技能点区域范围中,需要对“操作者”和“客户”之间的语音信息进行采集和识别,并且与预设的语音信息进行关键词的比较,然后记录、保存。音频采集的核心是对操作者的表达能力和方式进行识别;主要通过长句和关键词的智能识别方法,判断操作者在关键位置时,所表达的关键信息的正确性、准确性和规范化程度。
4)、服务器对所采集到的视频信息,采用双边滤波对深度图进行的去噪保边平滑处理。根据深度图和红外CMOS内参计算摄像机坐标系下的深度信息构成点云,并变换到全局坐标系下,计算深度信息和法向量(用于误差估计)。此项操作可获得操作者的骨骼节点的变化轨迹和骨骼间的相对位置变化和矢量图,为下一步关键技能点属性的相似度比较提供一个特殊维度的参数。
5)、在需要使用测量仪器进行检测、判断的维修技能训练场合,要采集、判断仪器的显示内容;操作者观察到的检测内容,和经过思考之后选择的下一步操作,应该符合专业技术要求;操作步骤在专业上和逻辑上具有正确性和准确性;现场采集的数据要能够为操作者所采取的操作步骤提供评估依据。
6)、当操作者通过各个关键技能点操作区域时,均需重复上述“1)”-“5)”的数据采集与处理步骤和内容。将采集到的各种形式的现场数据送入现场数据服务器内经处理后上传到云端服务器保存。
7)、在一般技能点区域内,仅仅采集操作者的运动轨迹和矢量方向的关联性信息。
6.3、训练过程中的数据采集跟踪与评估过程
6.3.1、跟踪评估的数据分类
训练科目中的跟踪评估数据有两种类型:①科目训练示范数据,②学习者训练数据;
科目训练示范数据是示范者根据本科目的要求在实际操作中所产生的现场数据;学习者训练数据是学习者根据本科目的要求进行实际操作时所产生的现场数据;以上两个类型的数据在采集过程中,使用完全一致的传感器设置、关键技能点区域设置、细分规则和参数设置。
6.3.2、跟踪与评估过程
现场数据服务器中采集到的现场实时数据上传到云端服务器中后,经过“运动轨迹信息提取”和“技能点属性关注信息提取”后,分别获得了操作者的运动轨迹数据和细分操作数据;随后对数据的类型进行判断识别,根据判别结果输出两个分支:其一输出为图6左侧的“科目训练示范数据”,该数据通过“样板曲线生成”存入云端服务器中的样板数据库内,作为学习者训练评估时的对照数据;其二输出为图6右侧的“学习者训练数据”,作为训练过程中的被评估数据,进入“技能点属性关注点相似度比较”模块(相似度比较器),与样板数据库内相应的对照数据进行比较。
以示范者的操作作为样板,采集各个技能点区域中各个维度关注点上的现场训练数据(包括移动轨迹、体态、体感、骨骼、语音、图像、表情、交互、检测图像、面部矢量、肢体动作和专业设施变位信息),在现场数据服务器中进行预处理之后上传到云端服务器;经云端服务器的人工智能识别模块识别后,作为“科目训练示范数据”保存;在相似度比较过程中,各维度关注点上的示范者现场操作数据的量化值被定义为标准值(100分),技能点区域以时间轴为基准对应的采集信息和视频信息被截取、加工成为碎片化素材作为补充学习建议内容的一个部分。
系统执行智能化实训教材中指定训练科目的“训练过程跟踪评估”的ID标识的技能学习路线图分两种情况:
(1)在智能教学终端APP上选择指定训练科目下的“示范样板信息录入模块”,然后通过ID扫描识别通信模块调动终端中的扫描框扫描或屏幕触摸智能化实训教材中设定的“训练过程跟踪评估”的ID标识,发出用户数据请求指令之后,系统将执行示范者现场操作训练的模式;系统将对示范者的现场的操作过程数据信息进行采集,根据已经录入云端服务器的“科目训练流程”的细分规则、操作要求和相应的阈值、权重系数,由系统服务器进行处理后,生成样板数据表(科目训练示范数据),保存到科目训练示范数据库中;如前所述的图6中左侧的“其一输出”所示。
(2)在智能教学终端APP上,单纯通过ID标识扫描识别通信模块调动终端中的扫描框扫描或屏幕触摸智能化实训教材中指定训练科目下的“训练过程跟踪评估”的ID标识,发出用户数据请求指令之后,系统将默认执行学习者现场操作训练的模式;系统将对学习者的现场的操作过程数据信息进行采集,根据已经录入云端服务器的“科目训练流程”的细分规则、操作要求和相应的阈值、权重系数,由系统服务器进行处理后生成“学习者训练数据”,保存到学习者训练数据库中。之后,指定训练科目下对应的“科目训练示范数据”和“学习者训练数据”会同时进入到系统服务器的相似度比较模块(相似度比较器软件)中进行相似度比较评价,然后通过偏离度评价模块进行偏离度计算值,开始执行“偏离度自动反馈数据闭环控制”过程。如前所述的图6中右侧的“其二输出”所示。
现场智能教学终端APP通过ID标识扫描识别通信模块调动终端中的扫描框扫描智能化实训教材中设定的“训练过程跟踪评估”的ID标识(图8的实训环境介绍中的“训练过程跟踪评估”),就是发出了“训练过程跟踪评估”的指令;之后,现场辅助教学系统环境的操作数据采集,就由现场数据服务器、云端服务器和现场设备(技能训练专用设施和现场信息采集设备)组成的辅助系统“接管了”。现场智能教学终端APP的ID标识扫描识别通信模块发出的指令,就是指定训练科目,也就是图7中的实训科目介绍部分的各条内容的操作声明。然后,现场智能教学终端APP的ID标识扫描识别通信模块的功能就将获得跟踪评估信息的偏离度反馈、纠偏建议和训练评价结果。
6.3.3、相似度比较(相似度比较模块)
6.3.3.1、云端服务器中安装有人工智能相似度比较软件(相似度比较模块),用于对操作者的面部表情、语言信息、声音信息、关键词比较和长句分析、关联性和逻辑分析等复杂信息数据进行识别,并且与“科目训练示范数据”进行比较。特别是在针对于技能操作过程中的许多非量化指标的考核时,需要根据现场的实际环境情况,通过模糊比较来判断学习者操作时有无明确的目的性、是否通过分析、思考和判断之后才确定下一步的操作,这是一种对思维方式和操作流程的训练和多维度的综合评估的设计方法。
本发明在满足行业技术规范和专业操作技能训练要求的同时,通过对示范者的技能操作过程跟踪,按照相同的技能点属性规则采集数据、建立评估样板。将示范者和学习者的操作过程,在相同的时间轴下,通过量化和非量化的形式,对操作内容、操作结果、操作姿态、逻辑顺序、关键帧图像、语音判别和工作状态进行多重的相似程度比较,获得综合评估结论。
6.3.3.2、当系统执行智能化实训教材中的“训练过程跟踪评估”的ID标识技能导航路线图时,对应的“科目训练示范数据”和“学习者训练数据”在“相似度比较模块”中,按照预定的“细分规则设计、评价参数设计”进行相似度比较;即对各技能点区域内采集的数据按“一次特征改进雷达图”评价方法利用公式1或公式2进行评价;对科目训练全流程中各个技能点的评价结果按“二次特征改进雷达图”评价方法利用公式3进行评价;然后进入偏离度评价模块,按所述的偏离度评价方法利用公式4计算关键技能点操作的偏离度,利用公式5产生科目全流程训练记录数据偏离度综合评价成绩;以上所述,利用公式4计算获得的结果,是各技能点操作的偏离度信息和补充学习纠偏建议形成的依据,利用公式5计算获得的结果,是产生科目全流程训练偏离度情况的综合评价成绩的依据。
6.3.3.3、在技能训练教学计划中,围绕实训设备,对操作者的移动路线有一个基本要求,这个移动路线是通过全景摄像机获得的。在操作者的移动路线上,预设了相关的操作技能点,这些技能点分成关键技能点和一般技能点。将学习者的平面移动路线、方向矢量值和在各技能点操作区域内的各种操作信息、语音信息分别与“科目训练示范数据”进行比较;
平面移动轨迹的比较主要是坐标位置和方向矢量值的比较,其绝对差值的权重系数选择为Gm=0.2-0.3;关键技能点操作区域内的各种操作信息根据采样密度进行比较,其差值的权重系数选择为Gd=0.2-0.6;关键技能点操作区域内的语音比较差值的权重系数选择为0.2-0.3;
由于在技能训练科目中,关键技能点操作区域可能是多个,所以,对于不同方面的关键技能点操作需要设置不同的权重系数:Gp=0.1,0.3,0.5,0.7,0.9;
以上Gm、Gd、Gp均为在专业教学设计中预先的设定值,不同的科目和技能之间互有差异,所以在运行时可以进行一些局部的修正;该类参数可以在现场通过“人机交互终端”输入系统。
6.3.3.4、由于采取了唯一的时间轴标识和统一的采样规则和采样密度,所以操作者操作时采集的数据和示范者操作时采集的数据之间的比较是一种相对性比较方式。训练时采集到的操作者的平面移动坐标和关键技能点操作区域内的属性数据,与评估样板中的“科目训练示范数据”进行比较,各对应点的允许偏离的阈值的取值,应该被限制在平均值(绝对值)的50%以内。
6.3.3.5、对操作过程中采集的语音信息,通过关键词比较和长句分析,与“科目训练示范数据”进行比较。其中的关联性和逻辑顺序判断是重点评估内容。
6.3.3.6、偏离度信息反馈内容
根据相似度比较和偏离度评价结果,系统向学习者推送的反馈信息类型如下:(1)训练结果评价信息;(2)补充学习纠偏建议,包括知识点和技能点知识内容;(3)建议观摩的示范视频信息;(4)话术类语言表达示范信息。
以上信息中的第一类是“文字+得分”评价信息,后面三类是针对性学习建议,是以ID标识表达的信息。其中的ID标识表达的信息,就是智能化实训教材中设定的ID标识,参见图2、图7-图11所示;只要用手机APP或智能教学终端APP进行扫描、点击或触摸智能化实训教材中的ID标识,就可以直接从云端服务器获得相应的资源素材;学习者对偏离度信息反馈内容,可以选择自己认为最需要的部分进行补充学习。
云端服务器内相似度比较器运行的结果信息和处理建议最终会反馈到智能教学终端APP或者智能学习终端APP。云端服务器推送反馈信息的服务是被动的,是在智能教学终端APP的科目训练评估反馈模块和智能学习终端APP的科目训练评估信息模块分别通过各自的ID标识扫描识别通信模块发出这个用户数据请求指令之后才“响应”。这个过程可以多次反复,通过“跟踪评估信息的反馈和结论”的改变,使“学习者训练数据”和“科目训练示范数据”之间的相似程度不断提高并满足要求。在技能训练科目流程中,学习者与示范者的操作过程的相似程度越高,说明技能习惯养成的效果越好。据此也可按照不同的量化分级指标,产生最终的技能训练成绩。
7、现场训练数据信息跟踪评估方法,包括以下4个方面:
7.1、对各技能点区域内采集数据的一次特征改进雷达图评价方法,该方法如下:
通过现场信息采集设备,采集到各技能点区域内的各个属性关注点的现场数据(包括“训练数据”和“样板数据”),通过现场数据服务器预处理之后,将带有采集时间标志的各个数据包上传到云端服务器内;云端服务器将采集到的各个属性关注点的“训练数据”,按照现场全景摄像机提供的时间轴标记点,与“样板数据”进行特征比较,然后根据教学设计中确定的阈值进行标定量化,得到标定量化值即属性值ai;将该标定量化值按照预定的属性关注点一次权重系数qti或者qSi进行修正后,生成多条同一点出发的矢量线,由此绘制出针对每一个关键技能点和一般技能点属性评价的一次特征改进雷达图;在绘制一次特征改进雷达图时,用一根矢量线和对应的夹角来表示一个“属性关注点数据”,从同一原点出发,按照各个属性关注点的设定排列,顺时针方向顺序进行图形绘制;其中,各属性关注点的矢量线夹角与教学设计中预定的一次权重系数qti或者qSi相关联,权重系数越大、夹角越大;
根据以下公式1、公式2,分别计算出各个关键技能点区域和一般技能点区域属性的一次特征改进雷达图的面积;
其中:
At=实训科目中对应的每一个关键技能点的一次特征改进雷达图面积计算结果;即:A1是第一个关键技能点的一次特征改进雷达图面积计算结果,A2是第二个关键技能点的一次特征改进雷达图面积计算结果,以此类推;
Bs=实训科目中对应的每一个一般技能点的一次特征改进雷达图面积计算结果;即:B1是第一个一般关键技能点的一次特征改进雷达图面积计算结果,B2是第二个一般技能点的一次特征改进雷达图面积计算结果,以此类推;
n=各技能点区域内设定的属性关注点的个数;计算At时,n是关键技能点区域内设定的属性关注点个数;计算Bs时,n是一般技能点区域内设定的属性关注点个数;
qti=第t个关键技能点的第i个属性关注点的一次权重系数;在计算At的公式1中用权重系数qti
qsi=第s个一般技能点的第i个属性关注点的一次权重系数;在计算Bs的公式2中用权重系数qsi
ai=对应每一个技能点属性关注点采集的数据,经过标定量化之后再经过一次权重系数qti或qsi修正后的数据,即绘制一次特征改进雷达图时的一个轴长,即矢量线的长度;
a(i+1)mod n=与ai相邻的技能点属性关注点采集的数据,经过标定后的量化值;
当a(i+1)mod n中n=i时,a(i+1)mod n=a1;此时的模值mod n是代表不同的关键技能点和一般技能点对应的属性关注点个数;
t=实训科目中在操作者的移动路线上按顺序排列的各个关键技能点的顺序编号;
s=实训科目中在操作者的移动路线上按顺序排列的各个一般技能点的顺序编号;
Bs的计算公式与At的计算公式相同,但教学设计中设置的属性关注点个数n不同,一次权重系数qti和qsi也不同;关键技能点的总数量和一般技能点的总数量也可能不同。
7.2、对科目训练全流程中各个技能点评价结果采用“二次特征改进雷达图”结果性评价方法,该方法如下:
根据科目实训流程的技能点排列顺序,将各技能点的一次特征改进雷达图面积At、Bs按顺序排列,亦即,按照“Th1=A1、Th2=B1、Th3=A2、Th4=B2、Th5=A3、Th6=B3、Th7=A4、Th8=B4”,依次类推的顺序交替排列后,构成新的科目训练全流程数据表Th;将科目训练全流程数据表Th中的数据,按照预定的二次权重系数qTi进行修正后,生成多条从同一点出发的矢量线,由此绘制出反映训练全流程的二次特征改进雷达图;在绘制二次特征改进雷达图时,用一根矢量线和对应的夹角来表示一个技能点的相似度评价结果,从同一原点出发,按照顺时针方向的顺序进行图形绘制;其中各技能点评价结果的矢量线夹角与教学设计中预定的二次权重系数q Ti相关联,权重系数越大、夹角越大;
根据以下公式3,计算出反映训练全流程的二次特征改进雷达图的面积Ch
其中:Ch=针对技能实训科目的全流程绘制的二次特征改进雷达图面积计算结果;
h=实训科目全流程技能点数据表Th内的数据总量,是关键技能点数量和一般技能点数量的叠加和;
qTi=对应科目训练全流程数据表Th内顺序为i的数据的二次权重系数;i从1到h;
Ti=科目训练全流程数据表Th中的第i个经过二次权重系数qTi修正的数据;即T1=qT1*A1,T2=qT2*B1,T3=qT3*A2,T4=qT4*B2,T5=qT5*A3,T6=qT6*B3,以此类推下去;i从1到h;
T(i+1)mod h=实训科目全流程数据表Th中与Ti相邻的下一个数据;
当T(i+1)mod h中h=i时,T(i+1)mod h=T1,与全流程数据表Th中第一个数据重合。
7.3、对实训科目实训操作过程中的各个技能点区域,采用偏离度评价方法进行评估,产生对技能点操作的偏离度信息,产生偏离度反馈和补充学习纠偏建议;
采用以下相对误差计算公式4,对各技能点区域内的操作进行偏离度评价:
其中:Δet=针对各个技能点的训练记录数据的偏离度评价结果;通常仅用于评价各关键技能点的偏离情况;在科目训练需要时也可用于评价各一般技能点的偏离情况。
t=实训科目流程中的各个技能点的顺序编号;
Tdt=各个技能点的示范样板修正数据一次特性改进雷达图面积计算结果,即At或Bs;该数据从样板数据库中获取;
Ttrt=各个技能点的训练记录修正数据一次特性改进雷达图面积计算结果,即从学习者训练数据计算获得的At或者Bs;该数据通过跟踪现场训练数据后计算获得。
7.4、对科目训练流程的偏离度综合评价成绩产生方法如下:
采用以下相对误差计算公式5,对科目训练全流程的操作进行偏离度评价:
其中:Δe=科目全流程训练偏离度综合评价成绩;
Tdh=全流程示范样板修正数据二次改进雷达图面积计算结果,即针对样板数据利用公式3计算得到的Ch,该数据从样板数据库中获取;
Ttrh=全流程训练记录修正数据二次改进雷达图面积计算结果,即针对学习者训练数据利用公式3计算得到的Ch,该数据通过跟踪现场训练数据后获得。
采用相对误差计算公式4,对各个技能点区域内的操作进行偏离度评价(通常仅考虑关键技能点的偏离情况,科目训练需要时也可以包括针对一般技能点区域内操作的偏离度评价);采用相对误差计算公式5,对科目训练全流程的操作进行偏离度评价,产生学习者训练过程的评估成绩。
7.5、上述公式4和公式5应用于对以下过程数据的评价之中:
1)训练时的各个关键技能点属性的一次特征改进雷达图的面积与示范样板中对应数据的比较;2)训练时的各个一般技能点属性的一次特征改进雷达图的面积与示范样板中对应数据的比较;3)针对训练全流程的二次特征改进雷达图的面积与示范样板中对应数据的比较。
进行上述评价时,采用“1)”和“2)”的比较结果(如比较结果的绝对值大于阈值,则判定为不合格),系统将根据比较结果自动产生向学习者有针对性的推送学习建议和示范资源(通过ID关联);通过“1)”、“2)”、“3)”的比较结果和相关辅助训练记录(如学习记录、效率等),系统将构成向学习者反馈时的,对实训科目全流程记录的评价信息和评估成绩;在技能训练科目流程中,学习者与示范者的操作过程的相似度越高则偏离度越小,说明技能习惯的养成效果越好;据此也可以按照不同的量化分级指标,产生最终的技能训练成绩。这些评价信息和评估成绩最终通过ID关联智能教学终端APP的科目训练评估反馈模块反馈给专业教师。
以上内容中的各个公式计算,也可以通过积分计算并借助于计算机编程实现。
8、“偏离度自动反馈数据闭环纠偏控制”过程的说明
本发明中,“偏离度自动反馈数据闭环纠偏控制”的过程描述如下:首先,通过现场智能教学终端APP中的ID标识扫描识别通信模块扫描或屏幕触摸智能化实训教材中设定的“训练过程跟踪评估”的ID标识,向系统服务器发出用户数据请求指令,指定训练科目;随后,启动现场科目训练操作;现场信息采集设备对现场的科目训练操作数据进行跟踪采集;现场数据服务器中的现场数据信息预处理模块对采集到的现场实时数据进行预处理,数据信息压缩传输模块将预处理之后的数据信号,经过压缩和标定后形成带有采集标志的数据包,上传到云端服务器中;云端服务器内的人工智能识别模块对上传的数据进行“运动轨迹信息提取”、“技能点属性关注点信息提取”以及识别处理之后,分别获得操作者的运动轨迹数据和细分操作数据;随后对数据的类型进行判断识别,根据判别结果输出两个分支:其一输出为“科目训练示范数据”,该数据通过“样板曲线生成”形成样板数据存入云端服务器中的样板数据库内,作为学习者训练评估时的对照数据;其二输出为“学习者训练数据”,作为训练过程中的被评估数据;之后,对应的“科目训练示范数据”和“学习者训练数据”在云端服务器的相似度比较模块中,按照预定的“细分规则设计、评价参数设计”进行相似度比较;进行相似度比较的方法包括:对各技能点区域内采集的数据按“一次特征改进雷达图”评价方法进行评价,对科目训练全流程中各个技能点评价结果按“二次特征改进雷达图”评价方法进行结果性评价;之后,上述评价结果分别进入技能点偏离度评价模块和科目训练全流程偏离度评价模块进行偏离度计算产生偏离度评价结果;最后,通过自动反馈与纠偏建议形成及输出模块,形成并输出自动反馈信息和纠偏建议及学习资源推送;学习者通过ID标识关联获取学习观摩素材,针对性地选择最需要的内容进行观摩和补充学习;之后,科目训练重新启动;由此完成整个“偏离度自动反馈数据闭环纠偏控制”的过程。
9、技能大赛成果的拓展应用
本发明的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法,可适用于不同层次的服务类技能大赛的成果的应用和推广;在进行“技能大赛成果推广应用”时,可以根据技能大赛中的评判规则要求,首先由专业教师对技能大赛中录制的资源素材和评价规则来确定教学细分规则(对技能大赛的资源素材内容按智能化实训教材的架构设计进行细分处理);之后设计成为一个训练科目(章节),并录入相关的训练科目学习、教学资源;通过智能教学终端中的“示范样板信息录入模块”,录入到云端服务器中,作为“科目训练示范数据”(样板数据),形成评价依据;此时的“科目训练示范数据”就具有了可复制性,在相同的环境设置下,可以实施相同科目的相似度训练,起到提升“偏远地区教学资源”的均衡作用。由此能够实现技能大赛成果的推广和应用。
本发明的辅助教学方法应用于技能大赛成果拓展的实施途径如下:
1)、选择与技能大赛相同的训练科目内容,选择技能训练专用设施和相应辅助教学系统,同专业的技能训练专用设施可以选择多项科目;
2)、组织专业教研室对训练科目内容进行细分设计,确定跟踪评估规则和相关资源素材内容,产生不同训练科目的“科目训练示范数据”即样板数据;
3)、按照前述的现场操作数据采集规则,完成对“大赛优胜者”的示范操作过程的数据采集;
4)、完成智能化实训教材中针对不同科目的章节设计内容;
5)、修改相应的实训教学计划安排,然后按照前述的内容实施专业教学;将技能大赛成果作为样板,学习者在同科目训练过程中,根据偏离度反馈信息不断的进行纠偏,达到科目训练时学习者的操作与大赛优胜者的操作逐步“相似”的目标。
以上方法,同样适用于满足区域教育均衡需要时,解决基层教学单位师资与环境的差异性问题的解决途径。
实施例2以《汽车六方位绕车介绍法技能实训科目》为例
1、实训科目学习目标、学习内容
1.1实训科目学习目标:正确掌握汽车销售中的商务礼仪;熟悉汽车上各个主要部分的名称和参数指标;熟悉汽车六方位的概念、绕车步骤介绍内容;熟记汽车六方位绕车介绍中的要点;
1.2实训科目学习内容包括:商务礼仪习惯训练;了解车辆信息和主要特征;汽车六方位绕车介绍步骤和专业话术;汽车六方位绕车介绍中的体态、语态、表情;汽车六方位绕车介绍中客户答疑与信息捕捉。
2、技能训练要求:
2.1按照汽车六方位绕车介绍顺序,熟练地掌握不同的方位点介绍内容时的体态、语态、话术和与客户的相对位置。在有限的时间内,帮助客户对新车特征有一个全面的了解。
2.2汽车六方位绕车介绍法主要介绍点(关键技能点),关键技能点和一般技能点区域划分:
图12中方位1,即车前方(右前方45度)①,为第一关键技能点区域t1;
图12中方位2,即车身右侧②,为第二关键技能点区域t2;
图12中方位3,即车后方③,为第三关键技能点区域t3;
图12中方位4,即后排座椅④,为第四关键技能点区域t4;
图12中方位5,即驾驶室⑤,为第五关键技能点区域t5;
图12中方位6,即发动机舱⑥,为第六关键技能点区域t6;
图12中,方位1与方位2之间,为第一一般技能点区域s1;方位2与方位3之间,为第二一般技能点区域s2;方位3与方位4之间,为第三一般技能点区域s3;方位4与方位5之间,为第四一般技能点区域s4;方位5与方位6之间,为第五一般技能点区域s5
关键技能点和一般技能点区域的属性关注点的数量、关键技能点和一般技能点区域的属性关注点的设置,通过智能教学终端APP上的科目训练教学指导模块导入。
3、实训环境设置:如图12所示。传感器围绕关键技能点和一般技能点区域进行设置,所采集的数据通过现场数据服务器预处理之后上传至云端服务器。
4、实训跟踪、评估环境设置
4.1、实训整车的上方安装有一台广角的固定摄像机,视角覆盖汽车绕车介绍技能训练区域,用于连续拍摄现场操作人员活动的平面图像和矢量方向。当操作人员到达六个特定的方位点区域时,关键技能点区域信息采集将启动,同时时间记录和逻辑顺序判断功能也将启动。
4.2、RGBD传感器矩阵和音频采集装置为可移动安装型,设置在方位1-6的关键技能点区域旁,确保10-15米范围内可以获得清晰的视频和音频信息图像,并且能够覆盖“操作者”和“客户”的站立位置。
4.3、智慧教学设备选择现场智能教学终端(大屏幕触摸屏电脑一体机)和相应的智慧教室信息化辅助设备(投影仪、音响、录播系统)。智能学习终端和一体化大屏幕触摸屏安装对应的“APP”,每一个学习者拥有自身的账号和信息区。专业教师具有不同权限账号,智能化实训教材在学习者注册时建立唯一的系统链接关系。现场智能教学终端、智慧教室信息化辅助设施根据教学区域设计选择放置位置;智能学习终端或智能教学终端,通过智能学习终端APP或智能教学终端APP,与智能化实训教材、系统服务器建立连接。
4.4、云端服务器主要应用于专业资源存放、现场采集信息识别计算、技能训练评估、评价信息咨询服务与匹配资源定向推送。
4.5、现场数据服务器应用于与现场信息采集设备之间的交互响应以及数据预处理和转换;同时起到缓冲作用,确保现场教学和技能训练跟踪过程的顺畅性。
5、“汽车六方位绕车介绍”实训科目训练的实施过程
(1)首先,在现场智能教学终端上,打开智能教学终端APP,登录教师特定权限账户后,通过科目训练资源导入模块,将与实训教学计划相关的资源,即科目训练的内容、学习资源、观摩、教学课件,包括知识点、技能点内容描述、虚拟仿真资源、训练设施和方法说明、安全要求等内容,导入到系统服务器中;通过科目训练教学指导模块,将与实训教学计划相关的跟踪评估规则和方法,包括科目训练要求、信息采集点、评估方法,还包括关键技能点数量、关键技能点属性设置等,导入到系统服务器中。
(2)点击或触摸智能教学终端APP中的“示范样板信息录入”功能框,通过调动终端中的扫描框扫描智能化实训教材中设定的“训练过程跟踪评估”的ID,进行科目训练示范数据(即示范样板数据)的采集。
(3)扫描或触摸智能教学终端APP中的“训练过程跟踪评估”的ID标识,进行学习者训练数据的采集。
5.1、技能训练样板数据可以由教师示范操作或者邀请企业专业技术骨干进行流程示范,按照图10、图11的要求自动记录相关数据,预先存入云端服务器之中。此时,人脸识别、表情识别、语音语态识别、长句和关键词识别、体态姿态识别、与客户之间的相对位置和视频记录等采集数据内容,都将经过处理之后作为“样板数据”被保存下来。
5.2、智能化实训教材中,根据实训教学计划确定的该技能实训科目,包括如下内容:1)汽车各主要部分结构、功能和参数介绍;2)汽车营销话术和各方位绕车介绍主要内容;3)“汽车六方位绕车介绍”各方位商务礼仪介绍;4)“汽车六方位绕车介绍”各方位观摩素材;5)新车六方位介绍考核要求;6)实训环境与相关设备介绍;7)全国技能大赛汽车营销科目视频观摩。
无论教师和学生,均可以通过扫描智能化实训教材中的ID标识,直接获取以上“教学课件”、“科目介绍”、“环境介绍”、“知识点学习”、“技能点学习”、“考核标准”等技能训练资源。
5.3、本科目训练中,关键技能点区域和一般技能点区域是围绕如图12所示的六个方位点设置的,加上礼仪和时间控制等方面,操作者需要以不同的形式向客户传输的信息。各方位介绍要求包括在各个方位时的体态、站姿、内容、话术、礼仪等方面的技能要求和移动顺序。
5.4、“汽车六方位绕车介绍”各方位要求简述如下:
方位1、车前方(右前方45度);方位2、车身右侧;方位3、车后方;
方位4、后排座椅;方位5、驾驶室;方位6、发动机舱;
礼仪考核内容包括:①站姿、蹲姿、鞠躬、微笑、引导手势是否正确;②精神面貌是否饱满;③语言是否清晰、流畅;④身体语言是否恰当;⑤站立点位置和身体朝向是否恰当;⑥语气语态是否亲切自然。
时间控制包括:①周期时间控制;②各节点时间分配;③冗余循环情况;④实时交互效果。
5.5、“汽车六方位绕车介绍”实训流程之“⑤驾驶室”方位介绍要求的举例说明
汽车驾驶室位于左前方,“销售顾问”首先应该从汽车左后侧门位置,引导“客户”到达驾驶室位置(此段属于一般技能点)。然后,以规范的礼仪手势打开驾驶室门,邀请客户坐到驾驶员位置上。随后,“销售顾问者”应该以蹲姿,向着兼顾客户和仪表板的方向,以相关的话术,向“客户”进行介绍驾驶室内部分的主要特点(此段属于关键技能点)。
6、本实训科目的训练过程跟踪评估说明:
1)、仅以实训流程之“⑤驾驶室”方位介绍为例,在“销售顾问”到达驾驶室位置时,通过全景摄像机5提供的图像信息,判定进入了实训中的一个“关键技能点区域”,系统将按照预定的“关键技能点属性”内容完成信息采集,进行对该方位区域的训练跟踪评估。此时,RGBD传感器矩阵和音频采集装置将判断出“销售顾问”的姿态、话术、与“客户”的相对位置、物理位置的逻辑顺序、使用时间、有无互动等内容。而作为从方位4到方位5移动这样的“一般技能点”区域,采集信息的内容会简化。其余各个方位的操作,将按照不同的细化要求内容来完成信息采集。关键技能点的属性构成和操作要求,参见图11所示。一般技能点的属性关注点,主要是获得操作者的移动逻辑、正面朝向、移动速度、交互信息和面部表情等。
2)、学习者在按照实训操作步骤进行训练的同时,现场采集系统实时进行跟踪,将上述信息数据分别与实训要求以及示范样板数据进行比较,按照权重系数设定确定并反馈考核结果建议和成绩。
3)、根据对科目实训流程的评估结果,系统给出反馈信息和对应的重复学习建议(通过ID关联)。学习者可以自行确定需要强化学习的内容,通过扫描智能化实训教材上的相同的ID标识即可获取。
4)、本科目实训教学过程中的数据采集和自动跟踪评估方法,按照实施例1中所述的数据采集方法和现场数据信息跟踪评估方法进行。得到的第一关键技能点区域的属性关注点评估数据见下表:
根据上表中数据绘制出的汽车销售六方位绕车介绍法训练科目中第一关键技能点属性一次特征改进雷达图如图13所示;根据按科目训练流程的技能点排列顺序,将所有技能点的一次特征改进雷达图面积,交替排列后构成的新的科目训练全流程数据表Th,按照数据表Th中的数据绘制出的汽车销售六方位绕车介绍法科目训练全流程二次特征改进雷达图如图14所示。
图14中的技能点1即第一关键技能点,其轴长T1=qT1*A1;技能点2即第一一般技能点,其轴长T2=qT2*B1;技能点3即第二关键技能点,其轴长T3=qT3*A2;技能点4即第二一般技能点,其轴长T4=qT4*B2;技能点5即第三关键技能点,其轴长T5=qT5*A3;技能点6即第三一般技能点,其轴长T6=qT6*B3;技能点7即第四关键技能点,其轴长T7=qT7*A4;技能点8即第四一般技能点,其轴长T8=qT8*B4;技能点9即第五关键技能点,其轴长T9=qT9*A5;技能点10即第五一般技能点,其轴长T10=qT10*B5;技能点11即第六关键技能点,其轴长T11=qT11*A6。其中的At、Bs按前述的公式1、公式2计算得到。
5)学生的学习、观摩、虚拟仿真练习等活动既可分组,也可独立地进行,由此解决了实训设备和实训时间的有效匹配问题。学习者重复学习的情况和频度、训练达标的程度和完成训练计划的绩效情况,都被记录在学习者数据库的自身账户之中,成为学习评价成绩的组成部分。
6)通过以上5.2-5.7内容的循环练习,构成了一个“闭环”的技能学习过程,为技能习惯的养成的“精准度”和“技能训练效率”的提高,起到了很好的帮助作用;
7)由于本实训科目实施的计划和规范要求和资源,已经事先被导入到云端服务器内,专业教师在实训过程中的监督、咨询、纠偏、示范作用的大部分教学工作量,是可以被“本发明的专业技能实训辅助教学系统”替代的。

Claims (22)

1.一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
该专业技能实训辅助教学系统包括:智能化实训教材、技能训练专用设施、现场信息采集设备、系统服务器、辅助教学终端;系统服务器包括现场数据服务器、云端服务器;辅助教学终端包括现场智能教学终端、智能学习终端;
技能训练专用设施设置于实训教学现场,用于实训操作;现场信息采集设备设置于技能训练专用设施上或附近,用于采集现场实训操作数据信息,包括围绕技能训练专用设施进行操作训练时的操作信息和思维判断信息;现场数据服务器附带前置采集终端,与现场信息采集设备连接,装有与现场信息采集设备配套的专业数据采集卡和配套的数据采集、转换软件;现场数据服务器用于与现场信息采集设备之间的交互响应,以及对现场采集的数据的预处理和转换;
智能学习终端上安装有供学习者学习的应用软件,即智能学习终端APP;现场智能教学终端上,安装有供专业教师教学的应用软件,即智能教学终端APP;智能学习终端APP通过wifi无线网络或者Internet与现场数据服务器、云端服务器连接;现场智能教学终端通过网线与现场数据服务器连接,并且通过Internet与云端服务器连接;
智能化实训教材按照针对训练科目的训练路线导航图设计,是一个或多个技能实训科目的集合;它将每一个技能实训科目内容作为一个独立的章节,每一个章节,具有相同的架构设计;架构中包含了以下几个部分的内容:1)、专业知识点、技能点基础学习准备;2)、技能实训科目专业环境使用方法学习准备;3)、技能实训科目训练要求与评价标准;4)、技能实训科目训练步骤学习与示范;5)、技能实训科目训练跟踪评估反馈建议;各部分的内容均按照树状索引结构编排,每一条索引设置有一个隐形的和唯一性的ID标识即隐形链接地址;各ID标识均与预存在云端服务器中的相关实训教学资源信息相对应;
云端服务器设置于实训教学现场或者通过租用的形式设置于运营商机房;云端服务器中预存有实训教学资源信息,这些实训教学资源信息具有与智能化实训教材相对应的资源架构和ID标识链接地址;云端服务器,用于实现与智能化实训教材中的ID标识即隐形链接地址的交互响应,以及对现场采集上传的数据进行深度识别处理、比较和跟踪评估,并且根据评估结果进行信息反馈,提供针对性的学习资源推送服务;
智能学习终端APP或智能教学终端APP,通过扫描或触摸屏幕中的智能化实训教材中不同的ID标识,向系统服务器发出数据请求,可以获得预先上传到云端服务器中的与专业教学设计中相关的实训教学资源信息,对训练科目各部分的具体内容进行学习,或者指定一个训练科目操作的跟踪流程;在系统服务器完成对学习者的训练操作过程的数据采集、处理、比较和跟踪评估之后,所述终端APP可以接收到从云端服务器发出的偏离度反馈信息、评估结果和纠偏学习建议,通过选择建议中的ID标识,即可获得针对性的学习资源推送服务;
该辅助教学系统以智能化实训教材中设计的科目训练路线导航图为导航;自动学习示范者的技能训练操作过程,生成比较评估样板数据库;自动跟踪学习者的技能训练操作过程数据,与比较评估样板数据库中的数据进行比较;在系统服务器完成对现场采集数据的识别、处理、比较和跟踪评估后,产生偏离度评估结果反馈信息和纠偏补充学习建议;学习者通过ID标识关联获取学习观摩素材,选择适用的内容进行补充学习;之后,科目训练再次开始;由此实现“科目训练开始—训练过程数据采集—样板数据相似度比较—训练过程跟踪评估—偏离度纠偏建议推送—ID标识关联学习观摩素材获取—科目训练再开始”的循环;构成技能科目训练中依据对现场操作数据采集的跟踪评估,实现以ID标识为纽带的数据闭环纠偏控制。
2.如权利要求1所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
智能化实训教材的每一个章节即为一个技能训练科目,其架构至少包括“实训科目介绍”、“实训环境介绍”、“专业基础知识”和“虚拟仿真实训环境”四个部分;“实训科目介绍”部分分成“实训科目内容介绍”、“实训科目考核说明”、“实训操作步骤介绍”三个总目,每个总目分成若干分目,分目下面又分成若干支目;“实训环境介绍”部分分成“技能训练环境介绍”、“技能实训流程介绍”、“训练过程跟踪评估”、“技能训练管理手册”四个总目,每个总目下面分成若干分目,分目下面又分成若干支目;“专业基础知识”部分分成“专业基础知识介绍”、“专业课程资源素材”两个总目,每个总目又若干分目,每个分目又分成若干支目;“虚拟仿真实训环境”部分包含“虚拟仿真实训平台”一个总目,总目下面分成若干分目,分目下面又分成若干支目;每个总目、分目、支目、条目都有一个索引框,每一个索引框都对应一个ID标识;各个ID标识与系统服务器内的实训教学资源的存储地址相关联。
3.如权利要求1或2所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
智能化实训教材以纸质印刷的教材和在智能教学终端包括大屏幕触摸一体机上显示的电子文档两种形式存在;电子文档用于满足专业教师现场教学应用需求,纸质印刷的教材用于满足学生在其他区域位置的学习需求;
智能学习终端APP通过扫描纸质印刷的智能化实训教材中预设的ID标识,可以与系统服务器进行交互,获得相关的教学资源、科目训练偏离度评估反馈信息和纠偏建议;
智能教学终端APP通过扫描纸质印刷的或屏幕触摸在智能教学终端上显示的智能化实训教材中预设的ID标识,可以与系统服务器进行交互,获得相关的教学资源和反馈信息,包括科目训练评估反馈信息、纠偏建议和科目训练统计信息。
4.如权利要求1或2所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
现场信息采集设备包括全景摄像机、智能传感器矩阵、RGBD传感器矩阵、音频采集矩阵;全景摄像机固定安装在技能训练专用设施的上方即实训室顶端;智能传感器矩阵固定安装在技能训练专用设施附近;音频采集矩阵采用三种安装形式:实训室顶端固定安装、技能训练专用设施上安装、与RGBD传感器矩阵设备一致移动安装;
智能传感器矩阵包括红外传感器、触摸传感器、光敏传感器、体感传感器、超声波传感器、数据手套各种不同类型的传感器;RGBD传感器矩阵包括多个RGB摄像机和深度摄像机,能够从不同的角度捕捉到操作者的动作信息和骨骼信息,能够产生满足精度要求的操作者的移动方向矢量信息和体态动作信息集合;音频采集矩阵设备包括定向话筒和高灵敏拾音器话筒。
5.如权利要求1或2所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,现场数据服务器包括顺序连接的以下功能模块:
1)采集数据接口模块,用于完成与现场信息采集设备的数据输出的接口功能;
2)现场数据信息预处理模块,用于根据统一的时间轴标志,完成该时间点之后的数据提取功能;这样的数据包括视频关键帧、采样图片、骨骼信号、音频信号、矢量信号、相对位置信号、模拟信号量、开关信号状态值;数据提取时通过平滑处理消除由于干扰的原因误读;
3)数据信息压缩传输模块,用于将预处理之后的数据信号,经过压缩和标定后形成带有采集标志的数据包;完成现场数据服务器与智能学习终端、智能教学终端、云端服务器之间的数据交换功能;
其中,采集数据接口模块分三种:
第一种采集数据接口模块,用于完成与现场信息采集设备的自带采集数据配套硬、软件的采集设备的数据输出的接口功能;
第二种采集数据接口模块,用于完成与现场信息采集设备的专业数据采集卡配套的数据输出软件的接口功能;
第三种采集数据接口模块,用于完成与现场信息采集设备的音视频信号采集卡配套的数据输出软件的接口功能。
6.如权利要求1或2所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
云端服务器包括依次连接的以下功能模块:
1)人工智能识别模块:对现场数据服务器上传的过程采集信号进行识别,包括移动轨迹、体态、体感、骨骼、语音、图像、表情、交互、检测图像、面部矢量、肢体动作和专业设施变位数据信息;
2)相似度比较模块:对现场数据服务器上传的训练过程采集的各技能点属性关注点数据进行识别,并且与对应的样板数据进行相似度比较;这种比较是在同一个时间轴标志下,针对预定的技能点区域内的信息评价结果进行的;进行相似度比较的方法包括:对各技能点区域内采集的数据按“一次特征改进雷达图”评价方法进行评价;对科目训练全流程中各个技能点评价结果按“二次特征改进雷达图”评价方法进行结果性评价;
3)技能点偏离度评价模块:完成以技能点为依据的评价结果与样板数据的偏离度的计算,即采用相对误差计算公式进行偏离度计算即进行偏离度评价,获得对各技能点操作的偏离度评价结果;通常是针对各关键技能点的偏离度进行评价,科目训练需要时也可针对一般技能点的偏离度进行评价;
4)、科目训练全流程偏离度评价模块:完成以科目训练全流程为依据的评价结果与样板数据的偏离度的计算,即采用相对误差计算公式进行偏离度计算即进行偏离度评价,获得对科目训练全流程操作的偏离度评价结果;
5)、自动反馈与纠偏建议形成及输出模块
根据技能点偏离度评价模块的输出结果,产生以各技能点操作的偏离度评价结果为依据的偏离度自动反馈信息及补充学习纠偏建议;根据科目训练全流程偏离度评价模块的输出结果,产生以科目训练全流程偏离度评价结果为依据的科目训练全流程综合评价成绩及反馈信息;该模块是构成科目训练中依据对操作数据的采集跟踪,实现以ID标识为纽带的数据闭环纠偏控制过程的主要流转数据生成模块;
云端服务器还包括依次连接的以下功能模块:
1)用户信息验证管理模块:实现用户注册、登录、信息采集和运行中的随机隐形用户信息验证功能;
2)ID扫描识别通信响应模块:完成对智能学习终端、智能教学终端发出的用户数据请求指令的确认和响应;完成对现场数据服务器发出的实时交换和静默推送数据交换形式的确认和响应;对发送到智能学习终端上的资源信息,进行数据包压缩和像素降低处理;
3)实训教学资源管理模块:用于对与智能化实训教材设计的学习路线图中的ID标识对应的资源信息的存放地址和资源内容的维护。
7.如权利要求1或2所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
所述的现场智能教学终端包括一体化LED显示终端、教学电脑、笔记本电脑、IPAD;所述的一体化LED显示终端包括大屏幕触摸屏电脑一体机;所述的智能学习终端包括智能手机、IPAD、笔记本电脑、个人电脑;所述的专业技能实训辅助教学系统还包括智慧教室信息化辅助设备,其与现场智能教学终端连接,或直接与现场数据服务器连接;所述的智慧教室信息化辅助设备包括实训现场内常规的投影仪系统、音响系统和录播系统;所述的现场数据服务器附带的前置采集终端包括工控计算机、个人电脑。
8.如权利要求1或2所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
智能学习终端APP包括相互连接的智能用户注册管理模块、ID扫描识别通信模块;还包括分别与ID标识扫描识别通信模块连接的推荐资源交互学习模块、虚拟仿真简易练习模块、观摩资源点播学习模块、教学课程点播学习模块、学习过程信息记录模块、科目训练评估信息模块,以上各模块的用户操作信息记录采用非连续采集的形式,经数据处理之后,以数据包形式发送到系统服务器中;此外还包括与以上各模块连接的用户信息隐性监督模块;
智能用户注册管理模块:通过人工智能手段采集用户信息,建立系统中的个人账户;与专业实训教学过程相关的历史记录数据将被保存在个人账户所对应的区域之中;
ID标识扫描识别通信模块:用于调用智能学习终端中的扫描框,来扫描纸质印刷的智能化实训教材中设定的ID标识,向云端服务器发出“用户数据请求”指令;待系统服务器响应“用户数据请求”指令之后,接收对应的反馈信息,包括教学资源;
推荐资源交互学习模块:向学习者推送针对性学习建议之后,记录用户的自我学习内容和响应程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程中相关的历史记录数据;
虚拟仿真简易练习模块:科目训练流程的虚拟仿真练习,同时记录用户的自我学习过程和响应程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程中相关的历史记录数据;
观摩资源点播学习模块:科目训练流程的观摩学习,同时记录用户的自我学习过程和关注程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程中相关的历史记录数据。
教学课程点播学习模块:通过选择相关的ID标识,从云端服务器获取训练科目相关信息资源和辅助信息;记录用户在学习准备时或者课后的自我学习内容和推荐学习响应程度信息;与用户信息隐性监督模块相配合,构成专业实训教学过程中相关的历史记录数据;
学习过程信息记录模块:记录用户在专业教学计划实施周期中,对知识点、技能点、观摩资源、实训内容、主动学习、学习积极性和效果信息;与用户信息隐性监督模块相配合,构成专业实训教学过程中相关的历史记录数据;
科目训练评估信息模块:通过数据请求,从云端服务器获得科目训练历史评估记录、当前评估记录、训练成绩和补充学习建议;
用户信息隐性监督模块:对用户的自主学习过程进行记录,通过随机的隐形用户拍照和瞳孔识别,将获取的用户信息与注册信息进行比对,验证学习者的实时真实身份信息;经过身份确认的学习记录将构成“评估依据”的一个组成部分。
9.如权利要求1或2所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
智能教学终端APP包括相互连接的智能用户注册管理模块、ID扫描识别通信模块;还包括分别与ID扫描识别通信模块连接的科目训练教学指导模块、虚拟仿真科目练习模块、观摩资源示范辅导模块、专业课件教学应用模块、示范样板信息录入模块、科目训练评估反馈模块;此外还包括与以上各模块连接的教学管理信息查询模块、科目训练资源导入模块;
智能用户注册管理模块:用于通过人工智能手段采集用户信息,建立系统中的个人账户;与专业实训教学过程相关的历史记录数据将被保存在个人账户所对应的区域之中;
ID标识扫描识别通信模块:用于调用现场智能教学终端中的扫描框,扫描纸质印刷的智能化实训教材中的ID标识,或者采用触摸的方式点击现场智能教学终端中的“智能化实训教材电子文档”中设定的ID标识,向云端服务器发出“用户数据请求”指令;待系统响应“用户数据请求”指令之后,接收对应的反馈信息,包括教学资源;
科目训练教学指导模块:用于根据每一个科目训练教学计划的设计,将与实训教学计划相关的跟踪评估规则和方法导入到系统中。该导入是登录教师特定权限账户后实现的;
虚拟仿真科目练习模块:用于选择不同科目的虚拟仿真练习内容,进行模拟现场训练环境和训练过程的虚拟训练操作;
观摩资源示范辅导模块:用于向系统服务器传送相关示范资源的学习请求,从云端服务器或现场数据服务器获得实际的观摩示范资源;观摩示范内容包括示范者的真实的操作记录和虚拟增强现实教学素材;
专业课件教学应用模块:用于获得教学计划实施中的相关课件、碎片化素材和其他课程资源;还用于将教学过程中的相关附加信息自动记录、推送到科目实训教学训练指导模块中;
示范样板信息录入模块:用于示范样板信息录入;通过专业示范者或者技能大赛优胜者进行现场示范操作,按照实训教学计划中设计的评价标准,进行相应的现场数据采集,经过处理之后录入存放到云端服务器中,成为示范操作样板即科目训练示范数据;其采用相同的数据采集方法和评价标准,经过数据处理之后,可形成规范化、专业化和归一化的评价过程;
科目训练评估反馈模块:用于查阅学习者个人的训练的跟踪信息、评估信息、反馈信息和学习信息,包括统计信息和整体教学评估信息;
教学管理信息查询模块:用于检索、查询与科目训练相关的教学计划执行记录和学习者的学习过程、训练操作跟踪评估记录、历史信息和统计数据;
科目训练资源导入模块:用于根据每一个科目训练教学计划的设计,将与实训教学计划相关的资源导入到系统中;这些导入的资源包括科目训练的内容、学习资源、观摩、教学课件,包括知识点、技能点内容描述、虚拟仿真资源、训练设施和方法说明、安全要求;该导入在登录教师特定权限账户后实现。
10.如权利要求5所述的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统,其特征在于,
其中的数据信息压缩传输模块中,所述的数据交换分为实时交换和静默推送二种形式;
实时交换的形式适用于:
(1)从用户终端发出的用户数据请求指令的转发响应;
(2)经预处理之后技能点属性关注点采集属性信息;
(3)其它需要立即响应并从云端服务器获得的反馈信息;
静默推送交换的形式适用于:
(1)科目训练中全景摄像机采集的完整的视频信号;
(2)科目训练中全景摄像机采集的完整的音频信号;
(3)通过智能教学终端选中的科目训练计划中设定的实训教学资源信息下载服务;
静默推送交换的形式是指系统服务器自动选择在系统和网络不繁忙的状态时实施的数据传送形式。
11.一种利用如权利要求1-10任一所述的专业技能实训辅助教学系统进行的具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学方法,其特征在于,
该专业技能实训辅助教学方法,以智能化实训教材为核心,将智能化实训教材设计成科目训练路线导航图,其中各部分内容按树状索引结构编排,每一个索引对应一个ID标识即隐形链接地址;学习者利用智能学习终端上的APP,通过扫描智能化实训教材中不同的ID标识,从云端服务器中获取预先上传的相关训练科目学习资源,进行针对性学习;专业教师利用智能教学终端上的APP,通过扫描或屏幕触摸智能化实训教材中不同的ID标识,从系统服务器中获取预先上传的相关训练科目教学资源,或指定一个训练科目操作的自动跟踪流程;
示范者在技能训练专用设施上进行示范操作时,通过现场信息采集设备和系统服务器,完成对示范者的示范操作数据采集与跟踪,生成评估样板数据库;亦即,根据训练科目的教学设计要求,采用与学习者的训练操作过程相同的细分和评价方法,采集示范者的操作示范过程数据即样板数据,经过处理之后存入到云端服务器的数据库中,成为学习者专业科目训练中的相似度比较样板;
学习者在技能训练专用设施上进行训练操作时,通过现场信息采集设备对学习者的操作过程进行自动跟踪和数据采集,系统服务器对采集到的训练数据进行细分、识别、处理之后,与评估样板数据库中的样板数据进行相似度比较;相似度比较结果经过积分处理,产生偏离度评价结果、科目训练过程评估反馈信息和补充学习纠偏建议;学习者通过ID标识关联获取信息之后,可以选择对自己最适用的内容进行补充学习纠偏;之后,重复科目训练过程;由此构成科目训练中对现场操作数据采集的循环跟踪评估,实现以ID标识为纽带的数据闭环纠偏控制。
12.如权利要求11所述的专业技能实训辅助教学方法,其特征在于,
针对服务型技能项目,将一个技能训练科目,按照训练大纲的要求,在操作者操作时的移动轨迹上,设置了多个需要重点掌握的操作技能点,包括多个关键技能点和多个一般技能点;在物理位置上,将关键技能点和一般技能点对应的操作区域,确定为“关键技能点区域”和“一般技能点区域”,区域的形状大小根据技能点属性在教学设计中确定;将各个技能点属性细分成为系统服务器可以进行特征识别跟踪的多个属性关注点,即:每个关键技能点区域内包含了多个属性关注点,每个一般技能点区域内也包含了多个属性关注点;设置现场信息采集设备,采集各技能点区域内的各个属性关注点的现场数据,包括移动轨迹、体态、体感、骨骼、语音、图像、表情、交互、检测图像、面部矢量、肢体动作和专业设施变位数据信息;
将现场操作数据的采集分成两种类型:“科目训练示范数据”,是在示范者示范操作时所采集的现场数据,简称为样板数据;“学习者训练数据”,是学习者在科目训练中所采集的现场数据,简称为训练数据也即被评估数据;两种类型的数据在采集和跟踪处理时的细分规则和采集方法保持一致;
科目训练中,围绕技能训练专用设施,通过现场信息采集设备,采集操作者操作时在各技能点区域内的各个属性关注点的现场操作数据信息,包括移动轨迹、体态、体感、红外、肢体动作、话术、检测结果、操作细节和矢量值;
专业教师利用智能教学终端APP,通过点击或触摸智能教学终端APP中的不同的ID标识,即可与系统服务器进行交互,获得相关的实训科目的教学资源和课件,并利用现场智能教学终端或者智慧教室信息化辅助设施,开展现场教学和咨询辅导活动;
专业教师利用智能教学终端APP,通过调动终端中的扫描框扫描或屏幕触摸智能化实训教材导航图中预设的“训练过程跟踪评估”的ID标识,即可获得相关学习者的科目训练偏离度评估结果反馈信息和纠偏建议。
13.如权利要求12所述的专业技能实训辅助教学方法,其特征在于,
将在各技能点区域内采集到的各个属性关注点的现场数据,包括“学习者训练数据”简称为“训练数据”和“科目训练示范数据”简称为“样板数据”,在现场数据服务器中进行预处理之后上传到云端服务器内;经云端服务器内的人工智能识别模块进行识别后,由云端服务器内的相似度比较模块将各个属性关注点上采集到的“训练数据”与“样板数据”分别进行相似度比较;进行相似度比较的方法包括:针对各技能点区域内采集数据采用的一次特征改进雷达图评价方法,以及针对科目训练全流程中各个技能点评价结果采用的二次特征改进雷达图评价方法;然后,由云端服务器内的偏离度评价模块进行偏离度评价,即采用相对误差计算公式分别完成针对以技能点为依据和以科目训练全流程为依据的评价结果与样板数据之间的偏离度的计算,获得各技能点偏离度评价结果和科目训练全流程偏离度评价结果;最后,根据各技能点偏离度评价结果,产生偏离度自动反馈数据和补充学习纠偏建议,反馈到智能学习终端和智能教学终端;根据科目训练全流程偏离度评价结果,产生对学习者的本科目训练全流程的综合评价成绩,反馈到智能学习终端和智能教学终端。
14.如权利要求13所述的专业技能实训辅助教学方法,其特征在于,
关键技能点属性的关注点设置为6-10个,一般技能点属性的关注点设置为2-5个;
各个属性关注点上的现场采集数据,包括移动轨迹、体态、体感、骨骼、语音、图像、表情、交互、检测图像、面部矢量、肢体动作和专业设施变位信息;
学习者的现场训练数据,包括移动轨迹、体态、体感、骨骼、语音、图像、表情、交互、检测图像、面部矢量、肢体动作和专业设施变位信息;
进行相似度比较和偏离度评价的具体方法是:将在各个技能点区域内采集到的各个属性关注点的“训练数据”与“样板数据”,按照现场全景摄像机提供的时间轴标记点进行特征比较;比较之后根据教学设计中确定的阈值产生比较结果,通过一次权重修正系数进行修正后,利用一次特征改进雷达图评价方法进行评价;将评价结果采用相对误差计算公式进行偏离度计算,产生学习者在各个技能点区域训练操作时采集的训练数据与样板数据之间的偏离度评价结果,据此产生偏离度自动反馈数据和补充学习纠偏建议,反馈到智能学习终端和智能教学终端;将各个技能点区域内采集数据的一次特征改进雷达图评价结果,通过二次权重修正系数进行修正,利用二次特征改进雷达图评价方法进行评价,评价结果采用相对误差计算公式进行偏离度计算,产生学习者的本科目训练全流程的综合评价成绩,反馈到智能学习终端和智能教学终端;偏离度自动反馈数据和补充学习纠偏建议的产生,主要是针对关键技能点区域的操作内容;
在相似度比较计算中,需要根据专业教学要求分别设置阈值,形成量化的比较结果;相似度比较计算中的相关阈值和权重系数在专业教学设计中确定,并且在训练科目开始之前通过智能教学终端APP中的科目训练资源导入模块录入到系统之内。
15.如权利要求13或14所述的专业技能实训辅助教学方法,其特征在于,
对各技能点区域内采集数据的一次特征改进雷达图评价方法如下:
通过现场信息采集设备,采集到各技能点区域内的各个属性关注点的现场数据,包括“学习者训练数据”和“科目训练示范数据”,通过现场数据服务器预处理之后,将带有采集时间标志的各个数据包上传到云端服务器内;云端服务器将采集到的各个属性关注点的“学习者训练数据”,按照现场全景摄像机提供的时间轴标记点,与“科目训练示范数据”进行特征比较,然后根据教学设计中确定的阈值进行标定量化,得到标定量化值即属性值ai;将该标定量化值按照预定的属性关注点一次权重系数qti或者qSi进行修正后,生成多条同一点出发的矢量线,由此绘制出针对每一个关键技能点和一般技能点属性评价的一次特征改进雷达图;在绘制一次特征改进雷达图时,用一根矢量线和对应的夹角来表示一个“属性关注点数据”,从同一原点出发,按照各个属性关注点的设定排列,顺时针方向顺序进行图形绘制;其中,各属性关注点的矢量线夹角与教学设计中预定的一次权重系数qti或者qSi相关联,权重系数越大、夹角越大;
根据以下公式1、公式2,分别计算出各个关键技能点区域和一般技能点区域属性的一次特征改进雷达图的面积;
其中:
At=实训科目中对应的每一个关键技能点的一次特征改进雷达图面积计算结果;即:A1是第一个关键技能点的一次特征改进雷达图面积计算结果,A2是第二个关键技能点的一次特征改进雷达图面积计算结果,以此类推;
Bs=实训科目中对应的每一个一般技能点的一次特征改进雷达图面积计算结果;即:B1是第一个一般关键技能点的一次特征改进雷达图面积计算结果,B2是第二个一般技能点的一次特征改进雷达图面积计算结果,以此类推;
n=各技能点区域内设定的属性关注点的个数;计算At时,n是关键技能点区域内设定的属性关注点个数;计算Bs时,n是一般技能点区域内设定的属性关注点个数;
qti=第t个关键技能点的第i个属性关注点的一次权重系数;在计算At的公式1中用权重系数qti
qsi=第s个一般技能点的第i个属性关注点的一次权重系数;在计算Bs的公式2中用权重系数qsi
ai=对应每一个技能点属性关注点采集的数据,经过标定量化之后再经过一次权重系数qti或qsi修正后的数据,即绘制一次特征改进雷达图时的一个轴长,即矢量线的长度;
a(i+1)mod n=与ai相邻的技能点属性关注点采集的数据,经过标定后的量化值;
当a(i+1)mod n中n=i时,a(i+1)mod n=a1;此时的模值modn是代表不同的关键技能点和一般技能点对应的属性关注点个数;
t=实训科目中在操作者的移动路线上按顺序排列的各个关键技能点的顺序编号;
s=实训科目中在操作者的移动路线上按顺序排列的各个一般技能点的顺序编号;
Bs的计算公式与At的计算公式相同,但教学设计中设置的属性关注点个数n不同,一次权重系数qti和qsi也不同。
16.如权利要求15所述的专业技能实训辅助教学方法,其特征在于,
对科目训练全流程中各个技能点评价结果的二次特征改进雷达图评价方法如下:
根据科目实训流程的技能点排列顺序,将各技能点的一次特征改进雷达图面积At、Bs按顺序排列,亦即,按照“Th1=A1、Th2=B1、Th3=A2、Th4=B2、Th5=A3、Th6=B3、Th7=A4、Th8=B4”,依次类推的顺序交替排列后,构成新的科目训练全流程数据表Th;将科目训练全流程数据表Th中的数据,按照预定的二次权重系数qTi进行修正后,生成多条从同一点出发的矢量线,由此绘制出反映训练全流程的二次特征改进雷达图;在绘制二次特征改进雷达图时,用一根矢量线和对应的夹角来表示一个技能点的相似度评价结果,从同一原点出发,按照顺时针方向的顺序进行图形绘制;其中各技能点评价结果的矢量线夹角与教学设计中预定的二次权重系数qTi相关联,权重系数越大、夹角越大;
根据以下公式3,计算出反映训练全流程的二次特征改进雷达图的面积Ch
其中:
Ch=针对技能实训科目的全流程绘制的二次特征改进雷达图面积计算结果;
h=实训科目全流程技能点数据表Th内的数据总量,是所有关键技能点和一般技能点数量的总和;
qTi=在计算Ch时,对应科目训练全流程数据表Th内顺序为i的数据的二次权重系数;i的变化范围从1到h;
Ti=科目训练全流程数据表Th中的第i个经过二次权重系数qTi修正的数据;即:T1=qT1*A1,T2=qT2*B1,T3=qT3*A2,T4=qT4*B2,T5=qT5*A3,T6=qT6*B3,以此类推下去;i的变化范围从1到h;
T(i+1)mod h=实训科目全流程数据表Th中与Ti相邻的下一个数据;
当T(i+1)mod h中h=i时,T(i+1)mod h=T1,与全流程数据表Th中第一个数据重合。
17.如权利要求16所述的专业技能实训辅助教学方法,其特征在于,
采用以下相对误差计算公式4,对各个关键技能点区域内的操作进行偏离度评价:
其中:
Δet=针对各个技能点的训练记录数据的偏离度评价结果;通常仅用于评价各关键技能点的偏离情况;在科目训练需要时也可用于评价各一般技能点的偏离情况。
t=实训科目流程中的各个技能点的顺序编号;
Tdt=各个技能点的示范样板修正数据一次特性改进雷达图面积计算结果,即At或Bs;该数据从样板数据库中获取;
Ttrt=各个技能点的训练记录修正数据一次特性改进雷达图面积计算结果,即从学习者训练数据计算获得的At或者Bs;该数据通过跟踪现场训练数据后计算获得;
采用以下相对误差计算公式5,对科目训练全流程的操作进行偏离度评价:
其中:
Δe=科目全流程训练的偏离度综合评价成绩;
Tdh=全流程示范样板修正数据二次改进雷达图面积计算结果,即针对样板数据利用公式3计算得到的Ch,该数据从样板数据库中获取;
Ttrh=全流程训练记录修正数据二次改进雷达图面积计算结果,即针对学习者训练数据利用公式3计算得到的Ch,该数据通过跟踪现场训练数据后获得。
18.如权利要求17所述的专业技能实训辅助教学方法,其特征在于,
该方法中,通过“科目训练开始—训练过程数据采集—样板数据相似度比较—训练过程跟踪评估—偏离度纠偏建议推送—ID标识关联学习观摩素材获取—科目训练再开始”的循环,构成技能科目训练中依据对现场操作数据的跟踪采集和跟踪评估,实现以ID标识为纽带的数据闭环纠偏控制的过程如下:
专业教师在训练科目的教学设计中,完成了关于科目训练过程中的细分规则设计、评价参数设计、专业资源素材准备、教学课件准备之后,通过智能教学终端上传到云端服务器中;然后通过智能教学终端,启动示范者操作的“科目训练示范数据”采集流程;现场信息采集设备采集的数据经过现场数据服务器预处理、压缩和标定后进入云端服务器,经过“运动轨迹信息提取”、“技能点属性关注点信息提取”以及识别处理之后,判别为“科目训练示范数据”存入“样板曲线模板数据库”即样板数据库;
通过现场智能教学终端APP中的ID扫描识别通信模块扫描或屏幕触摸智能化实训教材中对应章节的“训练过程跟踪评估”的ID标识,向系统服务器发出确定训练科目的指令;随后,启动学习者的现场科目训练操作;现场信息采集设备对现场的科目训练操作数据进行跟踪采集;现场数据服务器中的“现场数据信息预处理模块”对采集到的现场实时数据进行预处理,数据信息压缩传输模块将预处理之后的数据信号,经过压缩和标定后形成带有采集标志的数据包,上传到云端服务器中;云端服务器内的人工智能识别模块对上传的数据进行“运动轨迹信息提取”、“技能点属性关注点信息提取”以及识别处理之后,将跟踪采集到的数据判别为“学习者训练数据”,自动保存到训练数据库中;
之后,对应的“科目训练示范数据”和“学习者训练数据”在“相似度比较模块”中,按照预定的“细分规则设计、评价参数设计”进行相似度比较;即对各技能点区域内采集的数据按“一次特征改进雷达图”评价方法利用公式1或公式2进行评价;对科目训练全流程中各个技能点的评价结果按“二次特征改进雷达图”评价方法利用公式3进行评价;然后进入偏离度评价模块,按所述的偏离度评价方法,利用公式4计算关键技能点操作的偏离度,利用公式5计算并产生科目全流程训练偏离度情况的综合评价成绩;
云端服务器的自动反馈与纠偏建议形成及输出模块,根据“一次特征改进雷达图”评价和偏离度评价结果,对各个技能点偏离度超过阈值的部分,向学习者推送“偏离度反馈信息”和“补充学习建议”信息,信息的表达方式是与智能化实训教材中设置的ID标识一致的;云端服务器的自动反馈与纠偏建议形成及输出模块,根据“二次特征改进雷达图”评价和偏离度评价结果,向学习者推送针对科目训练全流程“偏离度反馈信息”和“补充学习建议”信息,信息的形式也是与智能化实训教材中设置的ID标识一致的;
通过对“补充学习建议”中的ID标识,学习者可以知道自己的当前训练情况和需要补充的纠偏学习内容;在“补充学习建议”中的ID标识中,学习者可以选择最适用的ID标识,从系统服务器获取学习资源;
经过关于知识点和技能点的观摩、学习之后,学习者重新开始科目训练流程,进行第二次循环,直至针对科目训练全流程的“偏离度反馈信息”满足科目训练教学设计的要求;循环次数的控制、最终训练成绩的判定,由专业教师按照教学设计中的规定执行;
以上对科目训练操作数据的闭环纠偏控制过程,通过反馈以ID标识为纽带的补充学习建议,引导学习者逐次向训练要求靠近。
19.如权利要求18所述的专业技能实训辅助教学方法,其特征在于,
根据相似度比较和偏离度评价结果,系统向学习者推送的“偏离度反馈信息”包含:(1)各技能点操作评价信息;(2)训练流程评价信息;(3)建议补充知识点和技能点知识;(4)建议观摩的示范视频信息;(5)话术类语言表达示范信息;以上信息中的(1)、(2)是“文字+标识+得分”的表达形式;后面三类是针对性补充学习建议,是以ID标识的形式表达的;其中的ID标识信息就是智能化实训教材中定义的ID标识,只要用手机APP或智能教学终端APP通过扫描或屏幕触摸智能化实训教材中不同的ID标识,就可以直接获得对应的学习资源素材;学习者对系统反馈的ID标识推送信息,可以进行选择,确定最适用的部分进行补充学习。
20.如权利要求13所述的专业技能实训辅助教学方法,其特征在于,
该方法同时适用于服务型训练科目,可应用于技能大赛成果的示范推广和区域型职业教育资源的共享应用;根据技能大赛规则要求,由专业教师对技能大赛的资源素材进行细分规则分解之后,作为科目训练示范数据,通过智能教学终端中的“示范样板信息录入模块”,录入到云端服务器中,作为“科目训练示范数据”即样板数据,形成评价依据;该样板数据具有可复制性;由此能够实现技能大赛成果的推广应用。
21.如权利要求13所述的专业技能实训辅助教学方法,其特征在于,
该方法中,“偏离度自动反馈数据闭环纠偏控制”的过程如下:
首先,通过智能教学终端APP中的ID扫描识别通信模块扫描或屏幕触摸智能化实训教材中设定的“训练过程跟踪评估”的ID标识,向系统服务器发出用户数据请求指令;
随后,启动现场科目训练操作;现场信息采集设备对现场的科目训练操作数据进行跟踪采集;现场数据服务器中的现场数据信息预处理模块对采集到的现场实时数据进行预处理,数据信息压缩传输模块将预处理之后的数据信号,经过压缩和标定后形成带有采集标志的数据包,上传到云端服务器中;云端服务器内的人工智能识别模块对上传的数据进行“运动轨迹信息提取”、“技能点属性关注点信息提取”以及识别处理之后,分别获得操作者的运动轨迹数据和细分操作数据;随后对数据的类型进行判断识别,根据判别结果输出两个分支:其一输出为“科目训练示范数据”,该数据通过“样板曲线生成”形成样板数据存入云端服务器中的样板数据库内,作为学习者训练评估时的对照数据;其二输出为“学习者训练数据”,作为训练过程中的被评估数据;
之后,对应的“科目训练示范数据”和“学习者训练数据”在云端服务器的相似度比较模块中,按照预定的“细分规则设计、评价参数设计”进行相似度比较;进行相似度比较的方法包括:对各技能点区域内采集的数据按“一次特征改进雷达图”评价方法进行评价,对科目训练全流程中各个技能点评价结果按“二次特征改进雷达图”评价方法进行结果性评价;之后,上述评价结果分别进入技能点偏离度评价模块和科目训练全流程偏离度评价模块进行偏离度计算产生偏离度评价结果;最后,通过自动反馈与纠偏建议形成及输出模块,形成并输出自动反馈信息和纠偏建议及学习资源推送;学习者通过ID标识关联获取学习观摩素材,针对性地选择最需要的内容进行观摩和补充学习;之后,科目训练重新启动;由此完成整个“偏离度自动反馈数据闭环纠偏控制”的过程。
22.如权利要求13所述的专业技能实训辅助教学方法,其特征在于,
利用现场信息采集设备进行数据采集与处理的具体方法如下:
1)、通过在实训设备上方垂直安装的全景摄像机以及配套的视频分析软件,获取每一关键帧图像中被跟踪操作者的2D像素坐标,形成带有时间轴标识的操作者的平面移动轨迹图和矢量方向图,同时产生全系统数据采集过程中的时间轴基准信息;
2)、根据预先设定的关键技能点位置和关键技能点区域范围,获得操作中的各种关键技能点属性采集数据,包括语音、语气、表情、关键词句识别、操作姿态、操作者朝向、检测数据图像、动作顺序、逻辑顺序、判断结果、操作效率、冗余操作;同时,获得KGBD传感器转换后的,操作者与实训设备和可能的“客户”之间的相对位置变化和正面朝向矢量变化方向之类的信息;图像采集的核心是对操作者的体态、姿态、正面矢量方向和手部动作进行采样和记录,采样密度为每秒12-15帧;如果操作者的动作比较频繁和细腻,则采用数据手套的形式来获得局部动作捕捉数据;RGB图像和音频信息同时也进行记录;
3)、在关键技能点区域范围中,对“操作者”和“客户”之间的语音信息进行采集和识别,并且与预设的语音信息进行关键词的比较,然后记录、保存;音频采集的核心是对操作者的表达能力和方式进行识别;主要通过长句和关键词的智能识别方法,判断操作者在关键位置时,所表达的关键信息的正确性、准确性和规范化程度;
4)、服务器对所采集到的视频信息,采用双边滤波对深度图进行的去噪保边平滑处理;根据深度图和红外CMOS内参计算摄像机坐标系下的深度信息构成点云,并变换到全局坐标系下,计算深度信息和法向量;此项操作用以获得操作者的骨骼节点的变化轨迹和骨骼间的相对位置变化和矢量图,为下一步关键技能点属性关注点的相似度比较提供一个特殊的属性参数;
5)、在需要使用测量仪器进行检测、判断的维修技能训练场合,要采集、判断仪器的显示内容;操作者观察到的检测内容,和经过思考之后选择的下一步操作,应该符合专业技术要求;操作步骤在专业上和逻辑上具有正确性和准确性;现场采集的数据要能够为操作者所采取的操作步骤提供评估依据;
6)、当操作者通过各个关键技能点操作区域时,均需重复上述1)-5)的数据采集与处理步骤和内容;将采集到的各种形式的现场数据送入现场数据服务器内,经处理后上传到云端服务器保存;
7)、在一般技能点区域内,仅仅采集操作者的运动轨迹和矢量方向的关联性信息。
CN201910645271.5A 2019-07-17 2019-07-17 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法 Active CN110364049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910645271.5A CN110364049B (zh) 2019-07-17 2019-07-17 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910645271.5A CN110364049B (zh) 2019-07-17 2019-07-17 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法

Publications (2)

Publication Number Publication Date
CN110364049A true CN110364049A (zh) 2019-10-22
CN110364049B CN110364049B (zh) 2021-03-30

Family

ID=68220304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910645271.5A Active CN110364049B (zh) 2019-07-17 2019-07-17 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法

Country Status (1)

Country Link
CN (1) CN110364049B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402333A (zh) * 2020-03-13 2020-07-10 北京百度网讯科技有限公司 参数估计方法、装置、设备和介质
CN111951651A (zh) * 2020-07-30 2020-11-17 中南民族大学 基于vr的医学超声设备实验教学系统
CN112102653A (zh) * 2020-08-27 2020-12-18 浙江水利水电学院 工程应用型人才人文教育信息交互装置及其应用方法
CN113051379A (zh) * 2021-02-24 2021-06-29 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113112382A (zh) * 2021-03-26 2021-07-13 张杏丽 一种基于云教育平台的视频交互共享系统及方法
CN113297012A (zh) * 2021-07-27 2021-08-24 浙江豪联信息科技有限公司 基于扇区数据的备份方法
CN113379207A (zh) * 2021-05-28 2021-09-10 李洪涛 实训平台的控制方法、实训平台和可读存储介质
CN114490997A (zh) * 2021-12-20 2022-05-13 安徽教育出版社 备授课教学平台资源导入方法、系统、设备及存储介质
WO2022100597A1 (zh) * 2020-11-12 2022-05-19 华为技术有限公司 动作自适应评价方法、电子设备和存储介质
CN114694450A (zh) * 2020-12-25 2022-07-01 博泰车联网科技(上海)股份有限公司 一种汽车使用的教学方法
CN115064020A (zh) * 2022-08-18 2022-09-16 安徽宝信信息科技有限公司 基于数字孪生技术的智慧教学方法、系统及存储介质
WO2023273178A1 (zh) * 2021-06-29 2023-01-05 达闼科技(北京)有限公司 机器人技能生成方法、装置、介质及云端服务器、机器人控制系统
CN116469279A (zh) * 2022-12-28 2023-07-21 润芯微科技(江苏)有限公司 一种汽车点读教学方法及系统
CN116664001A (zh) * 2023-06-13 2023-08-29 国信蓝桥教育科技股份有限公司 一种基于人工智能的学员技能评估方法及系统
CN116893884A (zh) * 2023-09-11 2023-10-17 中移(苏州)软件技术有限公司 容器化应用服务资源扩缩容方法、装置、设备及存储介质
CN117834724A (zh) * 2024-03-04 2024-04-05 中科软股教育科技(北京)股份有限公司 一种基于大数据分析的视频学习资源管理系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243687A (zh) * 2011-04-22 2011-11-16 安徽寰智信息科技股份有限公司 一种基于动作识别技术的体育教学辅助系统及其实现方法
CN102542849A (zh) * 2012-01-20 2012-07-04 东南大学 形成性评测系统
CN104867363A (zh) * 2015-05-19 2015-08-26 苏州鱼骨头电子科技有限公司 一种儿童语音点播系统
CN104977886A (zh) * 2015-06-27 2015-10-14 广东天际电器股份有限公司 一种能够识别用户地理位置、收集用户健康信息的智能饮水系统及其应用
CN105843858A (zh) * 2016-03-17 2016-08-10 广东小天才科技有限公司 一种学习资源的推送方法及装置
CN106056996A (zh) * 2016-08-23 2016-10-26 深圳市时尚德源文化传播有限公司 一种多媒体交互教学系统及方法
CN107423315A (zh) * 2017-03-23 2017-12-01 广东南方新视界传媒科技有限公司 一种户外媒体资源数据的挖掘处理方法及系统
CN107665578A (zh) * 2016-07-27 2018-02-06 上海宝康电子控制工程有限公司 基于大数据研判的交通综合管控系统及方法
CN107680431A (zh) * 2017-11-22 2018-02-09 史俊逸 一种基于多维度数据分析的辅助教学方法及辅助教学系统
CN107871414A (zh) * 2017-12-01 2018-04-03 中国人民解放军后勤工程学院 基于vr与bim技术的维修电工实训教学系统及方法
WO2018117294A1 (ko) * 2016-12-21 2018-06-28 볼보 컨스트럭션 이큅먼트 에이비 건설기계용 티칭 및 플레이백 장치 및 이를 포함하는 건설기계용 티칭 및 플레이백 시스템
CN108765224A (zh) * 2018-05-25 2018-11-06 中山大学 课程类别与出勤率分析及装置
CN109191953A (zh) * 2018-11-12 2019-01-11 重庆靶向科技发展有限公司 一种智能化教学系统及方法
CN109388746A (zh) * 2018-09-04 2019-02-26 四川文轩教育科技有限公司 一种基于学习者模型的学习资源智能推荐方法
CN109615531A (zh) * 2018-12-18 2019-04-12 厦门依实信息科技有限公司 证券市场量化投资策略的精准回测与评估系统及方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243687A (zh) * 2011-04-22 2011-11-16 安徽寰智信息科技股份有限公司 一种基于动作识别技术的体育教学辅助系统及其实现方法
CN102542849A (zh) * 2012-01-20 2012-07-04 东南大学 形成性评测系统
CN104867363A (zh) * 2015-05-19 2015-08-26 苏州鱼骨头电子科技有限公司 一种儿童语音点播系统
CN104977886A (zh) * 2015-06-27 2015-10-14 广东天际电器股份有限公司 一种能够识别用户地理位置、收集用户健康信息的智能饮水系统及其应用
CN105843858A (zh) * 2016-03-17 2016-08-10 广东小天才科技有限公司 一种学习资源的推送方法及装置
CN107665578A (zh) * 2016-07-27 2018-02-06 上海宝康电子控制工程有限公司 基于大数据研判的交通综合管控系统及方法
CN106056996A (zh) * 2016-08-23 2016-10-26 深圳市时尚德源文化传播有限公司 一种多媒体交互教学系统及方法
WO2018117294A1 (ko) * 2016-12-21 2018-06-28 볼보 컨스트럭션 이큅먼트 에이비 건설기계용 티칭 및 플레이백 장치 및 이를 포함하는 건설기계용 티칭 및 플레이백 시스템
CN107423315A (zh) * 2017-03-23 2017-12-01 广东南方新视界传媒科技有限公司 一种户外媒体资源数据的挖掘处理方法及系统
CN107680431A (zh) * 2017-11-22 2018-02-09 史俊逸 一种基于多维度数据分析的辅助教学方法及辅助教学系统
CN107871414A (zh) * 2017-12-01 2018-04-03 中国人民解放军后勤工程学院 基于vr与bim技术的维修电工实训教学系统及方法
CN108765224A (zh) * 2018-05-25 2018-11-06 中山大学 课程类别与出勤率分析及装置
CN109388746A (zh) * 2018-09-04 2019-02-26 四川文轩教育科技有限公司 一种基于学习者模型的学习资源智能推荐方法
CN109191953A (zh) * 2018-11-12 2019-01-11 重庆靶向科技发展有限公司 一种智能化教学系统及方法
CN109615531A (zh) * 2018-12-18 2019-04-12 厦门依实信息科技有限公司 证券市场量化投资策略的精准回测与评估系统及方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402333A (zh) * 2020-03-13 2020-07-10 北京百度网讯科技有限公司 参数估计方法、装置、设备和介质
CN111402333B (zh) * 2020-03-13 2023-11-14 北京百度网讯科技有限公司 参数估计方法、装置、设备和介质
CN111951651A (zh) * 2020-07-30 2020-11-17 中南民族大学 基于vr的医学超声设备实验教学系统
CN112102653A (zh) * 2020-08-27 2020-12-18 浙江水利水电学院 工程应用型人才人文教育信息交互装置及其应用方法
CN112102653B (zh) * 2020-08-27 2022-07-19 浙江水利水电学院 工程应用型人才人文教育信息交互装置及其应用方法
WO2022100597A1 (zh) * 2020-11-12 2022-05-19 华为技术有限公司 动作自适应评价方法、电子设备和存储介质
CN114694450B (zh) * 2020-12-25 2024-06-25 博泰车联网科技(上海)股份有限公司 一种汽车使用的教学方法
CN114694450A (zh) * 2020-12-25 2022-07-01 博泰车联网科技(上海)股份有限公司 一种汽车使用的教学方法
CN113051379B (zh) * 2021-02-24 2023-08-04 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113051379A (zh) * 2021-02-24 2021-06-29 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113112382A (zh) * 2021-03-26 2021-07-13 张杏丽 一种基于云教育平台的视频交互共享系统及方法
CN113379207A (zh) * 2021-05-28 2021-09-10 李洪涛 实训平台的控制方法、实训平台和可读存储介质
CN113379207B (zh) * 2021-05-28 2023-12-22 李洪涛 实训平台的控制方法、实训平台和可读存储介质
WO2023273178A1 (zh) * 2021-06-29 2023-01-05 达闼科技(北京)有限公司 机器人技能生成方法、装置、介质及云端服务器、机器人控制系统
CN113297012A (zh) * 2021-07-27 2021-08-24 浙江豪联信息科技有限公司 基于扇区数据的备份方法
CN114490997B (zh) * 2021-12-20 2024-07-30 安徽教育出版社 备授课教学平台资源导入方法、系统、设备及存储介质
CN114490997A (zh) * 2021-12-20 2022-05-13 安徽教育出版社 备授课教学平台资源导入方法、系统、设备及存储介质
CN115064020A (zh) * 2022-08-18 2022-09-16 安徽宝信信息科技有限公司 基于数字孪生技术的智慧教学方法、系统及存储介质
CN116469279A (zh) * 2022-12-28 2023-07-21 润芯微科技(江苏)有限公司 一种汽车点读教学方法及系统
CN116469279B (zh) * 2022-12-28 2023-09-15 润芯微科技(江苏)有限公司 一种汽车点读教学方法及系统
CN116664001A (zh) * 2023-06-13 2023-08-29 国信蓝桥教育科技股份有限公司 一种基于人工智能的学员技能评估方法及系统
CN116664001B (zh) * 2023-06-13 2024-02-09 国信蓝桥教育科技股份有限公司 一种基于人工智能的学员技能评估方法及系统
CN116893884B (zh) * 2023-09-11 2023-12-12 中移(苏州)软件技术有限公司 容器化应用服务资源扩缩容方法、装置、设备及存储介质
CN116893884A (zh) * 2023-09-11 2023-10-17 中移(苏州)软件技术有限公司 容器化应用服务资源扩缩容方法、装置、设备及存储介质
CN117834724A (zh) * 2024-03-04 2024-04-05 中科软股教育科技(北京)股份有限公司 一种基于大数据分析的视频学习资源管理系统
CN117834724B (zh) * 2024-03-04 2024-04-30 中科软股教育科技(北京)股份有限公司 一种基于大数据分析的视频学习资源管理系统

Also Published As

Publication number Publication date
CN110364049B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN110364049A (zh) 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
US7043194B2 (en) Learning system
CN106057001A (zh) 一种职业教育模拟教学系统
CN110322099A (zh) 评估用户在交互式计算机模拟中进行的训练活动
CN110930804A (zh) 一种基于云平台的临床医学教育系统
CN103077650A (zh) 一种测试安全认知心理与行为用的仿真培训系统装置
CN111968431A (zh) 一种远程教育教学系统
CN110706136A (zh) Ai+数字化校园建设方案研究
CN112331001A (zh) 一种基于虚拟现实技术的教学系统
CN115083628B (zh) 一种基于中医望诊客观化的医教协同系统
CN110245253A (zh) 一种基于环境信息的语义交互方法及系统
CN207851897U (zh) 基于TensorFlow的人工智能的教学系统
CN106803377A (zh) 一种英语学习管理机器人
CN113779289A (zh) 基于人工智能的绘画步骤还原系统
CN110322098A (zh) 交互式计算机模拟期间的标准操作程序反馈
CN112836945B (zh) 一种师范生教态量化评价方法
Wang et al. Exploring the potential of immersive virtual environments for learning american sign language
CN108806375A (zh) 一种基于图像识别的互动教学方法及系统
CN203134240U (zh) 一种测试安全认知心理与行为用的仿真培训装置
CN115984059A (zh) 基于协同的融合教育注意力训练方法、系统、设备及介质
CN110222166A (zh) 问答服务提供方法、装置、设备、介质及沉浸式教练系统
CN113268512B (zh) 基于互联网平台的企业岗位职业技能培训系统
CN115273582A (zh) 一种基于人工智能的课堂教学应用系统
CN114693075A (zh) 一种应用于就业前景分析功能的就业指导系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant