CN110660285A - 场景自适应的定制化智能培训方法及系统 - Google Patents
场景自适应的定制化智能培训方法及系统 Download PDFInfo
- Publication number
- CN110660285A CN110660285A CN201910904190.2A CN201910904190A CN110660285A CN 110660285 A CN110660285 A CN 110660285A CN 201910904190 A CN201910904190 A CN 201910904190A CN 110660285 A CN110660285 A CN 110660285A
- Authority
- CN
- China
- Prior art keywords
- training
- course
- equipment
- image
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012549 training Methods 0.000 title claims abstract description 371
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000011156 evaluation Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000003252 repetitive effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Human Resources & Organizations (AREA)
- Educational Technology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及一种场景自适应的定制化智能培训方法及系统,所述方法包括培训设备向培训服务器发送课程获取请求,培训服务器根据培训设备的培训进度发送对应的课程数据,培训设备拍摄前方图像给培训服务器,并采集声音数据发送至培训服务器,培训服务器根据图像和声音确定播放参数,并且由培训服务器进行人脸识别和临时编号,并在有人脸与员工的员工号相对应时,存储员工号与培训课程的对应关系。本发明通过对培训设备前方的图像识别和声音识别,从而自动定义播放参数,实现不同培训场景自适应,并且可以通过培训进度的管理,实现每个培训设备对应的定制化培训方案,适用于大范围推广应用。
Description
技术领域
本发明涉及数据处理技术领域,具体是指一种场景自适应的定制化智能培训方法及系统。
背景技术
随着互联网技术的不断发展,人们越来越多地采用在线培训的方式学习有关的课程,例如中小学生可以在网上学习英语、语文、数学等课程,厂区的员工可以一起在线学习新的产线的操作方式,公司的员工可以一起在线进行技术培训等等,实现了人们足不出户即可以学习到相关的知识,带来了很多的便利。
然而,现有的培训方式中,一般仅适用于单人培训,无法很好地应用于多人培训。对于公司集体性的培训或者厂区集体性的培训并不能很好地适用。并且在培训过程中,无法很好地实现对不同场景的适用,在不同场景中应用,尤其是在比较嘈杂的环境中,或在阳光比较强烈的户外时,无法很好地进行调整。因此,现在的在线培训方式不够灵活。
发明内容
本发明提供了一种场景自适应的定制化智能培训方法及系统,其目的在于克服现有技术中的缺陷,实现了多人的定制化智能培训方式,并且可以自动识别不同场景,定制不同的播放参数,提升用户使用体验。
为了实现上述目的,本发明具有如下构成:
该场景自适应的定制化智能培训方法,包括如下步骤:
培训中心服务器接收到培训设备的培训课程获取请求,获取发送所述培训课程获取请求的培训设备的设备ID;
根据所述培训设备的设备ID查询培训课程进度,根据所述培训课程进度确定下一待进行课程,将所述待进行课程的数据发送至所对应的培训设备,所述待进行课程的数据包括待进行课程的视频数据;
所述培训设备接收到待进行的课程的数据之后,通过前视摄像头拍摄培训设备前方的图像,将所述图像发送至所述培训中心服务器,并通过麦克风采集声音数据发送至所述培训中心服务器;
所述培训中心服务器接收到所述图像之后,计算所述图像的亮度平均值,并对所述图像进行人脸识别,计算所述图像中出现的人脸的数量,并对每个人脸进行临时编号;
所述培训中心服务器根据查询到的各个人脸的图像判断是否对应于一员工号,如果是,则将设备ID、待进行的课程ID、临时编号和员工号的对应关系进行存储;
所述培训中心服务器接收到所述声音数据之后,计算所述声音数据的音量平均值;
所述培训中心服务器根据所述图像的亮度平均值确定培训课程播放时的屏幕亮度,并根据所述声音数据的音量平均值确定培训课程播放时的音量;
所述培训中心服务器将所述培训课程播放时的屏幕亮度、培训课程播放时的音量和图像中各个人脸区域与临时编号的对应关系发送至所述培训设备;
所述培训设备接收到所述图像中各个人脸区域与临时编号的对应关系之后,通过所述培训设备的显示屏展示各个人脸区域与临时编号的对应关系;
所述培训设备接收到所述培训课程播放时的屏幕亮度和培训课程播放时的音量之后,根据该屏幕亮度和该音量播放所述待进行的课程的视频数据。
可选地,所述待进行的课程的数据还包括提问时间节点和每个提问时间节点对应的提问问题,所述培训设备播放所述待进行的课程之后,还包括如下步骤:
所述培训设备判断当前视频播放时间是否到达所述提问时间节点,如果是,则所述培训设备暂停所述待进行的课程的视频数据的播放,并播放所述提问问题。
可选地,所述培训设备播放所述提问问题之后,还包括如下步骤:
所述培训设备从各个所述临时编号中随机选择一临时编号,并播放所述临时编号和要求所述临时编号回答问题的提示语音;
所述培训设备通过麦克风录制所述临时编号所对应的用户的回答语音,并通过所述培训设备的前视摄像头采集所述临时编号所对应的用户回答问题时的图像,将所述回答语音和对应的图像以及对应的提问问题发送至所述培训服务器。
可选地,所述培训服务器接收到所述回答语音和对应的图像以及对应的提问问题之后,根据对应的图像进行人脸识别,判断识别到的人脸与回答问题的用户的临时编号是否相对应,并记录对应关系;
所述培训服务器将所述回答语音和对应的提问问题转发至工作人员终端,并获得工作人员的回答评价数据,对所述回答评价数据进行记录。
可选地,所述培训设备播放完毕所述待进行的课程的视频数据之后,还包括如下步骤:
所述培训设备将播放完毕通知发送至所述培训服务器;
所述培训服务器接收到播放完毕通知之后,统计该培训设备此次培训的所有提问问题所对应的回答评价数据,将所述回答评价数据和所对应的回答问题的用户的临时编号发送至所述培训设备;
所述培训设备接收到所述回答评价数据和所对应的回答问题的用户的临时编号之后,将所述回答评价数据和所对应的临时编号显示于所述培训设备的屏幕。
可选地,所述培训服务器接收到所述回答语音和对应的图像以及对应的提问问题并判断识别到的人脸与回答问题的用户的临时编号是否相对应之后,还包括如下步骤:
如果识别到的人脸与回答问题的用户的临时编号相对应,则所述培训服务器查找所述临时编号是否对应于一员工号,如果是,则在获取到此次回答的回答评价数据之后将所述回答评价数据存储于所述员工号所对应的员工数据;
如果识别到的人脸与回答问题的用户的临时编号不对应,则所述培训服务器查找是否存储有与该人脸相对应的用户的临时编号,如果是,则将此次回答的用户的临时编号改为与该人脸相对应的临时编号,并查找修改后的临时编号是否对应于一员工号,如果是,则在获取到此次回答的回答评价数据之后将所述回答评价数据存储于所述员工号所对应的员工数据。
可选地,所述培训服务器接收到播放完毕通知之后,在各个完成此次培训的员工号的课程培训记录中添加此次课程完成的记录。
可选地,所述培训服务器接收到所述培训设备在播放所述培训课程的视频数据之前拍摄的图像,并识别到其中存在与员工号对应的人脸的图像时,查找该员工号的课程培训记录,并判断该员工号是否对应有已完成此次课程的记录,如果存在,则所述培训服务器将该员工号所对应的临时编号添加重复培训标签,并发送至所述培训设备;
所述培训设备在到达提问时间节点从各个所述临时编号中随机选择一临时编号作为回答问题的临时编号时,随机选择一未添加重复培训标签的临时编号作为回答问题的临时编号。
本发明实施例还提供一种场景自适应的定制化智能培训系统,应用于所述的场景自适应的定制化智能培训方法,所述系统包括培训服务器和至少一培训设备,所述培训设备包括前视摄像头、屏幕、麦克风和音箱,所述培训服务器包括通信模块、进度查询模块、图像检测模块、声音检测模块、播放参数设定模块和员工信息管理模块,其中:
所述培训中心服务器的通信模块接收到培训设备的培训课程获取请求,获取发送所述培训课程获取请求的培训设备的设备ID;
所述培训中心服务器的进度查询模块根据所述培训设备的设备ID查询培训课程进度,根据所述培训课程进度确定下一待进行课程,将所述待进行课程的数据发送至所对应的培训设备,所述待进行课程的数据包括待进行课程的视频数据;
所述培训设备接收到待进行的课程的数据之后,通过前视摄像头拍摄培训设备前方的图像,将所述图像发送至所述培训中心服务器,并通过麦克风采集声音数据发送至所述培训中心服务器;
所述培训中心服务器的图像检测模块接收到所述图像之后,计算所述图像的亮度平均值,并对所述图像进行人脸识别,计算所述图像中出现的人脸的数量,并对每个人脸进行临时编号;
所述培训中心服务器的员工信息管理模块根据查询到的各个人脸的图像判断是否对应于一员工号,如果是,则将设备ID、待进行的课程ID、临时编号和员工号的对应关系进行存储;
所述培训中心服务器的声音检测模块接收到所述声音数据之后,计算所述声音数据的音量平均值;
所述培训中心服务器的播放参数设定模块根据所述图像的亮度平均值确定培训课程播放时的屏幕亮度,并根据所述声音数据的音量平均值确定培训课程播放时的音量;
所述培训中心服务器的通信模块将所述培训课程播放时的屏幕亮度、培训课程播放时的音量和图像中各个人脸区域与临时编号的对应关系发送至所述培训设备;
所述培训设备接收到所述图像中各个人脸区域与临时编号的对应关系之后,通过所述培训设备的显示屏展示各个人脸区域与临时编号的对应关系;
所述培训设备接收到所述培训课程播放时的屏幕亮度和培训课程播放时的音量之后,根据该屏幕亮度和该音量播放所述待进行的课程的视频数据。
采用了该发明中的场景自适应的定制化智能培训方法及系统,具有如下有益效果:
本发明通过对培训设备前方的图像识别和声音识别,从而自动定义播放参数,实现不同培训场景自适应的定制化培训,并且可以通过培训进度的管理,实现每个培训设备对应的定制化培训方案,同时,本发明通过对培训设备前方的图像中进行人脸识别,确定当前参加培训的人员,进行临时编号,并且存储员工号与对应的课程的关系,从而实现多人培训的智能管理,适用于大范围推广应用。
附图说明
图1为本发明一实施例的场景自适应的定制化智能培训方法的流程图;
图2为本发明一实施例的定制化智能培训方法中提问问题的流程图;
图3为本发明一实施例的培训视频播放完毕后的流程图;
图4为本发明一实施例的场景自适应的定制化智能培训系统的结构示意图。
附图标记:
培训服务器 M100
通信模块 M110
进度查询模块 M120
图像检测模块 M130
声音检测模块 M140
播放参数设定模块 M150
员工信息管理模块 M160
培训设备 M200
前视摄像头 M210
屏幕 M220
麦克风 M230
音箱 M240
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
为了解决现有技术中的技术问题,本发明提供了一种场景自适应的定制化智能培训方法。如图1所示,在本发明一实施例中,所述场景自适应的定制化智能培训方法包括如下步骤:
培训中心服务器接收到培训设备的培训课程获取请求,获取发送所述培训课程获取请求的培训设备的设备ID;
根据所述培训设备的设备ID查询培训课程进度,根据所述培训课程进度确定下一待进行课程,将所述待进行课程的数据发送至所对应的培训设备,所述待进行课程的数据包括待进行课程的视频数据;其中,培训课程进度可以是用户自定义的,例如一个公司固定使用一个培训设备,该公司内部设置一个管理员,该管理员与培训设备绑定,该管理员可以提前于培训中心服务器进行通信,定制符合自己公司需要的培训课程计划,在培训中心服务器根据培训设备的设备ID查询培训课程进度时,首先查询到培训课程计划,然后根据培训课程计划中已完成和未完成的培训课程记录确定下一待进行课程。因此,本发明可以实现定制化智能培训方式,方便不同类型的用户使用。
所述培训设备接收到待进行的课程的数据之后,通过前视摄像头拍摄培训设备前方的图像,将所述图像发送至所述培训中心服务器,并通过麦克风采集声音数据发送至所述培训中心服务器;
所述培训中心服务器接收到所述图像之后,计算所述图像的亮度平均值,并对所述图像进行人脸识别,计算所述图像中出现的人脸的数量,并对每个人脸进行临时编号;
所述培训中心服务器根据查询到的各个人脸的图像判断是否对应于一员工号,如果是,则将设备ID、待进行的课程ID、临时编号和员工号的对应关系进行存储。因此,所述培训中心服务器可以根据人脸的图像对员工的培训记录进行存储。公司的管理员可以预先将员工号和所对应的人脸图像存储于培训中心服务器。培训中心服务器可以采用图像比对的方式来进行比对,例如计算图像向量的余弦相似度,或者采用训练好的卷积神经网络模型进行图像识别等。
所述培训中心服务器接收到所述声音数据之后,计算所述声音数据的音量平均值;
所述培训中心服务器根据所述图像的亮度平均值确定培训课程播放时的屏幕亮度,并根据所述声音数据的音量平均值确定培训课程播放时的音量;具体地,在图像的亮度平均值越高时,设置培训课程播放时的屏幕亮度越高,即在图像的亮度比较高时,适当提高屏幕亮度,此处可以通过查找预设的亮度平均值与屏幕亮度的映射关系表来确定,在声音的音量平均值越高时,培训课程播放时的音量越高,即在培训设备周围的环境声音本身比较大时,提高播放的音量。因此,本发明可以自动识别不同的播放场景,来自定义播放时的亮度和音量参数,从而实现场景自适应的智能培训。
所述培训中心服务器将所述培训课程播放时的屏幕亮度、培训课程播放时的音量和图像中各个人脸区域与临时编号的对应关系发送至所述培训设备;
所述培训设备接收到所述图像中各个人脸区域与临时编号的对应关系之后,通过所述培训设备的显示屏展示各个人脸区域与临时编号的对应关系,这样可以使得每个培训对象看到自己的临时编号,在培训过程中可以使用临时编号来具体指代每个培训对象;
所述培训设备接收到所述培训课程播放时的屏幕亮度和培训课程播放时的音量之后,根据该屏幕亮度和该音量播放所述待进行的课程的视频数据。
因此,本发明通过对培训设备前方的图像识别和声音识别,从而自动定义播放参数,实现不同培训场景自适应的智能培训,培训设备在播放课程视频时,可以根据播放参数进行播放,即根据亮度设置值和音量设置值来调整视频的播放,可以适用于不同的场景,例如可以很好地适用于声音比较嘈杂的环境,或者可以很好地适用于外部光比较强的户外环境等。此外,本发明可以通过培训课程计划的自定义和培训进度的管理,实现每个培训设备对应的定制化培训方案,用户可以自定义自己需要的培训课程计划,从而实现定制化培训。进一步地,本发明通过对培训设备前方的图像中进行人脸识别,确定当前参加培训的人员,进行临时编号,并且存储员工号与对应的课程的关系,从而实现多人培训的智能管理,适用于大范围推广应用。
如图2所示,在该实施例中,所述待进行的课程的数据还包括提问时间节点和每个提问时间节点对应的提问问题,所述培训设备播放所述待进行的课程之后,还包括如下步骤:
所述培训设备判断当前视频播放时间是否到达所述提问时间节点,如果是,则所述培训设备暂停所述待进行的课程的视频数据的播放,并播放所述提问问题。
因此,通过采用本发明的智能培训方法,可以进一步增加培训过程中与培训对象的交互,提高用户的在线培训体验的真实感,提高培训效果。
具体地,所述培训设备播放所述提问问题之后,还包括如下步骤:
所述培训设备从各个所述临时编号中随机选择一临时编号,并播放所述临时编号和要求所述临时编号回答问题的提示语音,从而实现随机提问功能,可以提高培训对象在被培训过程中的专注力,进一步提高培训效果,并且在培训过程中通过提问方式对培训效果进行实时检验。
在被提问的用户回答问题时,所述培训设备通过麦克风录制所述临时编号所对应的用户的回答语音,并通过所述培训设备的前视摄像头采集所述临时编号所对应的用户回答问题时的图像,将所述回答语音和对应的图像以及对应的提问问题发送至所述培训服务器。
在该实施例中,所述培训服务器接收到所述回答语音和对应的图像以及对应的提问问题之后,根据对应的图像进行人脸识别,判断识别到的人脸与回答问题的用户的临时编号是否相对应,并记录对应关系,如果相对应,则记录此次回答问题的用户的临时编号,如果不相对应,则说明当前被培训设备随机抽到回答问题的用户可能离席或缺席,需要增加该用户的临时编号的缺席记录,如果该缺席的用户对应于一个预存的员工号,则需要将缺席记录增加到该员工号所对应的员工信息中,作为后期对员工的培训考核的一个参考因素。
所述培训服务器将所述回答语音和对应的提问问题转发至工作人员终端,由工作人员通过工作人员终端对提问问题的回答语音进行评价,所述培训服务器从所述工作人员终端获得工作人员的回答评价数据,对所述回答评价数据进行记录。其中,回答评价数据可以包括回答是否准确的判定结果、标准答案以及如果回答不准确的改正方法等信息,工作人员可以通过语音方式或文字形式来返回回答评价数据。
如图3所示,在该实施例中,所述定制化智能培训方法中,所述培训设备播放完毕所述待进行的课程的视频数据之后,还包括如下步骤:
所述培训设备将播放完毕通知发送至所述培训服务器;
所述培训服务器接收到播放完毕通知之后,统计该培训设备此次培训的所有提问问题所对应的回答评价数据,将所述回答评价数据和所对应的回答问题的用户的临时编号发送至所述培训设备;
所述培训设备接收到所述回答评价数据和所对应的回答问题的用户的临时编号之后,将所述回答评价数据和所对应的临时编号显示于所述培训设备的屏幕。如果回答评价数据包括语音,则所述培训设备进一步采用音箱播放所述回答评价数据。培训对象可以在培训结束后即时看到自己回答问题的评价和标准答案,便于培训后及时纠错和巩固。
进一步地,所述培训服务器还可以将此次培训的过程与参与培训的企业的员工的员工数据相关联。培训记录可以作为员工工作考核的一项指标。具体地,在该实施例中,所述培训服务器接收到所述回答语音和对应的图像以及对应的提问问题并判断识别到的人脸与回答问题的用户的临时编号是否相对应之后,还包括如下步骤:
如果识别到的人脸与回答问题的用户的临时编号相对应,则所述培训服务器查找所述临时编号是否对应于一员工号,如果是,则在获取到此次回答的回答评价数据之后将所述回答评价数据存储于所述员工号所对应的员工数据。该回答评价数据可以反应用户是否参加了培训以及用户的学习能力和反馈能力。因此,本发明可以自动记录员工的培训数据,而无需再采用人工考勤、人工考核等方式。
如果识别到的人脸与回答问题的用户的临时编号不对应,则所述培训服务器查找是否存储有与该人脸相对应的用户的临时编号,如果是,则将此次回答的用户的临时编号改为与该人脸相对应的临时编号,同时将之前培训设备抽到的回答问题的临时编号记录为缺席,并查找修改后的临时编号是否对应于一员工号,如果是,则在获取到此次回答的回答评价数据之后将所述回答评价数据存储于所述员工号所对应的员工数据。因此,员工数据还可以进一步反映培训对象是否在培训过程中缺席。
进一步地,在培训设备播放完毕被抽到回答问题的临时编号时,可能会因为临时编号所对应的用户缺席而长时间没有接收到用户的回答语音,此时,培训设备可以将该临时编号记录为缺席,并重新随机找到一个临时编号,并播放该新的临时编号,请对应的培训对象回答问题。在培训设备将回答语音上传至培训服务器时,可以将缺席的临时编号的缺席记录一并上传至培训服务器。
在该实施例中,所述培训服务器接收到播放完毕通知之后,在各个完成此次培训的员工号的课程培训记录中添加此次课程完成的记录。因此,本发明不仅可以实现根据培训设备对一个公司、厂区等集体的培训课程进度的管理,还可以实现对单个员工的培训课程进度的管理,实现更加灵活的培训管理方式。
在该实施例中,所述培训服务器接收到所述培训设备在播放所述培训课程的视频数据之前拍摄的图像,并识别到其中存在与员工号对应的人脸的图像时,查找该员工号的课程培训记录,并判断该员工号是否对应有已完成此次课程的记录,如果存在,则说明该员工号所对应的用户之前已经参加过该次培训,至少是第二次参加该培训课程,所述培训服务器将该员工号所对应的临时编号添加重复培训标签,并发送至所述培训设备。
对于重复参加培训的员工,其对知识的领悟和记忆与第一次参加培训的用户是不同的,因此,对于重复参加培训的员工进行提问,得到的回答无法很好地反映第一次参加培训的员工的学习能力。因此,所述培训设备在到达提问时间节点从各个所述临时编号中随机选择一临时编号作为回答问题的临时编号时,随机选择一未添加重复培训标签的临时编号作为回答问题的临时编号。
如图4所示,本发明实施例还提供一种场景自适应的定制化智能培训系统,应用于所述的场景自适应的定制化智能培训方法,所述系统包括培训服务器M100和至少一培训设备M200,所述培训设备M200包括前视摄像头M210、屏幕M220、麦克风M230和音箱M240,所述培训服务器M100包括通信模块M110、进度查询模块M120、图像检测模块M130、声音检测模块M140、播放参数设定模块M150和员工信息管理模块M160,其中:
所述培训中心服务器的通信模块M110接收到培训设备M200的培训课程获取请求,获取发送所述培训课程获取请求的培训设备M200的设备ID;
所述培训中心服务器的进度查询模块M120根据所述培训设备M200的设备ID查询培训课程进度,根据所述培训课程进度确定下一待进行课程,将所述待进行课程的数据发送至所对应的培训设备M200,所述待进行课程的数据包括待进行课程的视频数据;
所述培训设备M200接收到待进行的课程的数据之后,通过前视摄像头M210拍摄培训设备M200前方的图像,将所述图像发送至所述培训中心服务器,并通过麦克风M230采集声音数据发送至所述培训中心服务器;
所述培训中心服务器的图像检测模块M130接收到所述图像之后,计算所述图像的亮度平均值,并对所述图像进行人脸识别,计算所述图像中出现的人脸的数量,并对每个人脸进行临时编号;
所述培训中心服务器的员工信息管理模块M160根据查询到的各个人脸的图像判断是否对应于一员工号,如果是,则将设备ID、待进行的课程ID、临时编号和员工号的对应关系进行存储;
所述培训中心服务器的声音检测模块M140接收到所述声音数据之后,计算所述声音数据的音量平均值;
所述培训中心服务器的播放参数设定模块M150根据所述图像的亮度平均值确定培训课程播放时的屏幕M220亮度,并根据所述声音数据的音量平均值确定培训课程播放时的音量;
所述培训中心服务器的通信模块M110将所述培训课程播放时的屏幕M220亮度、培训课程播放时的音量和图像中各个人脸区域与临时编号的对应关系发送至所述培训设备M200;
所述培训设备M200接收到所述图像中各个人脸区域与临时编号的对应关系之后,通过所述培训设备M200的显示屏展示各个人脸区域与临时编号的对应关系;
所述培训设备M200接收到所述培训课程播放时的屏幕M220亮度和培训课程播放时的音量之后,根据该屏幕M220亮度和该音量播放所述待进行的课程的视频数据。
因此,本发明的定制化智能培训系统通过对培训设备前方的图像识别和声音识别,从而自动定义播放参数,实现不同培训场景自适应的智能培训,培训设备在播放课程视频时,可以根据播放参数进行播放,即根据亮度设置值和音量设置值来调整视频的播放,可以适用于不同的场景,例如可以很好地适用于声音比较嘈杂的环境,或者可以很好地适用于外部光比较强的户外环境等。此外,本发明可以通过培训课程计划的自定义和培训进度的管理,实现每个培训设备对应的定制化培训方案,用户可以自定义自己需要的培训课程计划,从而实现定制化培训。进一步地,本发明通过对培训设备前方的图像中进行人脸识别,确定当前参加培训的人员,进行临时编号,并且存储员工号与对应的课程的关系,从而实现多人培训的智能管理。
在该种场景自适应的定制化智能培训系统中,各个功能模块的功能均可以采用上述场景自适应的定制化智能培训方法中各个步骤的具体实施方式来实现,在此不予赘述。
与现有技术相比,采用了该发明中的场景自适应的定制化智能培训方法及系统,具有如下有益效果:
本发明通过对培训设备前方的图像识别和声音识别,从而自动定义播放参数,实现不同培训场景自适应的定制化培训,并且可以通过培训进度的管理,实现每个培训设备对应的定制化培训方案,同时,本发明通过对培训设备前方的图像中进行人脸识别,确定当前参加培训的人员,进行临时编号,并且存储员工号与对应的课程的关系,从而实现多人培训的智能管理,适用于大范围推广应用。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (9)
1.一种场景自适应的定制化智能培训方法,其特征在于,所述方法包括如下步骤:
培训中心服务器接收到培训设备的培训课程获取请求,获取发送所述培训课程获取请求的培训设备的设备ID;
根据所述培训设备的设备ID查询培训课程进度,根据所述培训课程进度确定下一待进行课程,将所述待进行课程的数据发送至所对应的培训设备,所述待进行课程的数据包括待进行课程的视频数据;
所述培训设备接收到待进行的课程的数据之后,通过前视摄像头拍摄培训设备前方的图像,将所述图像发送至所述培训中心服务器,并通过麦克风采集声音数据发送至所述培训中心服务器;
所述培训中心服务器接收到所述图像之后,计算所述图像的亮度平均值,并对所述图像进行人脸识别,计算所述图像中出现的人脸的数量,并对每个人脸进行临时编号;
所述培训中心服务器根据查询到的各个人脸的图像判断是否对应于一员工号,如果是,则将设备ID、待进行的课程ID、临时编号和员工号的对应关系进行存储;
所述培训中心服务器接收到所述声音数据之后,计算所述声音数据的音量平均值;
所述培训中心服务器根据所述图像的亮度平均值确定培训课程播放时的屏幕亮度,并根据所述声音数据的音量平均值确定培训课程播放时的音量;
所述培训中心服务器将所述培训课程播放时的屏幕亮度、培训课程播放时的音量和图像中各个人脸区域与临时编号的对应关系发送至所述培训设备;
所述培训设备接收到所述图像中各个人脸区域与临时编号的对应关系之后,通过所述培训设备的显示屏展示各个人脸区域与临时编号的对应关系;
所述培训设备接收到所述培训课程播放时的屏幕亮度和培训课程播放时的音量之后,根据该屏幕亮度和该音量播放所述待进行的课程的视频数据。
2.根据权利要求1所述的场景自适应的定制化智能培训方法,其特征在于,所述待进行的课程的数据还包括提问时间节点和每个提问时间节点对应的提问问题,所述培训设备播放所述待进行的课程之后,还包括如下步骤:
所述培训设备判断当前视频播放时间是否到达所述提问时间节点,如果是,则所述培训设备暂停所述待进行的课程的视频数据的播放,并播放所述提问问题。
3.根据权利要求2所述的场景自适应的定制化智能培训方法,其特征在于,所述培训设备播放所述提问问题之后,还包括如下步骤:
所述培训设备从各个所述临时编号中随机选择一临时编号,并播放所述临时编号和要求所述临时编号回答问题的提示语音;
所述培训设备通过麦克风录制所述临时编号所对应的用户的回答语音,并通过所述培训设备的前视摄像头采集所述临时编号所对应的用户回答问题时的图像,将所述回答语音和对应的图像以及对应的提问问题发送至所述培训服务器。
4.根据权利要求3所述的场景自适应的定制化智能培训方法,其特征在于,所述培训服务器接收到所述回答语音和对应的图像以及对应的提问问题之后,根据对应的图像进行人脸识别,判断识别到的人脸与回答问题的用户的临时编号是否相对应,并记录对应关系;
所述培训服务器将所述回答语音和对应的提问问题转发至工作人员终端,并获得工作人员的回答评价数据,对所述回答评价数据进行记录。
5.根据权利要求4所述的场景自适应的定制化智能培训方法,其特征在于,所述培训设备播放完毕所述待进行的课程的视频数据之后,还包括如下步骤:
所述培训设备将播放完毕通知发送至所述培训服务器;
所述培训服务器接收到播放完毕通知之后,统计该培训设备此次培训的所有提问问题所对应的回答评价数据,将所述回答评价数据和所对应的回答问题的用户的临时编号发送至所述培训设备;
所述培训设备接收到所述回答评价数据和所对应的回答问题的用户的临时编号之后,将所述回答评价数据和所对应的临时编号显示于所述培训设备的屏幕。
6.根据权利要求5所述的场景自适应的定制化智能培训方法,其特征在于,所述培训服务器接收到所述回答语音和对应的图像以及对应的提问问题并判断识别到的人脸与回答问题的用户的临时编号是否相对应之后,还包括如下步骤:
如果识别到的人脸与回答问题的用户的临时编号相对应,则所述培训服务器查找所述临时编号是否对应于一员工号,如果是,则在获取到此次回答的回答评价数据之后将所述回答评价数据存储于所述员工号所对应的员工数据;
如果识别到的人脸与回答问题的用户的临时编号不对应,则所述培训服务器查找是否存储有与该人脸相对应的用户的临时编号,如果是,则将此次回答的用户的临时编号改为与该人脸相对应的临时编号,并查找修改后的临时编号是否对应于一员工号,如果是,则在获取到此次回答的回答评价数据之后将所述回答评价数据存储于所述员工号所对应的员工数据。
7.根据权利要求6所述的场景自适应的定制化智能培训方法,其特征在于,所述培训服务器接收到播放完毕通知之后,在各个完成此次培训的员工号的课程培训记录中添加此次课程完成的记录。
8.根据权利要求7所述的场景自适应的定制化智能培训方法,其特征在于,所述培训服务器接收到所述培训设备在播放所述培训课程的视频数据之前拍摄的图像,并识别到其中存在与员工号对应的人脸的图像时,查找该员工号的课程培训记录,并判断该员工号是否对应有已完成此次课程的记录,如果存在,则所述培训服务器将该员工号所对应的临时编号添加重复培训标签,并发送至所述培训设备;
所述培训设备在到达提问时间节点从各个所述临时编号中随机选择一临时编号作为回答问题的临时编号时,随机选择一未添加重复培训标签的临时编号作为回答问题的临时编号。
9.一种场景自适应的定制化智能培训系统,其特征在于,应用于权利要求1至8中任一项所述的场景自适应的定制化智能培训方法,所述系统包括培训服务器和至少一培训设备,所述培训设备包括前视摄像头、屏幕、麦克风和音箱,所述培训服务器包括通信模块、进度查询模块、图像检测模块、声音检测模块、播放参数设定模块和员工信息管理模块,其中:
所述培训中心服务器的通信模块接收到培训设备的培训课程获取请求,获取发送所述培训课程获取请求的培训设备的设备ID;
所述培训中心服务器的进度查询模块根据所述培训设备的设备ID查询培训课程进度,根据所述培训课程进度确定下一待进行课程,将所述待进行课程的数据发送至所对应的培训设备,所述待进行课程的数据包括待进行课程的视频数据;
所述培训设备接收到待进行的课程的数据之后,通过前视摄像头拍摄培训设备前方的图像,将所述图像发送至所述培训中心服务器,并通过麦克风采集声音数据发送至所述培训中心服务器;
所述培训中心服务器的图像检测模块接收到所述图像之后,计算所述图像的亮度平均值,并对所述图像进行人脸识别,计算所述图像中出现的人脸的数量,并对每个人脸进行临时编号;
所述培训中心服务器的员工信息管理模块根据查询到的各个人脸的图像判断是否对应于一员工号,如果是,则将设备ID、待进行的课程ID、临时编号和员工号的对应关系进行存储;
所述培训中心服务器的声音检测模块接收到所述声音数据之后,计算所述声音数据的音量平均值;
所述培训中心服务器的播放参数设定模块根据所述图像的亮度平均值确定培训课程播放时的屏幕亮度,并根据所述声音数据的音量平均值确定培训课程播放时的音量;
所述培训中心服务器的通信模块将所述培训课程播放时的屏幕亮度、培训课程播放时的音量和图像中各个人脸区域与临时编号的对应关系发送至所述培训设备;
所述培训设备接收到所述图像中各个人脸区域与临时编号的对应关系之后,通过所述培训设备的显示屏展示各个人脸区域与临时编号的对应关系;
所述培训设备接收到所述培训课程播放时的屏幕亮度和培训课程播放时的音量之后,根据该屏幕亮度和该音量播放所述待进行的课程的视频数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904190.2A CN110660285A (zh) | 2019-09-24 | 2019-09-24 | 场景自适应的定制化智能培训方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904190.2A CN110660285A (zh) | 2019-09-24 | 2019-09-24 | 场景自适应的定制化智能培训方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110660285A true CN110660285A (zh) | 2020-01-07 |
Family
ID=69038759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910904190.2A Withdrawn CN110660285A (zh) | 2019-09-24 | 2019-09-24 | 场景自适应的定制化智能培训方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110660285A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553555A (zh) * | 2020-03-27 | 2020-08-18 | 深圳追一科技有限公司 | 培训方法、装置、计算机设备和存储介质 |
CN113706953A (zh) * | 2021-08-13 | 2021-11-26 | 国网河北省电力有限公司检修分公司 | 基于vr眼镜的变电站智能培训系统 |
CN116757524A (zh) * | 2023-05-08 | 2023-09-15 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
-
2019
- 2019-09-24 CN CN201910904190.2A patent/CN110660285A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553555A (zh) * | 2020-03-27 | 2020-08-18 | 深圳追一科技有限公司 | 培训方法、装置、计算机设备和存储介质 |
CN113706953A (zh) * | 2021-08-13 | 2021-11-26 | 国网河北省电力有限公司检修分公司 | 基于vr眼镜的变电站智能培训系统 |
CN116757524A (zh) * | 2023-05-08 | 2023-09-15 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
CN116757524B (zh) * | 2023-05-08 | 2024-02-06 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079113B (zh) | 一种人工智能控制的教学系统及其使用方法 | |
CN209980508U (zh) | 一种智慧黑板,及智慧教室的教学系统 | |
CN110660285A (zh) | 场景自适应的定制化智能培训方法及系统 | |
CN109101879B (zh) | 一种vr虚拟课堂教学的姿态交互系统及实现方法 | |
CN108399809A (zh) | 虚拟教学系统、云平台管理系统和处理终端管理系统 | |
CN105976662A (zh) | 一种基于三维模拟系统的历史教学系统 | |
CN106057001A (zh) | 一种职业教育模拟教学系统 | |
CN111275345B (zh) | 一种基于深度学习的课堂信息化评价及管理的系统及方法 | |
CN110164213A (zh) | 一种基于ai视频分析的多终端远程教育培训系统 | |
CN112581813A (zh) | 一种基于大数据的智能交互远程教育系统 | |
CN111935264A (zh) | 智慧课堂交互系统 | |
CN109889881A (zh) | 一种教师课堂教学数据采集系统 | |
CN114971975B (zh) | 在线教育平台用的学习异常提醒方法及系统 | |
CN106960609A (zh) | 一种智能化音乐教学装置及其使用方法 | |
CN110852924A (zh) | 一种基于云计算的院校用智能营销实训系统 | |
CN108769593B (zh) | 一种基于热成像技术的青少年身体监测系统及方法 | |
CN112116841A (zh) | 一种基于深度学习的个性化远程教育系统及方法 | |
CN110991943A (zh) | 一种基于云计算的教学质量评价系统 | |
CN113268512B (zh) | 基于互联网平台的企业岗位职业技能培训系统 | |
CN114936952A (zh) | 一种数字化教育互联网学习系统 | |
KR20150116604A (ko) | 실시간 지식기반 공유 스마트 러닝 시스템 및 그 방법 | |
CN112270264A (zh) | 一种多方互动教学系统 | |
CN115412679B (zh) | 一种具有直录播功能的互动教学质量测评系统及其方法 | |
CN110853428A (zh) | 基于物联网的录播控制方法及系统 | |
CN111078992A (zh) | 一种听写内容生成方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200107 |
|
WW01 | Invention patent application withdrawn after publication |