CN111785254A - 基于模拟人的自助化bls培训与考核系统 - Google Patents

基于模拟人的自助化bls培训与考核系统 Download PDF

Info

Publication number
CN111785254A
CN111785254A CN202010724746.2A CN202010724746A CN111785254A CN 111785254 A CN111785254 A CN 111785254A CN 202010724746 A CN202010724746 A CN 202010724746A CN 111785254 A CN111785254 A CN 111785254A
Authority
CN
China
Prior art keywords
bls
training
self
representing
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010724746.2A
Other languages
English (en)
Other versions
CN111785254B (zh
Inventor
曹钰
张燕姿
聂虎
白晓磊
何亚荣
刘伯夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202010724746.2A priority Critical patent/CN111785254B/zh
Publication of CN111785254A publication Critical patent/CN111785254A/zh
Application granted granted Critical
Publication of CN111785254B publication Critical patent/CN111785254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开一种基于模拟人的自助化BLS培训与考核系统，包括：自助化BLS培训与考核系统，用于培训并考核受训者的BLS理论及操作技能，并发放电子培训证书；还包括报名终端，学生终端，教师终端，师生交互终端，持证终端，所述报名终端、学生终端、教师终端、师生交互终端、持证终端均连接自助化BLS培训与考核系统。本发明可实现BLS培训与考核全过程的自助化、智能化、无接触化，使BLS培训与考核不受时间与场所的限制。本发明包括BLS培训与考核的报名、理论与技能培训及考核，以及电子证书的发放功能。智能化、自动化地真实记录并准确分析学生BLS操作过程情况，可代替教师直接对学生BLS操作过程进行考核打分，节约教师资源。

Description

基于模拟人的自助化BLS培训与考核系统
技术领域
本发明涉及医疗技术领域，尤其涉及一种基于模拟人的自助化BLS培训与考核系统。
背景技术
缺血性心脏疾病是高病死率疾病之一，是全球公认的重大公共卫生问题。缺血性心脏疾病发病时最主要的临床表现是心脏骤停。在美国，每年约有155000人因院外心脏骤停接受急救医疗，其中仅有不到8％患者存活。根据国际共识，院外心脏骤停患者治疗成功的关键在于经BLS培训的旁观者的存在，他们随时准备好，愿意并且能够采取行动进行紧急救援。有研究表明BLS培训可提高旁观者实施的心肺复苏成功率，并将院外心脏骤停患者的存活率提高2-4倍。甚至2015年1月世界卫生组织已认可将CPR培训纳入全球所有学校甚至儿童的课程中。可见，BLS培训对于提高社会人群整体心肺复苏率至关重要。但是目前在学校实施BLS培训与考核的重要障碍是缺乏教师、设备以及所涉及的高昂的费用。
目前国内BLS的培训模式依然是在固定场所，学校组织教师授课，学生上课，课后测试。教师来源常常是一线医生、护士等医务工作者。这些医务工作者常面临繁重的临床工作任务，教学时间有限，对于全民普及BLS的需求来说非常缺乏。另外所用设备常常是包含有投影仪的多媒体教室以及复苏模拟人如挪威挪度公司的复苏安妮等。复苏模拟人虽然可以对BLS中的胸外按压技能进行练习和客观评价，但是这些指标只是实施并完成BLS中的客观操作训练部分，只是完成院外心脏骤停生存链中的第二步骤。生存链中最关键的第一个步骤“识别和启动应急反应系统”以及后续步骤“快速除颤”等都需要在教师的指导下才能完成练习和测评。
近年来一些新型BLS教学培训技术被发明，如利用虚拟现实技术、基于体感识别的姿势识别技术的心肺复苏培训与考核方法。这些技术重点在于更新按压监测准确性，或提高模拟人仿真度，或基于体感探头或VR技术提高学习效率，均不能完全实现自助化，智能化真实记录并准确分析学生BLS培训和考核情况。
发明内容
本发明旨在提供一种基于基于模拟人的自助化BLS培训与考核系统，可实现BLS培训与考核的自助化、智能化、无接触化，使BLS培训与考核不受时间与场所的限制。本发明包括BLS培训与考核的报名、理论学习、理论考核、技能学习、技能考核，以及BLS培训电子证书的发放功能。
为达到上述目的，本发明是采用以下技术方案实现的：
本发明公开的基于模拟人的自助化BLS培训与考核系统，包括：
自助化BLS培训与考核系统，用于培训并考核受训者的BLS理论及操作技能，并发放电子培训证书；
报名终端，用于受训者进行网络注册、报名以及预约模拟人及考核时间；
学生终端，用于受训者进行理论和技能的自助化学习与考核，包括BLS理论学习、基于模拟人的BLS技能练习、BLS理论考核、基于模拟人的自助化BLS技能考核；
教师终端，用于教师进行线上教学、管理教学资料；
师生交互终端，用于学生在学习过程中与教师进行交流沟通；
持证终端，用于考核通过后发放电子培训证书；
所述报名终端、学生终端、教师终端、师生交互终端、持证终端均连接自助化BLS培训与考核系统。
所述基于模拟人的自助化BLS技能考核包括：
数据采集模块，所述数据采集模块用于采集受考核者在BLS技能操作全过程中的操作视频；
智能判读模块，所述智能判读模块包括语音识别模块和动作识别模块，所述语音识别模块用于提取所述操作视频中的音频数据进行语音识别判读，所述动作识别模块用于提取所述操作视频中的图像数据进行动作识别判读。
自助化考核中央控制单元，所述自助化考核中央控制单元用于控制数据采集模块和智能判读模块。
优选的，所述语音识别模块对语音的识别采用以下步骤：
a.1、提取音频数据；
a.2、建立LSTM语言模型；
a.3、建立LSTM+CPC声学模型；
a.4、构建字典；
a.5、解码后输出文本信息；
a.6、文本检查模块对文本信息数据进行文本识别判读。
优选的，在步骤a.2中，包括以下子步骤：
a.2.1、构建文本数据库，将将BLS考核内容可能涉及到的文本数据进行标注、分词；
a.2.2、建立并训练LSTM语言模型，所述LSTM模型由一个嵌入层，一个隐藏层和一个密集层组成，将文本数据库中的句子概率拆解成每个词的概率积；
其中，隐藏层由多个细胞单元构成，每个细胞单元包括输入节点(gt)、输入门(it)、内部状态节点(st)、忘记门(ft)、输出门(ot)，最终输出值的计算公式分别为：
Figure RE-GDA0002615947820000041
it＝σ(wixxt+wihht-1+bi)
ft＝σ(wfxxt+wfhht-1+bf)
st＝(gt·it+st-1·ft)
ot＝σ(woxxt+wohht-1+bo)
ht＝st·ot
上述公式中：xt代表当前时刻网络的输入值，ht-1代表上一时刻的输出值， w代表权重矩阵，wgx表示输入节点g输入值x的权重，bg，bi，bt，bo表示输入节点的偏置项，
Figure RE-GDA0002615947820000042
表示用tanh函数，σ()表示用sigmoid函数。
其中，密集层使用LSTM层输出的词汇表中每个单词的条件概率来计算句子出现的联合概率，即：
P(w1，…，wn)＝P(w1)*P(w2|w1)*…*P(wn|wn-1，…，w1)；
上述公式中：P()表示联合概率函数，wn表示句子中的第n个词，P(w2|w1) 表示句子中在出现词w1的条件下，出现词w2的概率，P(wn|wn-1，…，w1)表示出现句子中存在词wn- 1....w1条件下，出现wn的概率。
优选的，步骤a.3包括以下子步骤：
a.3.1、声学特征提取，对BLS视频信息数据中的语音进行分帧；分帧后使用线性预测编码LPCC把多个帧波形变成多个多维向量进行声学特征提取；
a.3.2、建立LSTM+CTC声学模型，将提取到的声学特征转换成音素或字词；所述LSTM+CTC声学模型包括LSTM双向网络、CTC损失函数；
所述LSTM双向网络模型用于将语音数据转换成音素，LSTM双向网络模型包括输入层，前进层(ht)，后退层(h′t)，输出层(ot)，所述前进层(ht)，后退层(h′t)，输出层(ot)的表达式分别为：
ht＝f(w1xt+w2ht-1)
h′t＝f(w3xt+w5ht-1)
ot＝g(w4ht+w6h′t)
其中，w1，w2…w6代表LSTM双向网络中的6个共享权值。
所述CTC损失函数用于对音素进行最大相似度训练，直接输出序列预测概率，CTC损失函数为：
Figure RE-GDA0002615947820000051
其中，S＝{(x1，z1)，(x2，z2)，...(xN，zN)}，表示有N个训练样本，x是输入样本，输入样本为提取的声学特征，z是对应的真实输出标签，对于其中一个样本 (x，z)，x＝(x1，x2，x3，...，xT)表示一个长度为T帧的数据，每一帧的数据是一个维度为m的向量，即每个xi∈Rm，xi是第i帧的数据经过LPC计算后得到的结果； z＝(z1，z2，z3，...zU)表示这段样本语音对应正确的音素，Nw：(Rm)T→(Rn)T代表LSTM 模型中x的变换。
优选的，
步骤a.4包括以下子步骤：
a.4.1、构建语言模型字典：为每个词赋予唯一的索引，输入向量
Figure RE-GDA0002615947820000061
输出条件概率：
Figure RE-GDA0002615947820000062
采用Softmax函数进行归一化分类，计算公式为：
Figure RE-GDA0002615947820000063
其中，ni＝(n-1)m，n-1代表前n-1个词，m表示特征向量的大小，k表示字典的大小，vi表示字典v中的第i个字，
Figure RE-GDA0002615947820000064
表示前n-1个词的条件概率；
a.4.2、构建发音字典；
步骤a.5包括：将步骤a.2中语言模型输出的概率、步骤a.3中声学模型转换出的声素、步骤a.4中字典结合解码，进行文本输出，计算公式为：
Figure RE-GDA0002615947820000065
其中，P(X|H)为声学模型，P(H│C)、P(C│L和P(L│W)分别表示状态序列对上下文相关的音素序列、上下文相关的音素序列对音素序列，以及音素序列对字序列的后验概率；P(W)为语言模型；
对新采集的受训者的BLS操作语音信息数据，重复步骤a.2-a.5，得到BLS 操作文本语句信息；
步骤a.6包括根据文本检测并抽取出关键时间点序列，并与字典进行相似度对比，
所述文本检查模块对文本信息数据进行文本识别判读的规则策略设定如下：
设置文本参数库里词语的关键字权重，权重向量W＝{w1,w2….wn}；
所述相似度对比为：计算已设定的关键字权重与新采集的文本之间的余弦相似度，计算公式为：
Figure RE-GDA0002615947820000071
xi代表句子A中每个词出现次数*权重，yi代表句子B每个词出现的次数* 权重。当夹角的余弦值接近于1或等于1时，两个文本相近；
对新转化的受训者的BLS操作语音文本数据，重复步骤5.2-5.6，得到BLS 操作语音识别判读结果。
优选的，所述动作识别模块对动作的识别包括以下步骤：
b.1、视频帧序列提取，根据音频识别结果，结合关键词匹配的时间点序列提取指定时间点的视频帧；
b.2、构建骨架序列拓朴图信息；
b.3、建立并训练ST-GCN模型；
b.4、动作分类。
优选的，步骤b.2中，所述构建骨架序列拓朴图信息以关节为图节点，以人体结构中的自然连接性和时间为图边制作骨架序列拓朴图，其表达式为：
G＝(V,E)
式中：V代表节点集，V＝{vti|t＝1,…,T,i＝1,...,N}，表示第t帧的第i个节点的特征向量F(vti)；E代表边的集合，有两个子集组成，第一个子集是每一帧帧内骨骼点的链接Es＝{vtivtj|(i,j)∈H},H表示人体骨骼点集合，第二个子集表示不同帧间的链接，Ef＝{vtiv(t+1)i}。
优选的，所述ST-GCN模型包括输入层、初始化层、三层卷积层、池化层、全链接层、输出层，其中，每层卷积层包括一个ATT单元，一个GCN单元，一个TCN 单元；卷积层的输入与输出公式如下：
Figure RE-GDA0002615947820000081
其中，fin代表输入通道数为c的特征图，卷积核大小K*K；B(vti)代表采样函数，lti(vtj)代表单帧标签图，w(lti(vtj))代表权重方程，Zti(vtj)代表归一化项。将空间域的模型扩展到时间域中，采样函数更换为
Figure RE-GDA0002615947820000082
Γ控制时间域的卷积核大小，权重方程中lti(vtj)更换为
Figure RE-GDA0002615947820000083
优选的，所述动作分类采用softmax进行动作分类操作，得到预测动作类别的概率值。
进一步的，本发明还包括数据管理模块，所述数据管理模块包括注册登录模块，视频记录模块，成绩展示模块。
本发明的有益效果如下：
1、实现BLS培训与考核的全程自助化、智能化、无接触化，使BLS培训与考核不受时间与场所的限制。
2、实现BLS培训的自助化报名、理论学习、理论考核、技能学习、技能考核，以及BLS培训电子证书的发放功能；
3、智能化、自动化地真实记录并准确分析学生BLS操作过程情况，可代替教师直接对学生BLS操作过程进行考核打分，节约教师资源。
附图说明
图1为本发明的架构图；
图2为本发明使用流程图；
图3为基于模拟人的自助化BLS技能考核系统的架构图；
图4为智能判读模块的架构图；
图5为语音识别模块的架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
如图1所示，本发明用于培训并考核受训者的BLS理论及操作技能，并发放电子培训证书；
报名终端，用于受训者进行网络注册、报名以及预约模拟人及考核时间；
学生终端，用于受训者进行理论和技能的自助化学习与考核，包括BLS理论学习、基于模拟人的BLS技能练习、BLS理论考核、基于模拟人的自助化BLS技能考核；
教师终端，用于教师进行线上教学、管理教学资料；
师生交互终端，用于学生在学习过程中与教师进行交流沟通；
持证终端，用于考核通过后发放电子培训证书；
所述报名终端、学生终端、教师终端、师生交互终端、持证终端均连接自助化BLS培训与考核系统。
本发明的使用方法：学员在报名终端上进行网站注册报名、预约模拟人以及预约技能考核时间；学员在学生终端上进行BLS理论学习、基于模拟人的BLS 技能练习、BLS理论考核以及基于模拟人的自助化BLS技能考核；教师在教师终端上进行线上教学及教学资料管理；学员与考师在师行交互终端上进行交流沟通；学员在持证终端上持有和查看BLS培训电子证；自助化BLS培训与考核系统接收报名信息和自动建立学员档案，保存相关学习和考核数据与结果，培训完成后，发放BLS培训电子证至持证终端。可实现培训全程无纸化和数据化，考核的无师化，从而实现智能化自助化的BLS培训。
如图2所示：具体的，本发明中学员完成培训与考核的流程：学员在网站注册报名；根据网站提供的学习资料进行BLS理论自学；自学完成后在网站上进行 BLS理论自测考核；若理论考核通过则进行模拟人预约，若理论考核不通过则重新进行理论学习；预约模拟人完成后进行基于模拟人的BLS技能练习，学员边看教学视频边练习；练习完成后预约技能考核时间；进行基于模拟人的BLS技能考核，通过视频记录及自助化BLS考核系统对操作过程评分；若考核通过，则获得有效期为2年的电子培训证书，或考核未通过则重新预约模拟人进行技能练习。
如图3所示，基于模拟人的自助化BLS技能考核系统包括：
数据采集模块，数据采集模块用于采集受考核者在BLS技能操作全过程中的操作视频；
智能判读模块，智能判读模块包括语音识别模块和动作识别模块，语音识别模块用于提取操作视频中的音频数据进行语音识别判读，动作识别模块用于提取所述操作视频中的图像数据进行动作识别判读。
自助化考核中央控制单元，自助化考核中央控制单元用于控制数据采集模块和智能判读模块。
具体的，数据采集模块包括登录终端，视频采集终端，模拟人终端；数据管理模块包括登录模块，视频记录模块，成绩展示模块；智能判读模块包括语音识别模块、动作识别模块。2)登录终端和登录模块记录学生登录信息；模拟人终端记录学生操作过程中的按压位置，按压深度，按压频率，每次吹气量等信息；视频采集终端通过摄像设备采集学生BLS技能操作全过程，包括学生操作过程中的动作和声音信息数据；视频记录模块，存储并输出由视频采集终端采集的视频。视频判读模块对学生的操作视频进行智能化自动化视频判读打分。成绩展示模块综合展示视频判读模块与模拟人终端输出的考核打分结果。
基于模拟人的自助化BLS技能考核系统的使用方法：步骤：1)学生通过在登录模块登录账号；2)与模拟人终端配合完成单人BLS操作；3)在视频记录模块观看已完成的操作视频；4)在成绩展示模块查询考核成绩。
如图4所示，智能判读模块包括语音识别模块、动作识别模块。1)语音识别模块提取视频信息数据中的音频数据进行语音识别判读；2)动作识别模块提取视频信息数据中的图像数据进行动作识别判读。
具体的，1、如图5所示：提取视频信息数据中的音频数据进行语音识别判读，包含语音识别模块、文本检测模块。步骤：1)提取音频数据；2)建立LSTM 语言模型；3)建立LSTM+CPC声学模型；4)构建字典；5)解码后输出文本信息； 6)文本检查模块对文本信息数据进行文本识别判读。
1.1、其中，建立LSTM语言模型的步骤如下：1)构建文本数据库；2)建立并训练LSTM语言模型；
1.1.1、构建文本数据库：将BLS考核内容可能涉及到的文本数据如“前方有人倒地”“确保现场安全”“先生先生你怎么了”“女士醒一醒”“呼之不应，无呼吸”“喂，120”“有人晕倒”“街道小区楼栋”“需要AED”，“无脉搏搏动”“01、02、03、04…27、28、29、30”，“AED到达”“打开电源”“连接电极片”“除颤”“继续胸外按压”“脉搏恢复”“意识恢复”“可触及脉搏搏动”等进行人工标注、分词，构建文本数据库。
一个隐藏层和一个密集层组成，将文本数据库中的句子概率拆解成每个词的概率积。
其中，LSTM层由多个细胞单元构成，每个细胞单元包括输入节点(gt)、输入门(it)、内部状态节点(st)、忘记门(ft)、输出门(ot)，最终输出值为计算公式分别为：
Figure RE-GDA0002615947820000121
it＝σ(wixxt+wihht-1+bi)
ft＝σ(wfxxt+wfhht-1+bf)
st＝(gt·it+st-1·ft)
ot＝σ(woxxt+wohht-1+bo)
ht＝st·ot
上述公式中：xt代表当前时刻网络的输入值，ht-1代表上一时刻的输出值， w代表权重矩阵，wgx表示输入节点g输入值x的权重，bg，bi，bt，bo表示输入节点的偏置项，
Figure RE-GDA0002615947820000122
表示用tanh函数，σ()表示用sigmoid函数。
其中，密集层使用LSTM层输出的词汇表中每个单词的条件概率来计算句子出现的联合概率，即：
P(w1，…，wn)＝P(w1)*P(w2|w1)*…*P(wn|wn-1，…，w1)；
上述公式中：P()表示联合概率函数，wn表示句子中的第n个词，P(w2|w1) 表示句子中在出现词w1的条件下，出现词w2的概率，P(wn|wn-1，…，w1)表示出现句子中存在词wn- 1....w1条件下，出现wn的概率。
1.2建立LSTM+CPC声学模型。其特征在于，步骤1)声学特征提取：对BLS 视频信息数据中的语音进行分帧；分帧后使用线性预测编码LPCC把多个帧波形变成多个多维向量进行声学特征提取；2)建立LSTM+CTC声学模型，将提取到的声学特征转换成音素/字词。
其中，LSTM+CTC声学模型：包括LSTM双向网络，CTC损失函数，其特征在于，步骤：1)通过LSTM双向网络模型将语音数据转换成音素；2)通过CTC损失函数对音素进行最大相似度训练，直接输出序列预测概率。
1.2.1 LSTM双向网络模型包括输入层，前进层(ht)，后退层(h′t)，输出层 (ot)，表达式分别为：
ht＝f(w1xt+w2ht-1)
h′t＝f(w3xt+w5ht-1)
ot＝g(w4ht+w6h′t)
其中，w1，w2…w6代表LSTM双向网络中的6个共享权值。
所述CTC损失函数用于对音素进行最大相似度训练，直接输出序列预测概率，CTC损失函数为：
Figure RE-GDA0002615947820000131
其中，S＝{(x1，z1)，(x2，z2)，...(xN，zN)}，表示有N个训练样本，x是输入样本，输入样本为提取的声学特征，z是对应的真实输出标签，对于其中一个样本 (x，z)，x＝(x1，x2，x3，...，xT)表示一个长度为T帧的数据，每一帧的数据是一个维度为m的向量，即每个xi∈Rm，xi是第i帧的数据经过LPC计算后得到的结果； z＝(z1，z2，z3，...zU)表示这段样本语音对应正确的音素，Nw：(Rm)T→(Rn)T代表LSTM 模型中x的变换。
1.3、构建字典：
1.3.1构建语言模型字典：为每个词赋予唯一的索引，输入向量
Figure RE-GDA0002615947820000141
输出条件概率：
Figure RE-GDA0002615947820000142
采用Softmax函数进行归一化分类，计算公式为：
Figure RE-GDA0002615947820000143
其中，ni＝(n-1)m，n-1代表前n-1个词，m表示特征向量的大小，k表示字典的大小，vi表示字典v中的第i个字，
Figure RE-GDA0002615947820000144
表示前n-1个词的条件概率。
1.3.2构建发音字典：如“确QE”“保BO”“安AN”“全QN”等。
1.4解码后输出文本信息：其特征在于，将1.1中语言模型输出的概率、1.2 中声学模型转换出的声素、1.3中字典结合解码，进行文本输出。计算公式为：
Figure RE-GDA0002615947820000145
其中，P(X|H)为声学模型，P(H│C)、P(C│L和P(L│W)分别表示状态序列对上下文相关的音素序列、上下文相关的音素序列对音素序列，以及音素序列对字序列的后验概率；P(W)为语言模型。
1.5对新采集的学生BLS操作语音信息数据，重复步骤1.1-1.4，得到BLS 操作文本语句信息。
1.6文本检查模块对文本信息数据进行文本识别判读，其特征在于，步骤： 1)检测；2)规则策略设定；3)相似度对比。
1.6.1检测：根据文本检测并抽取出关键时间点序列，文本检测结果如“前方有人倒地，确保现场安全”作为序列1，“先生先生你怎么了”“女士醒一醒”“呼之不应，无呼吸”作为序列2，“喂，120”“有人晕倒”“街道小区楼栋”“需要AED”作为序列3，“无脉搏搏动”“01、02、03、04…27、28、29、30”作为序列4，“AED到达”“打开电源”“连接电极片”“除颤”“继续胸外按压”作为序列5,“脉搏恢复”“意识恢复”“可触及脉搏搏动”作为序列6。
1.6.2规则策略设定：设置文本参数库里词语的关键字权重，权重向量 W＝{w1,w2….wn}，其中
Figure RE-GDA0002615947820000151
如“前方有人倒地，确保周围环境安全”关键词为：倒地，确保，环境，安全，则权重为(0,0,0.2,0.3,0,0.1,0.3)。
1.6.3相似度对比：计算已设定的关键字权重与新采集的文本之间的余弦相似度，计算公式为：
Figure RE-GDA0002615947820000152
其中，xi代表句子A中每个词出现次数*权重，yi代表句子B每个词出现的次数*权重。当夹角的余弦值接近于1或等于1时，两个文本相近。
1.7对新转化的学生BLS操作语音文本数据，重复步骤1.1-1.6，得到BLS 操作语音识别判读结果。
2、如图3所示：提取视频信息数据中的图像信息数据进行动作识别判读，包括步骤：1)视频帧序列提取；2)构建骨架序列拓朴图信息；3)建立并训练 ST-GCN模型；4)动作分类。
2.1、视频帧序列提取：根据音频识别结果，结合关键词匹配的时间点序列提取指定时间点的视频帧。
2.2、构建骨架序列拓朴图信息：以关节为图节点，以人体结构中的自然连接性和时间为图边制作骨架序列拓朴图(时空图)，计算公式为：
G＝(V,E)
V代表节点集，V＝{vti|t＝1,…,T,i＝1,...,N}，表示第t帧的第i个节点的特征向量F(vti)；E代表边的集合，有两个子集组成，第一个子集是每一帧帧内骨骼点的链接Es＝{vtivtj|(i,j)∈H},H表示人体骨骼点集合。第二个子集表示不同帧间的链接，Ef＝{vtiv(t+1)i}。
2.3、建立并训练ST-GCN模型，包括输入层，初始化层，三层卷积层，池化层，全链接层，输出层。其中，每层卷积层包括一个ATT单元，一个GCN单元，一个TCN单元。
卷积层的输入与输出公式：
Figure RE-GDA0002615947820000161
其中，fin代表输入通道数为c的特征图，卷积核大小K*K；B(vtj)代表采样函数，lti(vtj)代表单帧标签图，w(lti(vtj))代表权重方程，Zti(vtj)代表归一化项。将空间域的模型扩展到时间域中，采样函数更换为
Figure RE-GDA0002615947820000163
Γ控制时间域的卷积核大小，权重方程中lti(vtj)更换为
Figure RE-GDA0002615947820000162
2.4、输出动作分类：采用softmax进行动作分类操作，得到预测动作类别的概率值。
2.5、对新采集的学生BLS操作图像信息数据，重复步骤2.1-2.4，得到BLS操作动作识别判读结果。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.基于模拟人的自助化BLS培训与考核系统，其特征在于，包括：
自助化BLS培训与考核系统，用于培训并考核受训者的BLS理论及操作技能，并发放电子培训证书；
报名终端，用于受训者进行网络注册、报名以及预约模拟人及考核时间；
学生终端，用于受训者进行理论和技能的自助化学习与考核，包括BLS理论学习、基于模拟人的BLS技能练习、BLS理论考核、基于模拟人的自助化BLS技能考核；
教师终端，用于教师进行线上教学、管理教学资料；
师生交互终端，用于学生在学习过程中与教师进行交流沟通；
持证终端，用于考核通过后发放电子培训证书；
所述报名终端、学生终端、教师终端、师生交互终端、持证终端均连接自助化BLS培训与考核系统。
所述基于模拟人的自助化BLS技能考核包括：
数据采集模块，所述数据采集模块用于采集受考核者在BLS技能操作全过程中的操作视频；
智能判读模块，所述智能判读模块包括语音识别模块和动作识别模块，所述语音识别模块用于提取所述操作视频中的音频数据进行语音识别判读，所述动作识别模块用于提取所述操作视频中的图像数据进行动作识别判读。
自助化考核中央控制单元，所述自助化考核中央控制单元用于控制数据采集模块和智能判读模块。
2.根据权利要求1所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，所述语音识别模块对语音的识别采用以下步骤：
a.1、提取音频数据；
a.2、建立LSTM语言模型；
a.3、建立LSTM+CPC声学模型；
a.4、构建字典；
a.5、解码后输出文本信息；
a.6、文本检查模块对文本信息数据进行文本识别判读。
3.根据权利要求2所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，在步骤a.2中，包括以下子步骤：
a.2.1、构建文本数据库，将将BLS考核内容可能涉及到的文本数据进行标注、分词；
a.2.2、建立并训练LSTM语言模型，所述LSTM模型由一个嵌入层，一个隐藏层和一个密集层组成，将文本数据库中的句子概率拆解成每个词的概率积；
其中，隐藏层由多个细胞单元构成，每个细胞单元包括输入节点(gt)、输入门(it)、内部状态节点(st)、忘记门(ft)、输出门(ot)，最终输出值的计算公式分别为：
Figure RE-FDA0002615947810000021
lt＝σ(wixxt+wihht-1+bi)
ft＝σ(wfxxt+wfhht-1+bf)
st＝(gt·it+st-1·ft)
ot＝σ(woxxt+wohht-1+bo)
ht＝st·ot
上述公式中：xt代表当前时刻网络的输入值，ht-1代表上一时刻的输出值，w代表权重矩阵，wgx表示输入节点g输入值x的权重，bg，bi，bt，bo表示输入节点的偏置项，
Figure RE-FDA0002615947810000031
表示用tanh函数，σ()表示用sigmoid函数。
其中，密集层使用LSTM层输出的词汇表中每个单词的条件概率来计算句子出现的联合概率，即：
P(w1，…，wn)＝P(w1)*P(w2|w1)*…*P(wn|wn-1，…，w1)；
上述公式中：P()表示联合概率函数，wn表示句子中的第n个词，P(w2|w1)表示句子中在出现词w1的条件下，出现词w2的概率，P(wn|wn-1，…，w1)表示出现句子中存在词wn-1....w1条件下，出现wn的概率。
4.根据权利要求3所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，步骤a.3包括以下子步骤：
a.3.1、声学特征提取，对BLS视频信息数据中的语音进行分帧；分帧后使用线性预测编码LPCC把多个帧波形变成多个多维向量进行声学特征提取；
a.3.2、建立LSTM+CTC声学模型，将提取到的声学特征转换成音素或字词；所述LSTM+CTC声学模型包括LSTM双向网络、CTC损失函数；
所述LSTM双向网络模型用于将语音数据转换成音素，LSTM双向网络模型包括输入层，前进层(ht)，后退层(h′t)，输出层(ot)，所述前进层(ht)，后退层(h′t)，输出层(ot)的表达式分别为：
ht＝f(w1xt+w2ht-1)
h′t＝f(w3xt+w5ht-1)
ot＝g(w4ht+w6h't)
其中，w1,w2…w6代表LSTM双向网络中的6个共享权值。
所述CTC损失函数用于对音素进行最大相似度训练，直接输出序列预测概率，CTC损失函数为：
Figure RE-FDA0002615947810000041
其中，S＝{(x1,z1),(x2,z2),...(xN,zN)},表示有N个训练样本，x是输入样本，输入样本为提取的声学特征，z是对应的真实输出标签，对于其中一个样本(x,z)，x＝(x1,x2,x3,...,xT)表示一个长度为T帧的数据，每一帧的数据是一个维度为m的向量，即每个xi∈Rm，xi是第i帧的数据经过LPC计算后得到的结果；z＝(z1,z2,z3,...zU)表示这段样本语音对应正确的音素，Nw:(Rm)T→(Rn)T代表LSTM模型中x的变换。
5.根据权利要求2所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，
步骤a.4包括以下子步骤：
a.4.1、构建语言模型字典：为每个词赋予唯一的索引，输入向量
Figure RE-FDA0002615947810000042
输出条件概率
Figure RE-FDA0002615947810000043
采用Softmax函数进行归一化分类，计算公式为：
Figure RE-FDA0002615947810000044
其中，ni＝(n-1)m，n-1代表前n-1个词，m表示特征向量的大小，k表示字典的大小，vi表示字典v中的第i个字，
Figure RE-FDA0002615947810000051
表示前n-1个词的条件概率；
a.4.2、构建发音字典；
步骤a.5包括：将步骤a.2中语言模型输出的概率、步骤a.3中声学模型转换出的声素、步骤a.4中字典结合解码，进行文本输出，计算公式为：
Figure RE-FDA0002615947810000052
其中，P(X|H)为声学模型，P(H│C)、P(C│L和P(L│W)分别表示状态序列对上下文相关的音素序列、上下文相关的音素序列对音素序列，以及音素序列对字序列的后验概率；P(W)为语言模型；
对新采集的受训者的BLS操作语音信息数据，重复步骤a.2-a.5，得到BLS操作文本语句信息；
步骤a.6包括根据文本检测并抽取出关键时间点序列，并与字典进行相似度对比，
所述文本检查模块对文本信息数据进行文本识别判读的规则策略设定如下：
设置文本参数库里词语的关键字权重，权重向量W＝{w1,w2….wn}；
所述相似度对比为：计算已设定的关键字权重与新采集的文本之间的余弦相似度，计算公式为：
Figure RE-FDA0002615947810000053
xi代表句子A中每个词出现次数*权重，yi代表句子B每个词出现的次数*权重。当夹角的余弦值接近于1或等于1时，两个文本相近；
对新转化的受训者的BLS操作语音文本数据，重复步骤5.2-5.6，得到BLS操作语音识别判读结果。
6.根据权利要求1-5任一项所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，所述动作识别模块对动作的识别包括以下步骤：
b.1、视频帧序列提取，根据音频识别结果，结合关键词匹配的时间点序列提取指定时间点的视频帧；
b.2、构建骨架序列拓朴图信息；
b.3、建立并训练ST-GCN模型；
b.4、动作分类。
7.根据权利要求6所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，步骤b.2中，所述构建骨架序列拓朴图信息以关节为图节点，以人体结构中的自然连接性和时间为图边制作骨架序列拓朴图，其表达式为：
G＝(V,E)
式中：V代表节点集，V＝{vti|t＝1,…,T,i＝1,...,N}，表示第t帧的第i个节点的特征向量F(vti)；E代表边的集合，有两个子集组成，第一个子集是每一帧帧内骨骼点的链接Es＝{vtivtj|(i,j)∈H},H表示人体骨骼点集合，第二个子集表示不同帧间的链接，Ef＝{vtiv(t+1)i}。
8.根据权利要求7所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，所述ST-GCN模型包括输入层、初始化层、三层卷积层、池化层、全链接层、输出层，其中，每层卷积层包括一个ATT单元，一个GCN单元，一个TCN单元；卷积层的输入与输出公式如下：
Figure RE-FDA0002615947810000061
其中，fin代表输入通道数为c的特征图，卷积核大小K*K；B(vti)代表采样函数，lti(vtj)代表单帧标签图，w(lti(vtj))代表权重方程，Zti(vtj)代表归一化项。将空间域的模型扩展到时间域中，采样函数更换为
Figure RE-FDA0002615947810000071
Γ控制时间域的卷积核大小，权重方程中lti(vtj)更换为
Figure RE-FDA0002615947810000072
9.根据权利要求8所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，所述动作分类采用softmax进行动作分类操作，得到预测动作类别的概率值。
10.根据权利要求1所述的基于模拟人的自助化BLS培训与考核系统，其特征在于，还包括数据管理模块，所述数据管理模块包括注册登录模块，视频记录模块，成绩展示模块。
CN202010724746.2A 2020-07-24 2020-07-24 基于模拟人的自助化bls培训与考核系统 Active CN111785254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010724746.2A CN111785254B (zh) 2020-07-24 2020-07-24 基于模拟人的自助化bls培训与考核系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010724746.2A CN111785254B (zh) 2020-07-24 2020-07-24 基于模拟人的自助化bls培训与考核系统

Publications (2)

Publication Number Publication Date
CN111785254A true CN111785254A (zh) 2020-10-16
CN111785254B CN111785254B (zh) 2023-04-07

Family

ID=72764157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010724746.2A Active CN111785254B (zh) 2020-07-24 2020-07-24 基于模拟人的自助化bls培训与考核系统

Country Status (1)

Country Link
CN (1) CN111785254B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299386A (zh) * 2021-05-08 2021-08-24 北京大学第三医院（北京大学第三临床医学院） 一种临床思维评价方法及装置
CN114172688A (zh) * 2021-11-05 2022-03-11 四川大学 基于gcn-dl的加密流量网络威胁关键节点自动提取方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070100618A1 (en) * 2005-11-02 2007-05-03 Samsung Electronics Co., Ltd. Apparatus, method, and medium for dialogue speech recognition using topic domain detection
CN107123330A (zh) * 2017-05-27 2017-09-01 青岛光电医疗科技有限公司 一种自动体外除颤器培训考核设备及培训考核方法
CN107705787A (zh) * 2017-09-25 2018-02-16 北京捷通华声科技股份有限公司 一种语音识别方法及装置
US20180260490A1 (en) * 2016-07-07 2018-09-13 Tencent Technology (Shenzhen) Company Limited Method and system for recommending text content, and storage medium
CN109583397A (zh) * 2018-12-05 2019-04-05 沈阳聚德视频技术有限公司 一种电梯检验考试人工智能评判系统的实现方法
CN110263343A (zh) * 2019-06-24 2019-09-20 北京理工大学 基于短语向量的关键词抽取方法及系统
CN110705275A (zh) * 2019-09-18 2020-01-17 东软集团股份有限公司 主题词提取方法、装置、存储介质及电子设备
CN110796910A (zh) * 2019-11-13 2020-02-14 南昌佰米哥物联科技有限公司 一种高效应急培训系统和培训方法
CN110990649A (zh) * 2019-12-05 2020-04-10 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） 基于姿势识别技术的心肺复苏术互动培训系统
CN111768758A (zh) * 2020-07-24 2020-10-13 四川大学华西医院 基于视频判读技术的自助化基础生命支持考核系统
CN112233516A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种医师cpr考试训练与考核的评分方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070100618A1 (en) * 2005-11-02 2007-05-03 Samsung Electronics Co., Ltd. Apparatus, method, and medium for dialogue speech recognition using topic domain detection
US20180260490A1 (en) * 2016-07-07 2018-09-13 Tencent Technology (Shenzhen) Company Limited Method and system for recommending text content, and storage medium
CN107123330A (zh) * 2017-05-27 2017-09-01 青岛光电医疗科技有限公司 一种自动体外除颤器培训考核设备及培训考核方法
CN107705787A (zh) * 2017-09-25 2018-02-16 北京捷通华声科技股份有限公司 一种语音识别方法及装置
CN109583397A (zh) * 2018-12-05 2019-04-05 沈阳聚德视频技术有限公司 一种电梯检验考试人工智能评判系统的实现方法
CN110263343A (zh) * 2019-06-24 2019-09-20 北京理工大学 基于短语向量的关键词抽取方法及系统
CN110705275A (zh) * 2019-09-18 2020-01-17 东软集团股份有限公司 主题词提取方法、装置、存储介质及电子设备
CN110796910A (zh) * 2019-11-13 2020-02-14 南昌佰米哥物联科技有限公司 一种高效应急培训系统和培训方法
CN110990649A (zh) * 2019-12-05 2020-04-10 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） 基于姿势识别技术的心肺复苏术互动培训系统
CN111768758A (zh) * 2020-07-24 2020-10-13 四川大学华西医院 基于视频判读技术的自助化基础生命支持考核系统
CN112233516A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种医师cpr考试训练与考核的评分方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SIJIE YAN，等: "Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action", 《ARXIV.ORG/ABS/1801.07455》 *
TIANWANG，等: "LARGER-CONTEXT LANGUAGE MODELLING WITH RECURRENT NEURAL NETWORK", 《ARXIV.ORG/ABS/1511.03729》 *
王松: "基于LSTM-CTC的藏语拉萨话语音识别系统", 《中国优秀硕士学位论文全文数据库》 *
邵欣，等: "《物联网技术及应用》", 31 May 2018 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299386A (zh) * 2021-05-08 2021-08-24 北京大学第三医院（北京大学第三临床医学院） 一种临床思维评价方法及装置
CN114172688A (zh) * 2021-11-05 2022-03-11 四川大学 基于gcn-dl的加密流量网络威胁关键节点自动提取方法
CN114172688B (zh) * 2021-11-05 2023-03-24 四川大学 基于gcn-dl的加密流量网络威胁关键节点自动提取方法

Also Published As

Publication number Publication date
CN111785254B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110556129B (zh) 双模态情感识别模型训练方法及双模态情感识别方法
KR20160077200A (ko) 언어-관련 장애들의 진단 및 치료를 위한 컴퓨팅 기술들
Hilger et al. Second language acquisition across modalities: Production variability in adult L2 learners of American Sign Language
CN111785254B (zh) 基于模拟人的自助化bls培训与考核系统
CN111768758B (zh) 基于视频判读技术的自助化基础生命支持考核系统
Villatoro-Tello et al. Late Fusion of the Available Lexicon and Raw Waveform-Based Acoustic Modeling for Depression and Dementia Recognition.
Qian et al. English language teaching based on big data analytics in augmentative and alternative communication system
Ray et al. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression
Lashari et al. Unlocking the potentials of ChatGPT: The efficacy of ChatGPT in ESL learning outcomes
CN110956142A (zh) 一种智能交互培训系统
Dewi et al. The use of AI (Artificial Intelligence) in English learning among university student: Case study in English Department, Universitas Airlangga
Hu The evaluation method of English teaching efficiency based on language recognition technology
Gong et al. Review of the summer institute in cognitive sciences 2010: The origins of language
Gromang et al. The development of video analysis instrument to determine teacher's character
Zurloni et al. Addressing emotions within e-learning systems
Sheng et al. The model of e-learning based on affective computing
Liu [Retracted] Research on Network Oral English Teaching System Based on Machine Learning
Jingning Speech recognition based on mobile sensor networks application in English education intelligent assisted learning system
Ochoa-Guaraca et al. A robotic assistant to support the development of communication skills of children with disabilities
Algahreeb et al. A Survey of Information Technology Applications to Treat Fear of Public Speaking
Zhang et al. CSFQGD: Chinese Sentence Fill-in-the-blank Question Generation Dataset for Examination
Patil et al. Real Time Mock Interview using Deep Learning
Piot et al. Joint analysis of verbal and nonverbal interactions in collaborative E-learning
Utomo et al. KAMUBISAKUL application to Facilitate students with hearing impairments to follow the lecture process
Jin et al. Development and application of teaching model for medical humanities education using artificial intelligence and digital humans technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant