CN118314778A - 基于增强现实的学习障碍儿童辅助教学系统 - Google Patents
基于增强现实的学习障碍儿童辅助教学系统 Download PDFInfo
- Publication number
- CN118314778A CN118314778A CN202410153790.0A CN202410153790A CN118314778A CN 118314778 A CN118314778 A CN 118314778A CN 202410153790 A CN202410153790 A CN 202410153790A CN 118314778 A CN118314778 A CN 118314778A
- Authority
- CN
- China
- Prior art keywords
- learning
- server
- augmented reality
- auxiliary teaching
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 37
- 201000003723 learning disability Diseases 0.000 title claims abstract description 20
- 208000020358 Learning disease Diseases 0.000 title claims abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims description 14
- 230000005236 sound signal Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000001771 impaired effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000010399 physical interaction Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000022119 inability to concentrate Diseases 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000001584 occupational therapy Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了基于增强现实的学习障碍儿童辅助教学系统，所述系统包括：教师客户端，负责制定若干种辅助教学方案，并将制定的辅助教学方案发送给服务器；服务器，用于对辅助教学方案进行存储；学生客户端，用于向服务器发送辅助教学请求指令，并根据设置的筛选条件从服务器中获取对应的辅助教学方案；增强现实设备，用于对选定的辅助教学方案进行显示；摄像头和麦克风，用于对用户在学习过程中的学习状态数据进行采集，并将学习状态数据存储到学生客户端，同时，将学习状态数据上传给服务器；教师客户端，根据学习状态数据，对辅助教学方案进行修正，并将修正后的辅助教学方案更新到服务器中。
Description
技术领域
本发明涉及辅助教学技术领域，特别是涉及基于增强现实的学习障碍儿童辅助教学系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
学习障碍儿童是指中枢神经系统功能失常所致的特殊教育障碍儿童。这些儿童在言语、语言、社交技能、动作技能等方面存在明显的缺陷和障碍，表现为诵读、书写、拼音、计算、排序困难，语言表达和理解能力差，动作不协调，视、听、空间知觉能力差，无法集中注意力，对学习没有兴趣等。这些儿童与同龄儿童相比，智商基本正常，甚至超过同龄儿童，但在某些学科或领域的学习成绩明显低于同龄儿童。大多数儿童需要接受特殊教育和职业治疗，以促进他们的学习和发展。对于学习障碍儿童，学习汉字、拼音以及数学是一项困难和繁重的任务。传统的学习方法不能适合这些特殊儿童的实际需要，往往无法得到很好的学习效果。特殊儿童往往需要一种更加个性化、直观化、多元化的学习方式，来提高学习效果和兴趣。
目前，为了实现特殊儿童的个性化需求，往往需要教师根据儿童的身心缺陷情况以及学习情况去设计教学形式，设计教辅具进行补救教学。这种因人而异的教学材料准备工作十分繁杂，而且缺乏规范化流程与材料的可用性。
发明内容
为了解决现有技术的不足，本发明提供了基于增强现实的学习障碍儿童辅助教学系统；通过实物交互、触控交互等多样的交互手段保证学生个性化学习需求的前提下，既做到过程规范、教学材料可复用，又通过引入增强显示的交互技术保证特殊儿童对于学习过程的趣味性需求。
一方面，提供了基于增强现实的学习障碍儿童辅助教学系统，包括：
教师客户端，负责制定若干种辅助教学方案，并将制定的辅助教学方案发送给服务器；
服务器，用于对辅助教学方案进行存储；
学生客户端，用于向服务器发送辅助教学请求指令，并根据设置的筛选条件从服务器中获取对应的辅助教学方案；
增强现实设备，用于对选定的辅助教学方案进行显示；
摄像头和麦克风，用于对用户在学习过程中的学习状态数据进行采集，并将学习状态数据存储到学生客户端，同时，将学习状态数据上传给服务器；
教师客户端，根据学习状态数据，对辅助教学方案进行修正，并将修正后的辅助教学方案更新到服务器中。
上述技术方案具有如下优点或有益效果：
本发明采用了智能学习算法和人工智能技术，可以根据特殊儿童的学习能力和学习习惯进行个性化配置，从而满足不同儿童的学习需求。
本发明通过图像和声音的交互，使得学习过程更加可视化和生动，让儿童更容易理解和掌握知识点。
本发明通过与卡片互动，实现了儿童与设备之间的互动式学习，使得学习变得更加有趣和富有挑战性。
本发明采用了散热孔设计和音量调节功能区域，保证了设备的稳定性和舒适性，让儿童在学习过程中更加轻松自在。
本发明采用了识别桌垫技术，保证了设备与桌垫的匹配性和稳定性，同时避免了设备因为外界干扰而引起的故障和损坏。
综上所述，本发明的优点主要是为特殊儿童提供了一个个性化、可视化、互动式、舒适的学习环境，旨在促进他们的学习和发展。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的系统功能模块图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
实施例一
如图1所示，基于增强现实的学习障碍儿童辅助教学系统，包括：
教师客户端，负责制定若干种辅助教学方案，并将制定的辅助教学方案发送给服务器；
服务器，用于对辅助教学方案进行存储；
学生客户端，用于向服务器发送辅助教学请求指令，并根据设置的筛选条件从服务器中获取对应的辅助教学方案；
增强现实设备，用于对选定的辅助教学方案进行显示；
摄像头和麦克风，用于对用户在学习过程中的学习状态数据进行采集，并将学习状态数据存储到学生客户端，同时，将学习状态数据上传给服务器；
教师客户端，根据学习状态数据，对辅助教学方案进行修正，并将修正后的辅助教学方案更新到服务器中。
进一步地，所述摄像头，用于对指定识别区域内实体卡片的汉字、拼音或数字进行识别。
进一步地，所述增强现实设备，输出拼音的发音，麦克风采集用户在学习过程中发出的声音信号，摄像头采集用户在学生过程中的唇部图像；将采集的声音信号和唇部图像均发送给服务器；
服务器提取声音信号的特征，将待识别声音信号特征与预设标准声音信号特征进行第一相似度计算；根据第一相似度，得到声音信号的评估分值；
服务器提取唇部图像的边缘轮廓特征，将待识别的边缘轮廓特征与预设标准边缘轮廓特征进行第二相似度计算；根据第二相似度，得到唇部图像的评估分值；
对声音信号的评估分值和唇部图像的评估分值进行求和，得到拼音的发音得分。
进一步地，所述增强现实设备，输出指定汉字的笔顺，摄像头采集用户在学生过程中的书写视频，将书写视频发送给服务器；
服务器提取书写视频中的书写轨迹，将书写轨迹与预设的笔顺轨迹进行第三相似度计算；根据第三相似度，得到书写汉字笔顺的得分。
进一步地，所述增强现实设备，输出数学运算式，摄像头采集用户在学习过程中的书写答案，将书写答案图像发送给服务器；
服务器提取书写答案图像中的数字，将提取的数字与预设数字进行第四相似度计算；根据第四相似度，得到数学运算的得分。
进一步地，所述增强现实设备，输出待背诵诗词文本以及待背诵诗词的音频和视频，摄像头采集用户在学习过程中重复的音频；
服务器从采集音频中提取文本特征，将提取的文本特征与待背诵诗词文本进行第五相似度计算；根据第五相似度，得到待背诵诗词的得分。
进一步地，所述增强现实设备，输出标准握笔姿势视频；
摄像头采集用户在学习过程中所模仿的握笔姿势视频，将视频上传给服务器；
服务器从采集的视频中提取人体姿态特征，计算所模仿的握笔姿势视频中的人体姿态特征与标准握笔姿势视频中的人体姿态特征的第六相似度；根据第六相似度，得到握笔姿势的得分。
进一步地，所述增强现实设备，输出问题视频，所述问题视频包括预设的若干个提问问句；
摄像头采集用户在学习过程中所回应的答复视频，将答复视频上传给服务器；
服务器从采集的答复视频中提取答复语句，计算答复语句与预设的提问问句所对应的答复语句的第七相似度；根据第七相似度，得到问答互动得分。
进一步地，所述服务器，还用于对所有得分进行加权求和，得到当前用户的学习能力评估指标。
进一步地，所述增强现实设备，还用于将辅助教学方案对应的虚拟信息叠加到用户所观看的物体上。
进一步地，所述教师客户端，用于对学生的学习方式和学习内容进行配置。
进一步地，所述学生客户端，用于家长根据学生的学习需求和能力，自主选择或配置学习内容。学习内容可以包括汉字、词语、拼音、听写、阅读等方面，也可以根据不同的年龄段、不同的学习阶段，提供不同难度的题目和练习。
进一步地，所述摄像头，用于采集实体卡片的图像，如果未采集到实体卡片图像，则摄像头将采集失败指令回传给学生客户端，在学生客户端的屏幕上提示未放置实体卡片。
考虑到学障儿童接受知识存在困难，本发明着重实现实物交互与触屏交互并存的多模态交互方案，儿童可以通过操作实体卡片和操控屏幕相结合的方式更加直观地学习汉字、拼音，并逐步提高学习效果和兴趣。本发明在学习反馈形式方面采用了视觉、听觉触觉统合的方式，从不同角度强化学习内容。在每一项学习过程中引入及时反馈刺激学障儿童的保持更长的专注时间。
学习前，需要将设备打开，并将识别桌垫放置在设备前的桌面上，让桌垫与设备的摄像头对齐。
当桌垫被放置在设备前时，系统会自动识别并记录识别桌垫的放置位置和范围，确保后续操作在正确的区域内进行。
在液晶触摸显示屏上展示已配置的学习内容，包括汉字、词语、拼音、听写、阅读等方面。
在识别桌垫的操作区放置卡片，卡片上的内容与设备的软件学习内容产生互动，例如卡片上是一个汉字，系统会通过摄像头识别卡片上的汉字，并在液晶触摸显示屏上展示该汉字，同时可以通过触摸屏进行书写练习、听写等互动操作。
操作提示：系统在操作时给出相应的提示，帮助儿童更好地完成学习任务。结果反馈：系统记录学习过程中的成绩和进度，并在学习结束后给出相应的反馈，例如正确率、用时等指标，帮助家长或老师更好地了解儿童的学习情况。
用户是学习障碍学生，主要体现在拼音拼读的学习困难以数学的时钟学习困难。因此在信息系统后台录入用户信息时为其设计了需要通过本系统进行专项训练的课程，这其中包括拼音的拼读练习以及数学认知的钟表训练。在用户使用本系统时，本系统按照以下步骤为用户提供了个性化的训练内容与训练方式。
第一步，本系统的数据通信部分关联一套信息系统记录了注册的学习障碍儿童信息，以及对应的训练计划。教师登录信息系统，从课表中选择用户需要进行训练的课程，点击下发课程将训练任务下发到本发明所述设备。本系统通过MQTT协议订阅了物联网平台的任务下发主题，教师下发训练任务后本系统即时接收到信息，信息的内容包括了训练任务、训练课程、训练计划的json信息，同时包括了用户本次训练的任务清单信息。
第二步，设备解析传入的json数据以及用户的训练任务清单，解析成功会创建任务列表。若设备处于空闲状态会直接弹出任务列表，若设备正在使用中会在屏幕上弹出任务提示消息。
第三步，用户家长通过点击任务类别中用户的训练任务，进入到身份认证环节。当设备接收到身份验证信息时，校验通过会进入到个性化训练过程。
第四步，用户在设备进行拼音拼读以及时钟学习的训练，可以根据儿童情况自动适配交互方式，该系统接收到用户将卡片放入交互区域时，触发AR识别，通过操作实物的方式进行学习。当系统识别到用户滑动屏幕放置框的卡片时，触发滑动屏幕的操作判定，通过屏幕交互方式学习。
第四步，每个学习环节进行即时反馈，当用户完成一个学习动作时进行图、音、动效的激励，促进其继续学习。
第五步，用户在学习拼读过程中，系统不仅展示了拼音拼读的写法，而且从拼读的发音、拼读的动画效果、拼读整体的四线格位置、拼读结果的贴图等多个方面进行学习效果的强化。
第六步，完成一次训练时，统计本次训练的持续时间、成功次数并予以鼓励。将训练的过程数据存储为json串，通过MQTT协议向训练结果接受的主题进行发送，方便信息系统进行用户学习过程的记录。
以上实施例展示了如何根据特殊儿童的需求和特点，利用增强现实技术来实现多样的交互学习形式；利用TCP课程组织架构实现了不同学习需求的课程组织与编排；利用物联网技术实现了课程的实时下发与数据的实时反馈；以及设计内容丰富且可以进行AR识别的卡片，提供了一个知识多个角度的学习强化效果。
总之，本发明提供了一种利用增强现实技术辅助学习障碍儿童学习拼音汉字、数学的方法和设备，具有直观化、多元化、个性化等特点，可以提高特殊儿童的学习效果和兴趣，有望在特殊教育领域产生广泛的应用和推广。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于增强现实的学习障碍儿童辅助教学系统，其特征是，包括：
教师客户端，负责制定若干种辅助教学方案，并将制定的辅助教学方案发送给服务器；
服务器，用于对辅助教学方案进行存储；
学生客户端，用于向服务器发送辅助教学请求指令，并根据设置的筛选条件从服务器中获取对应的辅助教学方案；
增强现实设备，用于对选定的辅助教学方案进行显示；
摄像头和麦克风，用于对用户在学习过程中的学习状态数据进行采集，并将学习状态数据存储到学生客户端，同时，将学习状态数据上传给服务器；
教师客户端，根据学习状态数据，对辅助教学方案进行修正，并将修正后的辅助教学方案更新到服务器中。
2.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述摄像头，用于对指定识别区域内实体卡片的汉字、拼音或数字进行识别。
3.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述增强现实设备，输出拼音的发音，麦克风采集用户在学习过程中发出的声音信号，摄像头采集用户在学生过程中的唇部图像；将采集的声音信号和唇部图像均发送给服务器；
服务器提取声音信号的特征，将待识别声音信号特征与预设标准声音信号特征进行第一相似度计算；根据第一相似度，得到声音信号的评估分值；
服务器提取唇部图像的边缘轮廓特征，将待识别的边缘轮廓特征与预设标准边缘轮廓特征进行第二相似度计算；根据第二相似度，得到唇部图像的评估分值；
对声音信号的评估分值和唇部图像的评估分值进行求和，得到拼音的发音得分。
4.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述增强现实设备，输出指定汉字的笔顺，摄像头采集用户在学生过程中的书写视频，将书写视频发送给服务器；
服务器提取书写视频中的书写轨迹，将书写轨迹与预设的笔顺轨迹进行第三相似度计算；根据第三相似度，得到书写汉字笔顺的得分。
5.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述增强现实设备，输出数学运算式，摄像头采集用户在学习过程中的书写答案，将书写答案图像发送给服务器；
服务器提取书写答案图像中的数字，将提取的数字与预设数字进行第四相似度计算；根据第四相似度，得到数学运算的得分。
6.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述增强现实设备，输出待背诵诗词文本以及待背诵诗词的音频和视频，摄像头采集用户在学习过程中重复的音频；
服务器从采集音频中提取文本特征，将提取的文本特征与待背诵诗词文本进行第五相似度计算；根据第五相似度，得到待背诵诗词的得分。
7.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述增强现实设备，输出标准握笔姿势视频；
摄像头采集用户在学习过程中所模仿的握笔姿势视频，将视频上传给服务器；
服务器从采集的视频中提取人体姿态特征，计算所模仿的握笔姿势视频中的人体姿态特征与标准握笔姿势视频中的人体姿态特征的第六相似度；根据第六相似度，得到握笔姿势的得分。
8.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述增强现实设备，输出问题视频，所述问题视频包括预设的若干个提问问句；
摄像头采集用户在学习过程中所回应的答复视频，将答复视频上传给服务器；
服务器从采集的答复视频中提取答复语句，计算答复语句与预设的提问问句所对应的答复语句的第七相似度；根据第七相似度，得到问答互动得分。
9.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述服务器，还用于对所有得分进行加权求和，得到当前用户的学习能力评估指标；所述增强现实设备，还用于将辅助教学方案对应的虚拟信息叠加到用户所观看的物体上；所述教师客户端，用于对学生的学习方式和学习内容进行配置；所述学生客户端，用于家长根据学生的学习需求和能力，自主选择或配置学习内容。
10.如权利要求1所述的基于增强现实的学习障碍儿童辅助教学系统，其特征是，所述摄像头，用于采集实体卡片的图像，如果未采集到实体卡片图像，则摄像头将采集失败指令回传给学生客户端，在学生客户端的屏幕上提示未放置实体卡片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410153790.0A CN118314778A (zh) | 2024-02-01 | 2024-02-01 | 基于增强现实的学习障碍儿童辅助教学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410153790.0A CN118314778A (zh) | 2024-02-01 | 2024-02-01 | 基于增强现实的学习障碍儿童辅助教学系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118314778A true CN118314778A (zh) | 2024-07-09 |
Family
ID=91725327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410153790.0A Pending CN118314778A (zh) | 2024-02-01 | 2024-02-01 | 基于增强现实的学习障碍儿童辅助教学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118314778A (zh) |
-
2024
- 2024-02-01 CN CN202410153790.0A patent/CN118314778A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Siegel | Exploring listening strategy instruction through action research | |
| Anis | Leveraging artificial intelligence for inclusive English language teaching: Strategies and implications for learner diversity | |
| Eisenmann | Teaching English: Differentiation and Individualisation | |
| Larsen-Freeman et al. | Teaching world languages: Thinking differently | |
| Lozada et al. | MS-Kinect in the development of educational games for preschoolers | |
| Ajideh et al. | Investigating the relationship between learning styles and ESP reading strategies in academic setting | |
| Choy et al. | Teacher noticing, mathematics | |
| Al-Megren et al. | Assessing the effectiveness of an augmented reality application for the literacy development of Arabic children with hearing impairments | |
| Siegel | Problematising L2 listening pedagogy: The potential of process-based listening strategy instruction in the L2 classroom | |
| Wang et al. | Optimization of computer-assisted vocabulary assessment system in international Chinese language teaching | |
| Somma et al. | Multisensorial tangible user interface for immersive storytelling: a usability pilot study with a visually impaired child. | |
| Duke et al. | Best practices in literacy instruction | |
| Haug et al. | Development of a technology-assisted assessment for sign language learning | |
| Singleton | How Do Attitude and Motivation Help in Learning a Second | |
| Amila et al. | Implementation of the Islamic Religious Education Learning Model for Deaf Students: Empirical Study in Salatiga State Special Middle Schools | |
| Chau et al. | Graspable Multimedia: A Study of the Effect of A Multimedia System Embodied with Physical Artefacts on Working Memory Capacity of Preschoolers. | |
| CN118314778A (zh) | 基于增强现实的学习障碍儿童辅助教学系统 | |
| Stickney | Teacher “Training” Under Three Philosophical Lenses: The Analytic School of Philosophy of Education, Wittgenstein, and Foucault | |
| Dhawan | Education of children with special needs | |
| Berberi et al. | Worlds apart?: disability and foreign language learning | |
| Utomo et al. | KAMUBISAKUL application to Facilitate students with hearing impairments to follow the lecture process | |
| Ahmed | The effectiveness of the methods in use to promote fluency among EFL learners at foreign languages department, Taif University | |
| Dos Santos | Learning style preferences and their relationship to second language acquisition in students of English as a second language | |
| Saraswati et al. | Developing BacaBicara: An Indonesian Lipreading System as an Independent Communication Learning for the Deaf and Hard-of-Hearing. | |
| Lin | Teachers as Transformative Intellectuals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |