CN112540668A - 一种基于AI及IoT的智能教学辅助方法及系统 - Google Patents
一种基于AI及IoT的智能教学辅助方法及系统 Download PDFInfo
- Publication number
- CN112540668A CN112540668A CN201910901415.9A CN201910901415A CN112540668A CN 112540668 A CN112540668 A CN 112540668A CN 201910901415 A CN201910901415 A CN 201910901415A CN 112540668 A CN112540668 A CN 112540668A
- Authority
- CN
- China
- Prior art keywords
- user
- teaching
- behavior
- iot
- control instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Abstract
本发明公开了一种基于AI及IoT的智能教学辅助方法及系统,包括:教学系统对用户进行行为数据采集,所述教学系统包括教学系统、摄像头及至少一个物联网IOT模块;所述教学系统将所述用户行为数据发送至云服务器,以使所述云服务器对所述用户行为数据进行分析,识别出所述用户的行为模式,并根据所述用户行为模式下发控制指令至所述教学系统;所述教学系统接收所述控制指令,并根据控制指令对所述用户进行无感教学辅助。
Description
技术领域
本发明属于信息技术领域,具体地,涉及一种基于AI及IoT的智能教学辅助方法及系统。
背景技术
在儿童教育领域中,传统的儿童教育方法教师授课,儿童在幼儿园教室听课玩耍,家庭里面通过手机、iPad等终端app来进行学习。对于年龄段在3-6岁的儿童而言,其听、说、读、写能力偏弱,难以在课堂上集中精力进行学习,因此,针对特定年龄段的儿童而言,通常需要教师采用一些新颖、好玩而有趣的教学方式来进行教育。而在家庭里面也已经出现了大量APP供儿童进行学习,例如诗词歌赋是采用动画的形式予以展现,并通过答题、游戏等方式让儿童进行互动,并进一步采集儿童学习的数据供开发者和父母提供教育建议。
随着智能电视、安卓盒子等硬件的普及,越来越多孩子的学习娱乐过程转向大屏终端,无论是课堂中的交互一体机,还是家庭里面的智能电视,都成为十分重要的学习场景。然而,目前智能电视机的交互方式和交互内容非常单一,儿童在学习或互动过程中,只能通过遥控器、点击、语音等方式进行单维度互动,缺少与父母/教师等多人参与互动方式和学习内容,而大屏端的学习主题通常也是设定好的,其内容的设计思路更多是针对某一年龄段儿童群体来进行的,没有考虑到特定儿童的学习状态及学习程度,也缺少在教育过程中来自父母/老师的参与和实时反馈,而交互形态的单一也会导致交互内容设计方面缺乏新意和突破性的创新。
发明内容
本发明提供了一种基于AI及IoT的智能教学辅助的方法及系统,解决了现有技术中大屏教育交互单一而导致的内容设计单调的问题。
为了实现上述目的,本发明提供了一种基于AI及IoT的智能教学辅助的方法,包括:
教学系统对用户进行行为数据采集,所述教学系统包括教学系统、摄像头及至少一个物联网IOT模块;
所述教学系统将所述用户行为数据发送至云服务器,以使所述云服务器对所述用户行为数据进行分析,识别出所述用户的行为模式,并根据所述用户行为模式下发控制指令至所述教学系统;
所述教学系统接收所述控制指令,并根据控制指令对所述用户进行无感教学辅助。
在其中的一个实施例中,所述云服务器对所述用户行为数据进行分析,识别出所述用户的行为模式,包括:
通过深度神经网络算法对所述用户图像进行识别,识别出用户的动作姿态和/或面部表情;
通过IoT模块识别出所述用户在教学过程中的操作信息,所述IoT模块为内置RFID、Wi-Fi、蓝牙、Lora或NB-IoT任一种或多种组合的芯片的教学道具;
基于所述用户操作信息,动作姿态和/或面部表情,识别出所述用户的行为模式。
在其中的一个实施例中,通过深度神经网络算法对所述用户图像进行识别,包括:
提取所述用户图像的人脸区域及人体区域;
对人脸区域及人体区域进行关键点标注;
训练提取人体关键点和面部关键点的卷积网络模型,所述面部器官指示信息包括左眼区域、右眼区域、鼻子区域以及嘴区域,所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点;
将包含有所述用户的图像数据输入卷积网络模型得到特征图集;
并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图以及面部器官的指示信息;
使用偶匹配算法,求出每个关节点所属的移动目标,合并得到移动目标的整体框架,识别所述人体动作姿态;
基于ResNet50深度神经网络模型对所述用户脸部进行表情识别及情绪识别。
在其中的一个实施例中,基于所述用户操作信息,动作姿态和/或面部表情,识别出所述用户的行为模式,包括:
建立用户行为模型,添加多个用户行为训练样本;
对所述用户操作信息进行分类,将所述用户操作信息按照类别进行量化并排序;
根据所述用户的动作姿态和/或面部表情,对所述用户操作信息顺序进行调整,并基于所述调整后的顺序与训练样本进行比较,选择与所述顺序最为匹配的样本作为所述用户的行为模式,或,
基于所述量化排序后的用户信息及所述用户的动作姿态和/或面部表情,与所述用户行为训练样本进行比较,并选择与所述顺序最为匹配的样本作为所述用户的行为模式。
在其中的一个实施例中,所述根据控制指令对所述用户进行无感教学辅助,包括:
根据所述用户行为模式进行音频教学提示,以指导所述用户完成所述教学操作,或,
根据所述用户行为模式进行远程视频连接,以通过其他用户对所述用户教学操作进行辅助指导,或,
根据所述用户行为模式进行远程呼叫,以通知所述其他用户共同参与所述教学操作过程。
在其中的一个实施例中,所述根据控制指令对所述用户进行无感教学辅助,包括:
根据所述用户的面部表情判断当前所述用户对所述教学内容的难易程度及感兴趣程度,以对当前所述教学内容进行切换,或对所述当前教学内容难度进行切换,或对所述教学内容的画面及音效进行切换。
在其中的一个实施例中,所述对用户当前的教学操作进行无感辅助,包括:
根据所述用户的操作动作,判断所述用户的学习水平与对所述教学内容的完成度,根据所述完成度动态调节所述教学内容,以使所述教学内容与所述用户的学习水平相一致。
在其中的一个实施例中,所述方法还包括:
所述云服务器收集并存储不同时段的用户行为数据,并分析出所述用户行为模式;
所述云服务器对所述用户行为模式进行数据挖掘,分析出所述用户针对所述教学内容的用户画像,所述用户画像包括所述用户操作时间、操作时长、用户年龄、用户性别及用户知识图谱;
所述云服务器根据所述用户画像,对所述用户行为进行预测,并基于所述预测结果发送控制指令至所述教学系统,以使所述教学系统根据所述控制指令更新并开启所述教学内容。
在其中的一个实施例中,所述教学系统根据所述控制指令更新并开启所述教学内容,包括:
所述教学系统根据所述控制指令,对所述教学内容进行更新,将所述教学内容的难度提前调整至与所述用户知识图谱水平相一致,并在预测时间时自动开启。
本发明实施例还提供一种基于AI及IoT的智能教学辅助系统,所述系统包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序时,执行上述方法。
本发明实施例提供的方法及系统,通过摄像头采集儿童的图像,通过IoT模块采集儿童的行为数据,对儿童的教学内容进行分析及诊断,从而基于儿童状态自适应切换教学内容或辅助教学,帮助儿童获得认同感和强烈的参与感,提高儿童学习兴趣,同时也可以给予开发者更好的儿童教育水平反馈,有益于智能教育主题的设计,丰富了儿童教育的交互形态,提升了用户体验。
附图说明
图1是本发明实施例中方法的流程图;
图2是本发明实施例中基于人工智能的辅助教学系统组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为达到以上目的,如图1所示,本发明实施例提供了基于AI及IoT的智能教学辅助的方法,应用于教育领域,该方法包括:
S101、教学系统对用户进行行为数据采集,所述教学系统包括教学系统、摄像头及至少一个物联网IOT模块;
在步骤S101中,用户即为儿童,年龄为3-6岁的学前年纪,儿童在这一年龄段表现出的总体是一种以玩为学的状态,即好听好玩的内容容易被儿童所接受,因此在本发明实施例中,教学内容可以分为游戏教学和知识教学,其中,游戏教学主要是通过各种益智游戏、姿体活动形成记忆,让儿童能够模仿、跟随并熟悉新的知识及技能,例如跳舞、下棋等文体教学内容;而知识教学则更侧重于儿童通过视听获取到的知识,例如讲故事,历史,语文和数学等知识。
教学系统可以是大屏终端,例如内置或外置有一个或多个摄像头的智能电视+IoT模块,或者是大屏+智能盒子+摄像头的组合,摄像头可以跟踪用户轨迹,从而调整摄像头的方向,使得用户移动时可以实时进行图像视觉角度的调整。IoT模块可以是内置RFID、Wi-Fi、蓝牙、Lora或NB-IoT任一种或多种组合的芯片的教学道具,例如积木、尺子、书本等。
云服务器与教学系统组成了C-S架构,云服务器可以由不同厂商提供,也可以由与教学系统的同一个厂商提供,云服务器通过LTE或5G通信方式与教学系统进行互联。
用户进行教学过程,可以是通过教学系统进行一段舞蹈的模仿,也可以是玩一个游戏,还可以是做算术题,练习画画和练习音乐。教学系统可以显示游戏视频或教学视频,并基于用户的反馈(触摸反馈、通过遥控器的反馈、通过姿态动作的反馈)来判断用户是否操作正确以及给出操作提示。
S102、所述教学系统将所述用户行为数据发送至云服务器,以使所述云服务器对所述用户行为数据进行分析,识别出所述用户的行为模式,并根据所述用户行为模式下发控制指令至所述教学系统;
用户行为模式可以为一个具象的行为,例如堆积木、舞蹈、弹钢琴等,不同年龄段、不同知识水平的儿童其用户行为模式不同,通过研究用户行为模式可以针对性地指出该用户存在的问题,并针对性地进行辅导以帮助其提高及成长。例如,在堆积木的时候,通过对用户进行行为模式识别,可发现堆积木的逻辑或思维较为杂乱,可针对性地进行提示(什么时候需要放哪块积木),再或者,在用户进行舞蹈的时候可通过姿态检测用户动作是否规范,是否需要改进等。
在其中的一个实施例中,所述云服务器对所述用户行为数据进行分析,识别出所述用户的行为模式,包括:
通过深度神经网络算法对所述用户图像进行识别,识别出用户的动作姿态和/或面部表情;
通过IoT模块识别出所述用户在教学过程中的操作信息,所述IoT模块为内置RFID、Wi-Fi、蓝牙、Lora或NB-IoT任一种或多种组合的芯片的教学道具;
基于所述用户操作信息,动作姿态和/或面部表情,识别出所述用户的行为模式。
在其中的一个实施例中,基于所述用户操作信息,动作姿态和/或面部表情,识别出所述用户的行为模式,包括:
建立用户行为模型,添加多个用户行为训练样本;
对所述用户操作信息进行分类,将所述用户操作信息按照类别进行量化并排序;
根据所述用户的动作姿态和/或面部表情,对所述用户操作信息顺序进行调整,并基于所述调整后的顺序与训练样本进行比较,选择与所述顺序最为匹配的样本作为所述用户的行为模式,或,
基于所述量化排序后的用户信息及所述用户的动作姿态和/或面部表情,与所述用户行为训练样本进行比较,并选择与所述顺序最为匹配的样本作为所述用户的行为模式。
以堆积木为例,各个积木分别安装了IoT芯片,并且相互之间有接口引脚,不同积木堆叠组合将产生不同的模态化指令,例如方块与三角形积木的堆叠其模态化指令为1,方块与方块的模态化指令为2,则多个模态化指令的叠加即反应多种不同的堆积木堆叠形态,那么可根据不同的多模态化指令判断该用户堆积木行为是标准化堆积木还是非标准化堆积木。
在本发明实施例中,可事先将堆积木的多种标准化及多种非标准化版本作为用户行为训练样本,并将训练样本拆分为多个参数,例如熟练度、完成度、创意度等,通常而言,标准化堆积木的熟练度、完成度高,创意度低,而非标准化熟练度和完成度低,创意度高。在用户进行堆积木操作时,可根据用户操作行为和/或用户动作姿态来确认是否与标准化堆积木模式匹配,例如,将用户操作行为进行量化并排序,当用户通过3个方形堆叠并再堆叠一个三角形(类似于房子的造型),且用时为1分钟,则对用户行为进行判定,确认该用户熟练度为6(按照1-10进行打分排序),完成度为9,创意度为4,满足标准化堆积木的适格条件,则认定该用户是标准化堆积木。反之,若该用户熟练度为3,完成度为5,创意度为8,满足非标准化堆积木的适格条件,则认定该用户是非标准化堆积木。
在其中一个实施例中,所述云服务器对所述用户图像进行识别,具体可以为:
通过AI技术深度神经网络算法对所述用户图像进行识别,识别出用户的动作姿态和/或面部表情。神经网络算法具体可以为:
提取所述用户图像的人脸区域及人体区域;用户图像区域中包括人的前景图像和物的背景图像,经过特征点比对可以很方便地提取到用户的人脸区域及人体区域,本发明实施例不再累述。
对人脸区域及人体区域进行关键点标注;其中,关键点标注在AI图像识别技术中属于一种常用的技术,以面部举例,就可能包括上千个特征点的标注,关键点标注来源于IBM的watson系统,关键点标注目前已普遍应用于AI训练集中。
训练提取人体关键点和面部关键点的卷积网络模型,所述面部器官指示信息包括左眼区域、右眼区域、鼻子区域以及嘴区域,所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点;
将包含有所述用户的图像数据输入卷积网络模型得到特征图集;
并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图以及面部器官的指示信息;
使用偶匹配算法,求出每个关节点所属的移动目标,合并得到移动目标的整体框架,识别所述人体动作姿态;
基于ResNet50深度神经网络模型对所述用户脸部进行表情识别及情绪识别。
识别出的人体动作姿态可以是站立、跳跃、举手、下蹲等动作定义,面部表情可以是微笑、大笑、悲伤、兴奋、哭泣等。
在识别出人体动作姿态和面部表情(情绪)后,云服务器即可下发对应的控制指令至教学系统,控制指令可以包括教学内容切换、音量调节、画面调节、远程求助、视频呼叫等。
S103、所述教学系统接收所述控制指令,并根据控制指令对所述用户进行无感教学辅助。
无感辅助,即主动为用户服务进行帮助用户进行教学操作,而无需用户主动发出该命令。其中,对用户当前的教学操作进行无感辅助,具体为:
在其中的一个实施例中,所述根据控制指令对所述用户进行无感教学辅助,具体为:
根据所述用户行为模式进行音频教学提示,以指导所述用户完成所述教学操作,或,
根据所述用户行为模式进行远程视频连接,以通过其他用户对所述用户教学操作进行辅助指导,或,
根据所述用户行为模式进行远程呼叫,以通知所述其他用户共同参与所述教学操作过程。
例如,如果当前用户邹着眉头盯着教学题目在思考,且长时间都没有其他动作,通过图像的识别可推测用户处于一个做答困难时期,可能会需要帮助,因此可通过教学系统进行该题目的语音提示,以辅助用户完成该题目的解答。或者,教学系统自动进行远程呼叫(如电话、语音或视频呼叫),以通知父母或教师主动为该用户进行辅助。
再例如,如果当前用户在进行一项游戏,如跳舞游戏或画画游戏,用户处于兴奋状态但不希望只是自己玩,教学系统基于用户的表情和游戏内容,主动呼叫用户的好友,其中,还可以基于用户好友的时间安排,主动呼叫时间处于空闲状态的好友。在此之前,用户将通信讯等信息上传至教学系统,以使教学系统可以识别出用户高频次的联系人,以方便联络该用户的好友。
在其中一个实施例中,所述对用户当前的教学操作进行无感辅助,具体为:
根据所述用户的面部表情判断当前所述用户对所述教学内容的难易程度及感兴趣程度,以对当前所述教学内容进行切换,或对所述当前教学内容难度进行切换,或对所述教学内容的画面及音效进行切换。例如,若当前用户长时间均没有对教学题目进行应答,且邹眉表情较为严肃,则判断该题目难度超过了该用户的认知水平,可以将该教学难度进行主动切换至难度较低水平。又例如,若用户表现出不耐烦的情绪,则将该教学内容切换至较为轻松有趣的画面,音量随之进行调节。
在其中一个实施例中,所述对用户当前的教学操作进行无感辅助,可以为:
根据所述用户的操作动作,判断所述用户的学习水平与对所述教学内容的完成度,根据所述完成度动态调节所述教学内容,以使所述教学内容与所述用户的学习水平相一致。通常而言,用户的学习水平与教学内容需要进行一致化处理。以100平为满分而言,一般用户得分处于60-80分,则认为教学内容与用户学习水平相一致,而低于60分则证明教学内容较难,需要降低难度,超过80分则认为教学内容较为简单,需要提升教学难度。而完成度则是基于用户对一套教学题目的完成程度,根据完成度可判断用户对该试题的难易程度,进而动态调节教学内容。
在其中的一个实施例中,所述方法还包括:
所述云服务器收集并存储不同时段的用户行为数据,并分析出所述用户行为模式;
所述云服务器对所述用户行为模式进行数据挖掘,分析出所述用户针对所述教学内容的用户画像,所述用户画像包括所述用户操作时间、操作时长、用户年龄、用户性别及用户知识图谱;
所述云服务器根据所述用户画像,对所述用户行为进行预测,并基于所述预测结果发送控制指令至所述教学系统,以使所述教学系统根据所述控制指令更新并开启所述教学内容。
在其中的一个实施例中,所述教学系统根据所述控制指令更新并开启所述教学内容,包括:
所述教学系统根据所述控制指令,对所述教学内容进行更新,将所述教学内容的难度提前调整至与所述用户知识图谱水平相一致,并在预测时间时自动开启。
本发明实施例中,还可以通过大数据的方式进行用户数据挖掘,识别出用户画像,并针对用户属性进行针对性推送与服务。其方法如下:
所述云服务器收集并存储不同时段的用户教学操作数据;
所述云服务器对所述用户教学操作数据进行数据挖掘,分析出所述用户针对所述教学内容的用户画像,所述用户画像包括所述用户操作时间、操作时长、用户年龄、用户性别及用户知识图谱;用户知识图谱包括用户知识水平及用户知识储备内容,例如汉字水平、英语水平、数学计算水平等。
所述云服务器根据所述用户画像,对所述用户行为进行预测,并基于所述预测结果发送控制指令至所述教学系统,以使所述教学系统根据所述控制指令更新并开启所述教学内容。
在其中一个实施例中,所述教学系统根据所述控制指令更新并开启所述教学内容,具体为:
所述教学系统根据所述控制指令,对所述教学内容进行更新,将所述教学内容的难度提前调整至与所述用户知识图谱水平相一致,并在预测时间时自动开启所述教学内容。
在其中一个实施例中,所述云服务器对所述用户教学操作数据进行数据挖掘,分析出所述用户针对所述教学内容的用户画像,包括:
获取多个所述用户行为日志;
将所述用户的多个行为日志进行抽象整合处理,生成用户行为数据,并构建用户画像预测模型;
将所述用户行为数据与用户画像预测模型中的样本模型进行比较,获取所述用户行为数据相匹配的多个用户画像信息,按照关键权值比较法进行用户画像信息预判,输出所述用户的最优用户画像信息。其中关键权值比较法即为将不用的用户画像信息基于预订权值进行加权平均计算(将用户画像的各个参数进行加权平均,按照最接近真实用户参数的进行排序,如最接近为100,偏差越大分数越低),最终将加权平均计算结果按大小进行排序,排名第一的即为最优用户画像信息。
本发明实施例还提供了一种存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述实现的方法。
图2为与本申请实施例提供的基于AI及IoT的智能教学辅助系统结构的框图。参考图2,基于AI及IoT的智能教学辅助系统包括:射频(Radio Frequency,RF)电路210、存储器220、输入单元230、显示单元240、传感器250、音频电路260、无线保真(wireless fidelity,WiFi)模块270、处理器280、以及电源290等部件。本领域技术人员可以理解,图2所示的基于AI及IoT的智能教学辅助系统结构并不构成对基于AI及IoT的智能教学辅助系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,RF电路210可用于收发信息或通话过程中,信号的接收和发送,可将基站的下行信息接收后,给处理器280处理;也可以将上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。此外,RF电路210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System ofMobile communication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器220可用于存储软件程序以及模块,处理器280通过运行存储在存储器220的软件程序以及模块,从而执行基于AI及IoT的智能教学辅助系统的各种功能应用以及数据处理。存储器220可主要包括程序存储区和数据存储区,其中,程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等;数据存储区可存储根据基于AI及IoT的智能教学辅助系统的使用所创建的数据(比如音频数据、通讯录等)等。此外,存储器220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元230可用于接收输入的数字或字符信息,以及产生与基于AI及IoT的智能教学辅助系统200的用户设置以及功能控制有关的键信号输入。具体地,输入单元230可包括触控面板231以及其他输入设备232。触控面板231,也可称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板231上或在触控面板231附近的操作),并根据预先设定的程式驱动相应的连接系统。在一个实施例中,触控面板231可包括触摸检测系统和触摸控制器两个部分。其中,触摸检测系统检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测系统上接收触摸信息,并将它转换成触点坐标,再送给处理器280,并能接收处理器280发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板231。除了触控面板231,输入单元230还可以包括其他输入设备232。具体地,其他输入设备232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元240可用于显示由用户输入的信息或提供给用户的信息以及基于AI及IoT的智能教学辅助系统的各种菜单。显示单元240可包括显示面板241。在一个实施例中,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板241。在一个实施例中,触控面板231可覆盖显示面板241,当触控面板231检测到在其上或附近的触摸操作后,传送给处理器280以确定触摸事件的类型,随后处理器280根据触摸事件的类型在显示面板241上提供相应的视觉输出。虽然在图2中,触控面板231与显示面板241是作为两个独立的部件来实现基于AI及IoT的智能教学辅助系统的输入和输入功能,但是在某些实施例中,可以将触控面板231与显示面板241集成而实现基于AI及IoT的智能教学辅助系统的输入和输出功能。
基于AI及IoT的智能教学辅助系统200还可包括至少一种传感器250,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板241的亮度,接近传感器可在基于AI及IoT的智能教学辅助系统移动到耳边时,关闭显示面板241和/或背光。运动传感器可包括加速度传感器,通过加速度传感器可检测各个方向上加速度的大小,静止时可检测出重力的大小及方向,可用于识别基于AI及IoT的智能教学辅助系统姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等;此外,基于AI及IoT的智能教学辅助系统还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。
音频电路260、扬声器261和传声器262可提供用户与基于AI及IoT的智能教学辅助系统之间的音频接口。音频电路260可将接收到的音频数据转换后的电信号,传输到扬声器261,由扬声器261转换为声音信号输出;另一方面,传声器262将收集的声音信号转换为电信号,由音频电路260接收后转换为音频数据,再将音频数据输出处理器280处理后,经RF电路210可以发送给另一基于AI及IoT的智能教学辅助系统,或者将音频数据输出至存储器220以便后续处理。
WiFi属于短距离无线传输技术,基于AI及IoT的智能教学辅助系统通过WiFi模块270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图2示出了WiFi模块270,但是可以理解的是,其并不属于基于AI及IoT的智能教学辅助系统200的必须构成,可以根据需要而省略。
处理器280是基于AI及IoT的智能教学辅助系统的控制中心,利用各种接口和线路连接整个基于AI及IoT的智能教学辅助系统的各个部分,通过运行或执行存储在存储器220内的软件程序和/或模块,以及调用存储在存储器220内的数据,执行基于AI及IoT的智能教学辅助系统的各种功能和处理数据,从而对基于AI及IoT的智能教学辅助系统进行整体监控。在一个实施例中,处理器280可包括一个或多个处理单元。在一个实施例中,处理器280可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等;调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器280中。
基于AI及IoT的智能教学辅助系统200还包括给各个部件供电的电源290(比如电池),优选的,电源可以通过电源管理系统与处理器280逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
在一个实施例中,基于AI及IoT的智能教学辅助系统200还可以包括摄像头、蓝牙模块等。
在本申请实施例中,该电子设备所包括的处理器280执行存储在存储器上的计算机程序时实现图像校正的方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchl ink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、系统和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本说明书的各个部分均采用递进的方式进行描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点介绍的都是与其他实施例不同之处。尤其,对于系统和系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例部分的说明即可。
最后,需要说明的是:以上仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。显然,本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于AI及IoT的智能教学辅助方法,其特征在于,包括:
教学系统对用户进行行为数据采集,所述教学系统包括教学系统、摄像头及至少一个物联网IOT模块;
所述教学系统将所述用户行为数据发送至云服务器,以使所述云服务器对所述用户行为数据进行分析,识别出所述用户的行为模式,并根据所述用户行为模式下发控制指令至所述教学系统;
所述教学系统接收所述控制指令,并根据控制指令对所述用户进行无感教学辅助。
2.根据权利要求1所述的方法,其特征在于,所述云服务器对所述用户行为数据进行分析,识别出所述用户的行为模式,包括:
通过深度神经网络算法对所述用户图像进行识别,识别出用户的动作姿态和/或面部表情;
通过IoT模块识别出所述用户在教学过程中的操作信息,所述IoT模块为内置RFID、Wi-Fi、蓝牙、Lora或NB-IoT任一种或多种组合的芯片的教学道具;
基于所述用户操作信息,动作姿态和/或面部表情,识别出所述用户的行为模式。
3.根据权利要求2所述的方法,其特征在于,通过深度神经网络算法对所述用户图像进行识别,包括:
提取所述用户图像的人脸区域及人体区域;
对人脸区域及人体区域进行关键点标注;
训练提取人体关键点和面部关键点的卷积网络模型,所述面部器官指示信息包括左眼区域、右眼区域、鼻子区域以及嘴区域,所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点;
将包含有所述用户的图像数据输入卷积网络模型得到特征图集;
并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图以及面部器官的指示信息;
使用偶匹配算法,求出每个关节点所属的移动目标,合并得到移动目标的整体框架,识别所述人体动作姿态;
基于ResNet50深度神经网络模型对所述用户脸部进行表情识别及情绪识别。
4.根据权利要求2所述的方法,其特征在于,基于所述用户操作信息,动作姿态和/或面部表情,识别出所述用户的行为模式,包括:
建立用户行为模型,添加多个用户行为训练样本;
对所述用户操作信息进行分类,将所述用户操作信息按照类别进行量化并排序;
根据所述用户的动作姿态和/或面部表情,对所述用户操作信息顺序进行调整,并基于所述调整后的顺序与训练样本进行比较,选择与所述顺序最为匹配的样本作为所述用户的行为模式,或,
基于所述量化排序后的用户信息及所述用户的动作姿态和/或面部表情,与所述用户行为训练样本进行比较,并选择与所述顺序最为匹配的样本作为所述用户的行为模式。
5.根据权利要求2所述的方法,其特征在于,所述根据控制指令对所述用户进行无感教学辅助,包括:
根据所述用户行为模式进行音频教学提示,以指导所述用户完成所述教学操作,或,
根据所述用户行为模式进行远程视频连接,以通过其他用户对所述用户教学操作进行辅助指导,或,
根据所述用户行为模式进行远程呼叫,以通知所述其他用户共同参与所述教学操作过程。
6.根据权利要求2所述的方法,其特征在于,所述根据控制指令对所述用户进行无感教学辅助,包括:
根据所述用户的面部表情判断当前所述用户对所述教学内容的难易程度及感兴趣程度,以对当前所述教学内容进行切换,或对所述当前教学内容难度进行切换,或对所述教学内容的画面及音效进行切换。
7.根据权利要求2所述的方法,其特征在于,所述对用户当前的教学操作进行无感辅助,包括:
根据所述用户的操作动作,判断所述用户的学习水平与对所述教学内容的完成度,根据所述完成度动态调节所述教学内容,以使所述教学内容与所述用户的学习水平相一致。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述云服务器收集并存储不同时段的用户行为数据,并分析出所述用户行为模式;
所述云服务器对所述用户行为模式进行数据挖掘,分析出所述用户针对所述教学内容的用户画像,所述用户画像包括所述用户操作时间、操作时长、用户年龄、用户性别及用户知识图谱;
所述云服务器根据所述用户画像,对所述用户行为进行预测,并基于所述预测结果发送控制指令至所述教学系统,以使所述教学系统根据所述控制指令更新并开启所述教学内容。
9.根据权利要求8所述的方法,其特征在于,所述教学系统根据所述控制指令更新并开启所述教学内容,包括:
所述教学系统根据所述控制指令,对所述教学内容进行更新,将所述教学内容的难度提前调整至与所述用户知识图谱水平相一致,并在预测时间时自动开启所述教学内容。
10.一种基于AI及IoT的智能教学辅助系统,其特征在于,所述系统包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序时,执行权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910901415.9A CN112540668A (zh) | 2019-09-23 | 2019-09-23 | 一种基于AI及IoT的智能教学辅助方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910901415.9A CN112540668A (zh) | 2019-09-23 | 2019-09-23 | 一种基于AI及IoT的智能教学辅助方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112540668A true CN112540668A (zh) | 2021-03-23 |
Family
ID=75013013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910901415.9A Pending CN112540668A (zh) | 2019-09-23 | 2019-09-23 | 一种基于AI及IoT的智能教学辅助方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112540668A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114095881A (zh) * | 2021-11-18 | 2022-02-25 | 深圳市中悦科技有限公司 | 课堂上学生的用户画像的传输方法、装置、设备及系统 |
-
2019
- 2019-09-23 CN CN201910901415.9A patent/CN112540668A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114095881A (zh) * | 2021-11-18 | 2022-02-25 | 深圳市中悦科技有限公司 | 课堂上学生的用户画像的传输方法、装置、设备及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11241789B2 (en) | Data processing method for care-giving robot and apparatus | |
CN107203953B (zh) | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 | |
CN105632251B (zh) | 具有语音功能的3d虚拟教师系统及其方法 | |
TWI533241B (zh) | 一種實現人工智能的方法、服務器和設備 | |
WO2019128558A1 (zh) | 用户肢体动作的解析方法、系统及移动终端 | |
CN108090855B (zh) | 一种学习计划推荐方法及移动终端 | |
CN107682536A (zh) | 一种语音控制方法、终端和计算机可读存储介质 | |
CN106200886A (zh) | 一种基于语言交互操控的移动智能玩具及玩具使用方法 | |
CN109063583A (zh) | 一种基于点读操作的学习方法及电子设备 | |
CN105126355A (zh) | 儿童陪伴机器人与儿童陪伴系统 | |
JP6094131B2 (ja) | 教育現場改善支援システム、教育現場改善支援方法、情報処理装置、通信端末およびその制御方法と制御プログラム | |
CN109769213B (zh) | 用户行为轨迹记录的方法、移动终端及计算机存储介质 | |
CN111515970B (zh) | 一种互动方法、拟态机器人和相关装置 | |
CN110618757A (zh) | 在线教学控制方法、装置和电子设备 | |
CN110019757A (zh) | 书本点读互动设备及其控制方法、计算机可读存储介质 | |
CN111641861B (zh) | 视频播放方法及电子设备 | |
CN111666820B (zh) | 一种讲话状态识别方法、装置、存储介质及终端 | |
CN108038802A (zh) | 演讲教学方法、装置及计算机可读存储介质 | |
US20220270505A1 (en) | Interactive Avatar Training System | |
CN112540668A (zh) | 一种基于AI及IoT的智能教学辅助方法及系统 | |
CN111145603A (zh) | 沉浸式程序设计语言学习系统 | |
CN112165627A (zh) | 信息处理方法、装置、存储介质、终端及系统 | |
CN112541843A (zh) | 一种基于人工智能的辅助教学方法及系统 | |
CN108744505A (zh) | 一种速率控制方法、终端和计算机可读存储介质 | |
CN111816168A (zh) | 一种模型训练的方法、语音播放的方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210323 |
|
WD01 | Invention patent application deemed withdrawn after publication |