CN112541843A - 一种基于人工智能的辅助教学方法及系统 - Google Patents

一种基于人工智能的辅助教学方法及系统 Download PDF

Info

Publication number
CN112541843A
CN112541843A CN201910900399.1A CN201910900399A CN112541843A CN 112541843 A CN112541843 A CN 112541843A CN 201910900399 A CN201910900399 A CN 201910900399A CN 112541843 A CN112541843 A CN 112541843A
Authority
CN
China
Prior art keywords
user
teaching
image
cloud server
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910900399.1A
Other languages
English (en)
Inventor
宋卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bile Smart Technology Beijing Co ltd
Original Assignee
Bile Smart Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bile Smart Technology Beijing Co ltd filed Critical Bile Smart Technology Beijing Co ltd
Priority to CN201910900399.1A priority Critical patent/CN112541843A/zh
Publication of CN112541843A publication Critical patent/CN112541843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于人工智能的辅助教学方法，包括：在用户进行教学操作过程中，教学终端通过摄像头实时采集所述用户的图像，并将所述用户图像上传至云服务器，以使所述云服务器对所述用户图像进行识别，并下发控制指令至所述教学终端；所述教学终端接收所述控制指令，并根据所述控制指令，对用户当前的教学操作进行无感辅助。

Description

一种基于人工智能的辅助教学方法及系统
技术领域
本发明属于信息技术领域，具体地，涉及一种基于人工智能的辅助教学方法及系统。
背景技术
在儿童教育领域中，传统的儿童教育方法教师授课，儿童在幼儿园教室听课玩耍，家庭里面通过手机、iPad等终端app来进行学习。对于年龄段在3-6岁的儿童而言，其听、说、读、写能力偏弱，难以在课堂上集中精力进行学习，因此，针对特定年龄段的儿童而言，通常需要教师采用一些新颖、好玩而有趣的教学方式来进行教育。而在家庭里面也已经出现了大量APP供儿童进行学习，例如诗词歌赋是采用动画的形式予以展现，并通过答题、游戏等方式让儿童进行互动，并进一步采集儿童学习的数据供开发者和父母提供教育建议。
随着智能电视、安卓盒子等硬件的普及，越来越多孩子的学习娱乐过程转向大屏终端，无论是课堂中的交互一体机，还是家庭里面的智能电视，都成为十分重要的学习场景。然而，目前智能电视机的交互方式和交互内容非常单一，儿童在学习或互动过程中，只能通过遥控器、点击、语音等方式进行单维度互动，缺少与父母/教师等多人参与互动方式和学习内容，而大屏端的学习主题通常也是设定好的，其内容的设计思路更多是针对某一年龄段儿童群体来进行的，没有考虑到特定儿童的学习状态及学习程度，也缺少在教育过程中来自父母/老师的参与和实时反馈，而交互形态的单一也会导致交互内容设计方面缺乏新意和突破性的创新。
发明内容
本发明提供了一种基于人工智能的辅助教学的方法及系统，解决了现有技术中大屏教育交互单一而导致的内容设计单调的问题。
为了实现上述目的，本发明提供了一种基于人工智能的辅助教学方法，包括：
在用户进行教学操作过程中，教学终端通过摄像头实时采集所述用户的图像，并将所述用户图像上传至云服务器，以使所述云服务器对所述用户图像进行识别，并下发控制指令至所述教学终端；
所述教学终端接收所述控制指令，并根据所述控制指令，对用户当前的教学操作进行无感辅助。
在其中一个实施例中，所述云服务器对所述用户图像进行识别，包括：
通过深度神经网络算法对所述用户图像进行识别，识别出用户的动作姿态和/或面部表情。
在其中一个实施例中，通过深度神经网络算法对所述用户图像进行识别，包括：
提取所述用户图像的人脸区域及人体区域；
对人脸区域及人体区域进行关键点标注；
训练提取人体关键点和面部关键点的卷积网络模型，所述面部器官指示信息包括左眼区域、右眼区域、鼻子区域以及嘴区域，所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点；
将包含有所述用户的图像数据输入卷积网络模型得到特征图集；
并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图以及面部器官的指示信息；
使用偶匹配算法，求出每个关节点所属的移动目标，合并得到移动目标的整体框架，识别所述人体动作姿态；
基于ResNet50深度神经网络模型对所述用户脸部进行表情识别及情绪识别。
在其中一个实施例中，所述对用户当前的教学操作进行无感辅助，包括：
根据所述用户的动作姿态和/或面部表情进行音频教学提示，以指导所述用户完成所述教学操作，或，
根据所述用户的动作姿态和/或面部表情进行远程视频连接，以通过其他用户对所述用户教学操作进行辅助指导，或，
根据所述用户的动作姿态和/或面部表情进行远程呼叫，以通知所述其他用户共同参与所述教学操作过程。
在其中一个实施例中，所述对用户当前的教学操作进行无感辅助，包括：
根据所述用户的面部表情判断当前所述用户对所述教学内容的难易程度及感兴趣程度，以对当前所述教学内容进行切换，或对所述当前教学内容难度进行切换，或对所述教学内容的画面及音效进行切换。
在其中一个实施例中，所述对用户当前的教学操作进行无感辅助，包括：
根据所述用户的操作动作，判断所述用户的学习水平与对所述教学内容的完成度，根据所述完成度动态调节所述教学内容，以使所述教学内容与所述用户的学习水平相一致。
在其中一个实施例中，所述方法还包括：
所述云服务器收集并存储不同时段的用户教学操作数据；
所述云服务器对所述用户教学操作数据进行数据挖掘，分析出所述用户针对所述教学内容的用户画像，所述用户画像包括所述用户操作时间、操作时长、用户年龄、用户性别及用户知识图谱；
所述云服务器根据所述用户画像，对所述用户行为进行预测，并基于所述预测结果发送控制指令至所述教学终端，以使所述教学终端根据所述控制指令更新并开启所述教学内容。
在其中一个实施例中，所述教学终端根据所述控制指令更新并开启所述教学内容，包括：
所述教学终端根据所述控制指令，对所述教学内容进行更新，将所述教学内容的难度提前调整至与所述用户知识图谱水平相一致，并在预测时间时自动开启所述教学内容。
在其中一个实施例中，所述云服务器对所述用户教学操作数据进行数据挖掘，分析出所述用户针对所述教学内容的用户画像，包括：
获取多个所述用户行为日志；
将所述用户的多个行为日志进行抽象整合处理，生成用户行为数据，并构建用户画像预测模型；
将所述用户行为数据与用户画像预测模型中的样本模型进行比较，获取所述用户行为数据相匹配的多个用户画像信息，按照关键权值比较法进行用户画像信息预判，输出所述用户的最优用户画像信息。
本发明实施例还提供一种基于人工智能的辅助教学装置，所述装置处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述方法。
本发明实施例提供的方法及装置，通过摄像头采集儿童的图像，对儿童的教学内容进行分析及诊断，从而基于儿童状态自适应切换教学内容或辅助教学，帮助儿童获得认同感和强烈的参与感，提高儿童学习兴趣，同时也可以给予开发者更好的儿童教育水平反馈，有益于智能教育主题的设计，丰富了儿童教育的交互形态，提升了用户体验。
附图说明
图1是本发明实施例中方法的流程图；
图2是本发明实施例中基于人工智能的辅助教学装置组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为达到以上目的，如图1所示，本发明实施例提供了基于人工智能的辅助教学的方法，应用于教育领域，该方法包括：
S101、在用户进行教学操作过程中，教学终端通过摄像头实时采集所述用户的图像，并将所述用户图像上传至云服务器，以使所述云服务器对所述用户图像进行识别，并下发控制指令至所述教学终端；
在步骤S101中，用户即为儿童，年龄为3-6岁的学前年纪，儿童在这一年龄段表现出的总体是一种以玩为学的状态，即好听好玩的内容容易被儿童所接受，因此在本发明实施例中，教学内容可以分为游戏教学和知识教学，其中，游戏教学主要是通过各种益智游戏、姿体活动形成记忆，让儿童能够模仿、跟随并熟悉新的知识及技能，例如跳舞、下棋等文体教学内容；而知识教学则更侧重于儿童通过视听获取到的知识，例如讲故事，历史，语文和数学等知识。
教学终端可以是大屏终端，例如内置或外置有一个或多个摄像头的智能电视，或者是大屏+智能盒子+摄像头的组合，摄像头可以跟踪用户轨迹，从而调整摄像头的方向，使得用户移动时可以实时进行图像视觉角度的调整。
云服务器与教学终端组成了C-S架构，云服务器可以由不同厂商提供，也可以由与教学终端的同一个厂商提供，云服务器通过LTE或5G通信方式与教学终端进行互联。
用户进行教学过程，可以是通过教学终端进行一段舞蹈的模仿，也可以是玩一个游戏，还可以是做算术题，练习画画和练习音乐。教学终端可以显示游戏视频或教学视频，并基于用户的反馈(触摸反馈、通过遥控器的反馈、通过姿态动作的反馈)来判断用户是否操作正确以及给出操作提示。
在其中一个实施例中，所述云服务器对所述用户图像进行识别，具体可以为：
通过AI技术深度神经网络算法对所述用户图像进行识别，识别出用户的动作姿态和/或面部表情。神经网络算法具体可以为：
提取所述用户图像的人脸区域及人体区域；用户图像区域中包括人的前景图像和物的背景图像，经过特征点比对可以很方便地提取到用户的人脸区域及人体区域，本发明实施例不再累述。
对人脸区域及人体区域进行关键点标注；其中，关键点标注在AI图像识别技术中属于一种常用的技术，以面部举例，就可能包括上千个特征点的标注，关键点标注来源于IBM的watson系统，关键点标注目前已普遍应用于AI训练集中。
训练提取人体关键点和面部关键点的卷积网络模型，所述面部器官指示信息包括左眼区域、右眼区域、鼻子区域以及嘴区域，所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点；
将包含有所述用户的图像数据输入卷积网络模型得到特征图集；
并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图以及面部器官的指示信息；
使用偶匹配算法，求出每个关节点所属的移动目标，合并得到移动目标的整体框架，识别所述人体动作姿态；
基于ResNet50深度神经网络模型对所述用户脸部进行表情识别及情绪识别。
识别出的人体动作姿态可以是站立、跳跃、举手、下蹲等动作定义，面部表情可以是微笑、大笑、悲伤、兴奋、哭泣等。
在识别出人体动作姿态和面部表情(情绪)后，云服务器即可下发对应的控制指令至教学终端，控制指令可以包括教学内容切换、音量调节、画面调节、远程求助、视频呼叫等。
S102、所述教学终端接收所述控制指令，并根据所述控制指令，对用户当前的教学操作进行无感辅助。
无感辅助，即主动为用户服务进行帮助用户进行教学操作，而无需用户主动发出该命令。其中，对用户当前的教学操作进行无感辅助，具体为：
根据所述用户的动作姿态和/或面部表情进行音频教学提示，以指导所述用户完成所述教学操作，或，
根据所述用户的动作姿态和/或面部表情进行远程视频连接，以通过其他用户对所述用户教学操作进行辅助指导，或，
根据所述用户的动作姿态和/或面部表情进行远程呼叫，以通知所述其他用户共同参与所述教学操作过程。
例如，如果当前用户邹着眉头盯着教学题目在思考，且长时间都没有其他动作，通过图像的识别可推测用户处于一个做答困难时期，可能会需要帮助，因此可通过教学终端进行该题目的语音提示，以辅助用户完成该题目的解答。或者，教学终端自动进行远程呼叫(如电话、语音或视频呼叫)，以通知父母或教师主动为该用户进行辅助。
再例如，如果当前用户在进行一项游戏，如跳舞游戏或画画游戏，用户处于兴奋状态但不希望只是自己玩，教学终端基于用户的表情和游戏内容，主动呼叫用户的好友，其中，还可以基于用户好友的时间安排，主动呼叫时间处于空闲状态的好友。在此之前，用户将通信讯等信息上传至教学终端，以使教学终端可以识别出用户高频次的联系人，以方便联络该用户的好友。
在其中一个实施例中，所述对用户当前的教学操作进行无感辅助，具体为：
根据所述用户的面部表情判断当前所述用户对所述教学内容的难易程度及感兴趣程度，以对当前所述教学内容进行切换，或对所述当前教学内容难度进行切换，或对所述教学内容的画面及音效进行切换。例如，若当前用户长时间均没有对教学题目进行应答，且邹眉表情较为严肃，则判断该题目难度超过了该用户的认知水平，可以将该教学难度进行主动切换至难度较低水平。又例如，若用户表现出不耐烦的情绪，则将该教学内容切换至较为轻松有趣的画面，音量随之进行调节。
在其中一个实施例中，所述对用户当前的教学操作进行无感辅助，可以为：
根据所述用户的操作动作，判断所述用户的学习水平与对所述教学内容的完成度，根据所述完成度动态调节所述教学内容，以使所述教学内容与所述用户的学习水平相一致。通常而言，用户的学习水平与教学内容需要进行一致化处理。以100平为满分而言，一般用户得分处于60-80分，则认为教学内容与用户学习水平相一致，而低于60分则证明教学内容较难，需要降低难度，超过80分则认为教学内容较为简单，需要提升教学难度。而完成度则是基于用户对一套教学题目的完成程度，根据完成度可判断用户对该试题的难易程度，进而动态调节教学内容。
本发明实施例中，还可以通过大数据的方式进行用户数据挖掘，识别出用户画像，并针对用户属性进行针对性推送与服务。其方法如下：
所述云服务器收集并存储不同时段的用户教学操作数据；
所述云服务器对所述用户教学操作数据进行数据挖掘，分析出所述用户针对所述教学内容的用户画像，所述用户画像包括所述用户操作时间、操作时长、用户年龄、用户性别及用户知识图谱；用户知识图谱包括用户知识水平及用户知识储备内容，例如汉字水平、英语水平、数学计算水平等。
所述云服务器根据所述用户画像，对所述用户行为进行预测，并基于所述预测结果发送控制指令至所述教学终端，以使所述教学终端根据所述控制指令更新并开启所述教学内容。
在其中一个实施例中，所述教学终端根据所述控制指令更新并开启所述教学内容，具体为：
所述教学终端根据所述控制指令，对所述教学内容进行更新，将所述教学内容的难度提前调整至与所述用户知识图谱水平相一致，并在预测时间时自动开启所述教学内容。
在其中一个实施例中，所述云服务器对所述用户教学操作数据进行数据挖掘，分析出所述用户针对所述教学内容的用户画像，包括：
获取多个所述用户行为日志；
将所述用户的多个行为日志进行抽象整合处理，生成用户行为数据，并构建用户画像预测模型；
将所述用户行为数据与用户画像预测模型中的样本模型进行比较，获取所述用户行为数据相匹配的多个用户画像信息，按照关键权值比较法进行用户画像信息预判，输出所述用户的最优用户画像信息。其中关键权值比较法即为将不用的用户画像信息基于预订权值进行加权平均计算(将用户画像的各个参数进行加权平均，按照最接近真实用户参数的进行排序，如最接近为100，偏差越大分数越低)，最终将加权平均计算结果按大小进行排序，排名第一的即为最优用户画像信息。
本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实现的方法。
图2为与本申请实施例提供的基于人工智能的辅助教学装置结构的框图。参考图2，基于人工智能的辅助教学装置包括：射频(Radio Frequency，RF)电路210、存储器220、输入单元230、显示单元240、传感器250、音频电路260、无线保真(wireless fidelity，WiFi)模块270、处理器280、以及电源290等部件。本领域技术人员可以理解，图2所示的基于人工智能的辅助教学装置结构并不构成对基于人工智能的辅助教学装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，RF电路210可用于收发信息或通话过程中，信号的接收和发送，可将基站的下行信息接收后，给处理器280处理；也可以将上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System ofMobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器220可用于存储软件程序以及模块，处理器280通过运行存储在存储器220的软件程序以及模块，从而执行基于人工智能的辅助教学装置的各种功能应用以及数据处理。存储器220可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等；数据存储区可存储根据基于人工智能的辅助教学装置的使用所创建的数据(比如音频数据、通讯录等)等。此外，存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元230可用于接收输入的数字或字符信息，以及产生与基于人工智能的辅助教学装置200的用户设置以及功能控制有关的键信号输入。具体地，输入单元230可包括触控面板231以及其他输入设备232。触控面板231，也可称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板231上或在触控面板231附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一个实施例中，触控面板231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器280，并能接收处理器280发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板231。除了触控面板231，输入单元230还可以包括其他输入设备232。具体地，其他输入设备232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元240可用于显示由用户输入的信息或提供给用户的信息以及基于人工智能的辅助教学装置的各种菜单。显示单元240可包括显示面板241。在一个实施例中，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板241。在一个实施例中，触控面板231可覆盖显示面板241，当触控面板231检测到在其上或附近的触摸操作后，传送给处理器280以确定触摸事件的类型，随后处理器280根据触摸事件的类型在显示面板241上提供相应的视觉输出。虽然在图2中，触控面板231与显示面板241是作为两个独立的部件来实现基于人工智能的辅助教学装置的输入和输入功能，但是在某些实施例中，可以将触控面板231与显示面板241集成而实现基于人工智能的辅助教学装置的输入和输出功能。
基于人工智能的辅助教学装置200还可包括至少一种传感器250，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板241的亮度，接近传感器可在基于人工智能的辅助教学装置移动到耳边时，关闭显示面板241和/或背光。运动传感器可包括加速度传感器，通过加速度传感器可检测各个方向上加速度的大小，静止时可检测出重力的大小及方向，可用于识别基于人工智能的辅助教学装置姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等；此外，基于人工智能的辅助教学装置还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。
音频电路260、扬声器261和传声器262可提供用户与基于人工智能的辅助教学装置之间的音频接口。音频电路260可将接收到的音频数据转换后的电信号，传输到扬声器261，由扬声器261转换为声音信号输出；另一方面，传声器262将收集的声音信号转换为电信号，由音频电路260接收后转换为音频数据，再将音频数据输出处理器280处理后，经RF电路210可以发送给另一基于人工智能的辅助教学装置，或者将音频数据输出至存储器220以便后续处理。
WiFi属于短距离无线传输技术，基于人工智能的辅助教学装置通过WiFi模块270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图2示出了WiFi模块270，但是可以理解的是，其并不属于基于人工智能的辅助教学装置200的必须构成，可以根据需要而省略。
处理器280是基于人工智能的辅助教学装置的控制中心，利用各种接口和线路连接整个基于人工智能的辅助教学装置的各个部分，通过运行或执行存储在存储器220内的软件程序和/或模块，以及调用存储在存储器220内的数据，执行基于人工智能的辅助教学装置的各种功能和处理数据，从而对基于人工智能的辅助教学装置进行整体监控。在一个实施例中，处理器280可包括一个或多个处理单元。在一个实施例中，处理器280可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等；调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器280中。
基于人工智能的辅助教学装置200还包括给各个部件供电的电源290(比如电池)，优选的，电源可以通过电源管理系统与处理器280逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
在一个实施例中，基于人工智能的辅助教学装置200还可以包括摄像头、蓝牙模块等。
在本申请实施例中，该电子设备所包括的处理器280执行存储在存储器上的计算机程序时实现图像校正的方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchl ink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
最后，需要说明的是：以上仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的辅助教学方法，其特征在于，包括：
在用户进行教学操作过程中，教学终端通过摄像头实时采集所述用户的图像，并将所述用户图像上传至云服务器，以使所述云服务器对所述用户图像进行识别，并下发控制指令至所述教学终端；
所述教学终端接收所述控制指令，并根据所述控制指令，对用户当前的教学操作进行无感辅助。
2.根据权利要求1所述的方法，其特征在于，所述云服务器对所述用户图像进行识别，包括：
通过深度神经网络算法对所述用户图像进行识别，识别出用户的动作姿态和/或面部表情。
3.根据权利要求2所述的方法，其特征在于，通过深度神经网络算法对所述用户图像进行识别，包括：
提取所述用户图像的人脸区域及人体区域；
对人脸区域及人体区域进行关键点标注；
训练提取人体关键点和面部关键点的卷积网络模型，所述面部器官指示信息包括左眼区域、右眼区域、鼻子区域以及嘴区域，所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点；
将包含有所述用户的图像数据输入卷积网络模型得到特征图集；
并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图以及面部器官的指示信息；
使用偶匹配算法，求出每个关节点所属的移动目标，合并得到移动目标的整体框架，识别所述人体动作姿态；
基于ResNet50深度神经网络模型对所述用户脸部进行表情识别及情绪识别。
4.根据权利要求2所述的方法，其特征在于，所述对用户当前的教学操作进行无感辅助，包括：
根据所述用户的动作姿态和/或面部表情进行音频教学提示，以指导所述用户完成所述教学操作，或，
根据所述用户的动作姿态和/或面部表情进行远程视频连接，以通过其他用户对所述用户教学操作进行辅助指导，或，
根据所述用户的动作姿态和/或面部表情进行远程呼叫，以通知所述其他用户共同参与所述教学操作过程。
5.根据权利要求2所述的方法，其特征在于，所述对用户当前的教学操作进行无感辅助，包括：
根据所述用户的面部表情判断当前所述用户对所述教学内容的难易程度及感兴趣程度，以对当前所述教学内容进行切换，或对所述当前教学内容难度进行切换，或对所述教学内容的画面及音效进行切换。
6.根据权利要求2所述的方法，其特征在于，所述对用户当前的教学操作进行无感辅助，包括：
根据所述用户的操作动作，判断所述用户的学习水平与对所述教学内容的完成度，根据所述完成度动态调节所述教学内容，以使所述教学内容与所述用户的学习水平相一致。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述云服务器收集并存储不同时段的用户教学操作数据；
所述云服务器对所述用户教学操作数据进行数据挖掘，分析出所述用户针对所述教学内容的用户画像，所述用户画像包括所述用户操作时间、操作时长、用户年龄、用户性别及用户知识图谱；
所述云服务器根据所述用户画像，对所述用户行为进行预测，并基于所述预测结果发送控制指令至所述教学终端，以使所述教学终端根据所述控制指令更新并开启所述教学内容。
8.根据权利要求7所述的方法，其特征在于，所述教学终端根据所述控制指令更新并开启所述教学内容，包括：
所述教学终端根据所述控制指令，对所述教学内容进行更新，将所述教学内容的难度提前调整至与所述用户知识图谱水平相一致，并在预测时间时自动开启所述教学内容。
9.根据权利要求7所述的方法，其特征在于，所述云服务器对所述用户教学操作数据进行数据挖掘，分析出所述用户针对所述教学内容的用户画像，包括：
获取多个所述用户行为日志；
将所述用户的多个行为日志进行抽象整合处理，生成用户行为数据，并构建用户画像预测模型；
将所述用户行为数据与用户画像预测模型中的样本模型进行比较，获取所述用户行为数据相匹配的多个用户画像信息，按照关键权值比较法进行用户画像信息预判，输出所述用户的最优用户画像信息。
10.一种基于人工智能的辅助教学装置，其特征在于，所述装置处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至9任一项所述的方法。
CN201910900399.1A 2019-09-23 2019-09-23 一种基于人工智能的辅助教学方法及系统 Pending CN112541843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910900399.1A CN112541843A (zh) 2019-09-23 2019-09-23 一种基于人工智能的辅助教学方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910900399.1A CN112541843A (zh) 2019-09-23 2019-09-23 一种基于人工智能的辅助教学方法及系统

Publications (1)

Publication Number Publication Date
CN112541843A true CN112541843A (zh) 2021-03-23

Family

ID=75013205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910900399.1A Pending CN112541843A (zh) 2019-09-23 2019-09-23 一种基于人工智能的辅助教学方法及系统

Country Status (1)

Country Link
CN (1) CN112541843A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221664A (zh) * 2021-06-17 2021-08-06 杭州晓鸟科技有限公司 一种基于关键点检测的打坐姿态辅助系统及辅助方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221664A (zh) * 2021-06-17 2021-08-06 杭州晓鸟科技有限公司 一种基于关键点检测的打坐姿态辅助系统及辅助方法

Similar Documents

Publication Publication Date Title
KR102334942B1 (ko) 돌봄 로봇을 위한 데이터 처리 방법 및 장치
CN107203953B (zh) 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
US20190156222A1 (en) Artificial intelligence platform with improved conversational ability and personality development
WO2019128558A1 (zh) 用户肢体动作的解析方法、系统及移动终端
CN107682536A (zh) 一种语音控制方法、终端和计算机可读存储介质
CN106200886A (zh) 一种基于语言交互操控的移动智能玩具及玩具使用方法
TWI713000B (zh) 線上學習輔助方法、系統、設備以及電腦可讀取記錄媒體
CN109063583A (zh) 一种基于点读操作的学习方法及电子设备
CN108259988A (zh) 一种视频播放控制方法、终端及计算机可读存储介质
CN108337543A (zh) 一种视频播放方法、终端及计算机可读存储介质
CN110992222A (zh) 教学交互方法、装置、终端设备及存储介质
CN107194732A (zh) 一种应用推送方法、移动终端以及计算机可读存储介质
CN112262024A (zh) 用于增强数字体验的动态机器人配置的系统和方法
CN102522010A (zh) 家庭语言学习方法、装置及系统
CN108665734A (zh) 一种基于虚拟现实的教学方法和系统
CN111515970B (zh) 一种互动方法、拟态机器人和相关装置
CN111641861B (zh) 视频播放方法及电子设备
CN110019757A (zh) 书本点读互动设备及其控制方法、计算机可读存储介质
CN109857321A (zh) 基于屏幕投影的操作方法、移动终端、可读存储介质
CN108038802A (zh) 演讲教学方法、装置及计算机可读存储介质
CN105388786B (zh) 一种智能提线木偶偶人控制方法
US20220270505A1 (en) Interactive Avatar Training System
CN109889741A (zh) 字幕显示方法、存储介质和移动终端
CN112541843A (zh) 一种基于人工智能的辅助教学方法及系统
CN112165627A (zh) 信息处理方法、装置、存储介质、终端及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210323