CN109614849A - 基于生物识别的远程教学方法、装置、设备及存储介质 - Google Patents
基于生物识别的远程教学方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109614849A CN109614849A CN201811247129.7A CN201811247129A CN109614849A CN 109614849 A CN109614849 A CN 109614849A CN 201811247129 A CN201811247129 A CN 201811247129A CN 109614849 A CN109614849 A CN 109614849A
- Authority
- CN
- China
- Prior art keywords
- teaching
- learner
- mixed reality
- picture
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000008921 facial expression Effects 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 21
- 239000000463 material Substances 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 241000949648 Angulus Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Electrically Operated Instructional Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明属于生物识别技术领域，公开了一种基于生物识别的远程教学方法、装置、设备及存储介质。该方法包括：接收学习者触发的学习指令，播放教学流媒体，并在播放教学流媒体的过程中采集包含学习者的人脸的视频；确定视频中所述学习者的面部表情；根据面部表情，判断学习者是否处于预设的低效学习状态；若学习者处于预设的低效学习状态，则获取教学流媒体当前播放的教学画面和教学语音；对教学语音进行关键词提取，根据提取到的关键词确定教学画面中需要进行混合现实的对象，对确定的对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面。通过上述方式，有效提升了远程教学中学习者的参与度。
Description
技术领域
本发明涉及生物识别技术领域，尤其涉及一种基于生物识别的远程教学方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展，远程教学(也称：在线教学)也逐渐走入日常生活，成为人们学习知识的一种常用手段，有效的帮助那些因为种种限制，无法参与到学校等封闭式教学环境中进行学习的学习者。
虽然，远程教学给人们带来了便捷性，可以使得学习者在任何时间、任何地点根据自己需要进行学习。但是，由于远程教学面向的对象比较泛化，没有针对性，因而在具体的教学过程中，学习者不能体验到课堂教学的真实感，也无法参与到教学过程，因而教学效果欠佳。
所以，亟需提供一种能够提升学习者参与度的远程教学方法。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于生物识别的远程教学方法、装置、设备及存储介质，旨在增加远程教学中学习者的参与度。
为实现上述目的，本发明提供了一种基于生物识别的远程教学方法，所述方法包括以下步骤:
接收学习者触发的学习指令，播放教学流媒体，并在播放所述教学流媒体的过程中采集包含所述学习者的人脸的视频；
确定所述视频中所述学习者的面部表情；
根据所述面部表情，判断所述学习者是否处于预设的低效学习状态；
若所述学习者处于预设的低效学习状态，则获取所述教学流媒体当前播放的教学画面和教学语音；
对所述教学语音进行关键词提取，根据提取到的关键词确定所述教学画面中需要进行混合现实的对象，对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，以使学习者能够与所述混合现实教学画面中的对象进行互动。
优选地，所述确定所述视频中所述学习者的面部表情，包括：
根据预先训练获得的人脸特征检测模型，从所述视频中提取所述学习者的面部特征点；
根据各面部特征点，对所述学习者的人脸进行面部区域划分，得到与各面部特征点对应的面部特征区域；
基于光流法，确定各面部区域中的面部特征点的速度向量，所述速度向量用于表示各面部特征点的运动速度信息和运动方向信息；
根据各面部特征点的速度向量，确定所述视频中所述学习者的面部表情。
优选地，所述基于光流法，确定各面部区域中的面部特征点的速度向量，包括：
遍历各面部特征区域，检测遍历到的当前面部特征区域中的面部特征点在相邻两个图像帧之间的像素变化强度；
根据所述像素变化强度，推断所述当前面部特征区域中的面部特征点的速度向量。
优选地，所述对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，包括：
对所述对象进行数字化处理，得到所述对象对应的图像矩阵；
确定所述图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度；
根据预设的筛选规则，筛选出相似度满足所述筛选规则的图像特征矩阵；
根据预设的映射关系表，获取筛选出的图像特征矩阵对应的渲染模型和对应的介绍信息，所述映射关系表为各图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系；
从所述教学流媒体中实时提取图像数据，确定所述对象在所述图像数据中的实时位置及大小；
根据所述对象在所述图像数据中的实时位置及大小，在所述图像数据上实时叠加所述渲染模型和所述介绍信息，得到所述混合现实教学画面。
优选地，所述从所述教学流媒体中实时提取图像数据，确定所述对象在所述图像数据中的实时位置及大小，包括：
以帧为单位从所述教学流媒体中实时提取图像数据；
根据所述对象的特征信息，对每一帧所述图像数据进行特征检测，确定所述对象在所述图像数据中的实时位置及大小。
优选地，所述对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面之前，所述方法还包括：
获取训练样本图像集合，所述训练样本图像集合包括各类物体对应的样本图像及各样本图像对应的物体类别；
以各样本图像以及各样本图像对应的物体类别为输入，对深度学习模型进行分类训练，获得各类物体对应的图像特征矩阵；
建立各类物体对应的图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系，生成所述映射关系表。
优选地，所述得到能够让学习者身临其境的混合现实教学画面之后，所述方法还包括：
根据提取到的关键词查找对应的学习资料，将查找到的所述学习资料推送给所述学习者，以辅助学者理解所述关键词对应的知识点。
此外，为实现上述目的，本发明还提出一种基于生物识别的远程教学装置，所述装置包括：
播放模块，用于接收学习者触发的学习指令，播放教学流媒体；
采集模块，用于在播放所述教学流媒体的过程中采集包含所述学习者的人脸的视频；
确定模块，用于确定所述视频中所述学习者的面部表情；
判断模块，用于根据所述面部表情，判断所述学习者是否处于预设的低效学习状态；
获取模块，用于在所述学习者处于预设的低效学习状态时，获取所述教学流媒体当前播放的教学画面和教学语音；
处理模块，用于对所述教学语音进行关键词提取，根据提取到的关键词确定所述教学画面中需要进行混合现实的对象，对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，以使学习者能够与所述混合现实教学画面中的对象进行互动。
此外，为实现上述目的，本发明还提出一种基于生物识别的远程教学设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于生物识别的远程教学程序，所述基于生物识别的远程教学程序配置为实现如上文所述的基于生物识别的远程教学方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于生物识别的远程教学程序，所述基于生物识别的远程教学程序被处理器执行时实现如上文所述的基于生物识别的远程教学方法的步骤。
本发明提供的基于生物识别的远程教学方案，通过在学习者观看教学流媒体的过程中实时采集包含学习者人脸的视频，借助生物识别技术确实视频中学习者的面部表情，然后通过对面部表情的分析来判断学习者是否处于预设的低效学习状态，当判定学习者处于预设的低效学习状态时，通过获取教学流媒体当前播放的教学画面和教学语音，并利用关键词提取技术从教学语音中提取关键词，然后根据提取到的关键词确定教学画面中需要进行混合现实的对象，最后借助混合现实技术对确定的对象进行混合现实处理，从而可以得到能够让学习者身临其境的混合现实教学画面，使得学习者在观看教学流媒体的过程中能够与混合现实教学画面中的对象进行互动，从而提升了学习者的参与度，使得学习者能够更好的通过远程教学方式进行自主学习。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于生物识别的远程教学设备的结构示意图；
图2为本发明基于生物识别的远程教学方法第一实施例的流程示意图；
图3为本发明基于生物识别的远程教学方法第二实施例的流程示意图；
图4为本发明基于生物识别的远程教学装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于生物识别的远程教学设备结构示意图。
如图1所示，该基于生物识别的远程教学设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于生物识别的远程教学设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于生物识别的远程教学程序。
在图1所示的基于生物识别的远程教学设备中，网络接口1004主要用于与远程教学平台、互联网平台等进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于生物识别的远程教学设备中的处理器1001、存储器1005可以设置在基于生物识别的远程教学设备中，所述基于生物识别的远程教学设备通过处理器1001调用存储器1005中存储的基于生物识别的远程教学程序，并执行本发明实施例提供的基于生物识别的远程教学方法。
本发明实施例提供了一种基于生物识别的远程教学方法，参照图2，图2为本发明一种基于生物识别的远程教学方法第一实施例的流程示意图。
本实施例中，所述基于生物识别的远程教学方法包括以下步骤：
步骤S10，接收学习者触发的学习指令，播放教学流媒体，并在播放所述教学流媒体的过程中采集包含所述学习者的人脸的视频。
具体的说，本实例中的执行主体为能够播放教学流媒体的终端设备，比如学习者的个人计算机、智能手机、平板电脑等，此处不再一一列举，对此也不做任何限制。
应当理解的是，在播放教学流媒体的终端设备为上述终端设备时，为了保证后续得到混合现实教学画面能够在学习者面前呈现，学习者在观看教学流媒体的过程中，需要佩戴3D眼镜等交互设备。
此外，为了方便用户观看，播放教学流媒体的终端设备可以直接选用3D播放器，这样学习者无需佩戴3D眼镜，只需通过交互笔就可以轻松方便的与后续得到的混合现实教学画面中的对象进行互动。
此外，关于步骤S10中的操作，在实际应用中大致如下：
比如，学习者需要使用自己的终端设备观看教学流媒体时，先按下了播放按键，这样终端设备内的处理器便可以接收到学习者触发的学习指令，然后根据该学习指令控制终端设备播放所述教学流媒体，同时在播放的过程中开启用终端设备内置的摄像头或学习者所处房间的摄像头(外置摄像头与终端设备预先建立通信连接)，实时采集包含所述学习者的人脸的视频。
需要说明的是，以上仅为举例说明，对本发明的技术方案并不构成限定，在具体实现中，本领域的技术人员可以根据需要设置上述操作逻辑，此处不做限制。
步骤S20，确定所述视频中所述学习者的面部表情。
具体的说，在实际应用中，确定所述视频中学习者的面部表情的操作，可以通过如下步骤实现：
(1)根据预先训练获得的人脸特征检测模型，从所述视频中提取所述学习者的面部特征点。
应当理解的是，为了保证减少不必要的干扰，可以先根据预先训练获得的人脸检测模型，从所述视频中识别出所述学习者的人脸图像。然后再根据预先训练获得的人脸特征检测模型，从所述人脸图像中提取出所述学习者的面部特征点，比如眼睛、眉毛、嘴巴、下颌等部位的特征点。
(2)根据各面部特征点，对所述学习者的人脸进行面部区域划分，得到与各面部特征点对应的面部特征区域。
比如，规定划分后的面部特征区域中有且仅有一个面部特征点，即每一个面部特征点位于一个面特征区域。
或者，规定同一对象的几个面部特征点位于一个面部特征区域，如标识左侧眉毛的所有面部特征点位于同一个面部特征区域，标识右侧眉毛的所有面部特征点位于同一个面部特征区域。
需要说明的是，以上仅为举例说明，对本发明的技术方案并不构成限定，在具体实现中，本领域的技术人员可以根据需要对人脸进行面部区域划分，此处不做限制。
(3)基于光流法，确定各面部区域中的面部特征点的速度向量。
需要说明的是，此处所说的速度向量，不仅仅用于表示对应的面部特征点的运动速度信息，还用于表示该面部特征点的运动方向信息。
此外，关于基于光流法，确定各面部区域中的面部特征点的速度向量的方式，具体可以是通过遍历各面部特征区域，检测遍历到的当前面部特征区域中的面部特征点在相邻两个图像帧之间的像素变化强度；然后根据所述像素变化强度，推断所述当前面部特征区域中的面部特征点的速度向量。
此外，值得一提的是，在计算速度向量时，还需要根据人脸关键点定位技术，确定上述各面部特征的空间位置坐标，然后根据位置坐标的变化确定偏移量。并通过相应的传感设备，确定当前视频的强度。
为了便于理解，以下进行具体说明。
假设，某一面部特征点的位置坐标为P(x，y，t)，强度为I(x，y，t)，在两帧之间移动了Δx，Δy，Δt。其中，x为横坐标，y为纵坐标，t为光学量值，则根据亮度恒定约束条件，有：
公式(1)：I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)；
假设移动很小，I(x，y，t)的图像约束可以用泰勒级数来获得：
公式(2)：
其中，τ一个高阶无穷小的。因而，通过对公式(1)和公式(2)进行整理，可以获得：
公式(3)：
公式(4)
通过对公式(3)和公式(4)进行整理，可以获得：
公式(5)：
其中，Vx和Vy分别是x和y的分量，I(x，y，t)的速度或光流。因此，在距离Δt是两帧之间，上述特征点的光学量值t被表示为一个二维的速度向量
此外，未在本实施例中介绍的内容，可以通过查找光流法的相关资料实现，此处不再赘述。
(4)根据各面部特征点的速度向量，确定所述视频中所述学习者的面部表情。
比如，在标识眼内角的上眼皮的特征点向下运动，导致眼内角的上眼皮降低，标识嘴巴的特征点向外运动，导致出嘴巴张大时，通常可以认为所述视频中的学习者的面部表情为困倦。
还比如，在标识上唇的特征点向上运动，标识下唇的特征点跟谁上唇的特征点向上运动，导致上唇抬起，且下唇与上唇紧闭，嘴角下端，唇轻微凸起；标识眉毛内角的特征点向眉心运动，导致眉毛内角皱在一起，且眉毛抬高是，通常认为所述视频中的学习者的面部表情为疑惑。
还比如，在标识唇角的特征点向后脸颊后上方运动，导致唇角向后拉并抬高，标识嘴巴的特征点向外运动，导致出嘴巴张大时，通常可以认为所述视频中的学习者的面部表情为满意。
需要说明的是，以上仅为举例说明，在具体实现中，本领域的技术人员可以结合微表情的变化特征与获得的各面部特征点的速度向量，确定所述视频中所述学习者的面部表情，此处不再赘述，对此也不做限制。
步骤S30，根据所述面部表情，判断所述学习者是否处于预设的低效学习状态。
具体的说，通过研究表明，在学习者做出困倦、疑惑的表情和动作时，学习者当前的学习效率较低，即处于预设的低效学习状态。因而，在根据面部表情判断学习者是否处于预设的低效学习状态时，只需判断学习者是否做出了困倦、疑惑的面部表情即可。
需要说明的是，以上给出的仅为两种用于判定为低效学习状态的具体面部表情和肢体动作，在实际应用中，可以根据微表情学和相关的肢体语言学进行设置，此处不做限制。
此外，值得一提的是，由于在实际的教学过程中，学习者在长时间的听课过程中往往难以始终保持最佳的学习状态。一般情况下，大脑会经历从能够高效学习的高效期，再到思考，学习状态差的低效期。在低效学习状态下，学习者往往难以很好的理解教学流媒体中播放的教学内容，因而在这种状态下，很容易产生知识“盲点”(即对学习者来说，看不透、想不准、理不清的知识点)。因此，为了提升远程教学质量，就需要尽可能的吸引学习者的注意力，以使学习者的大脑能够长时间的保持高效学习状态，或者能够尽快从低效学习状态恢复到高效学习状态，可以在判定用户进入低效学习状态后，先暂停当前播放的教学流媒体，为学习者播放一段轻松愉悦的音乐，或者讲一个小笑话，让学习者稍作片刻休息。然后在执行步骤S40及之后的操作。
步骤S40，若所述学习者处于预设的低效学习状态，则获取所述教学流媒体当前播放的教学画面和教学语音。
具体的说，在判定学习者当前时刻处于预设的低效学习状态时，为了调动学习者的积极性，以使学习者尽快从低效学习状态恢复到高效学习状态，本案通过获取教学流媒体当前播放的教学画面和教学语音，从而可以较为精准的确定当前时刻，导致学习者产生困惑的知识点，使得后续步骤S50中进行的混合现实处理，是专门针对导致当前学习者产生困惑的内容进行处理，从而在远程教学的过程中实现了为不同学习者，提供各自需要的教学方式。
步骤S50，对所述教学语音进行关键词提取，根据提取到的关键词确定所述教学画面中需要进行混合现实的对象，对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，以使学习者能够与所述混合现实教学画面中的对象进行互动。
具体的说，在从教学语音中提取关键词时，需要先将教学语音转换为文本格式，然后在对得到的文本内容进行关键词提取。
为了便于理解，上述所说的根据提取到的关键词确定所述教学画面中需要进行混合现实的对象，以下进行举例说明。
假设学习者学习的课程为地理课程中关于等高线地形判断的内容，学习者对于提取到的关键词“山地山峰”、“盆地洼地”、“山脊山脊线”、“山谷山谷线”、“鞍部”、“陡崖”等内容比较困惑，并且在教学画面中显示的图也均为等高线样式的。这种状态下，学习者可能在大脑中无法想象出具体的立体画面。
这个时候，便可以根据提取到的关键词来确定教学画面中需要进行混合现实的对象。
比如，根据“山地山峰”确定的为教学画面中表示山地山峰的等高线图。这时，就可以对山地山峰的等高线图进行虚拟现实处理和增强现实处理，在山地山峰等高线的平面图形上展示出立体的山体图形(虚拟现实)，同时在对应的位置，展示出这种地形特征的描述信息及习惯使用的表述方法。这样，学习者便可以看到立体的等高线模型，并且在观看过程中还可以通过手持交互笔做出预设的动作，比如向左滑动，以使等高线模型跟着向左旋转，方便学者看到对立面的画面，从而更好的理解当前所讲解的知识点。
此外，上述对所述对象进行混合现实(Mixed Reality，MR)处理的操作，大致可以是，先对所述对象进行数字化处理，得到所述对象对应的图像矩阵；然后，确定所述图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度；接着，根据预设的筛选规则，筛选出相似度满足所述筛选规则的图像特征矩阵；接着，根据预设的映射关系表，获取筛选出的图像特征矩阵对应的渲染模型和对应的介绍信息，所述映射关系表为各图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系；接着，从所述教学流媒体中实时提取图像数据，确定所述对象在所述图像数据中的实时位置及大小；最后，根据所述对象在所述图像数据中的实时位置及大小，在所述图像数据上实时叠加所述渲染模型和所述介绍信息，得到所述混合现实教学画面。
此外，值得一提的是，在实际应用中，为了保证最终得到的混合现实教学画面的效果，在从所述教学流媒体中实时提取图像数据时，具体可以精确到帧，即以帧为单位从所述教学流媒体中实时提取图像数据，这样在确定所述对象在所述图像数据中的实时位置及大小时，就可以根据所述对象的特征信息，对每一帧所述图像数据进行特征检测，确定所述对象在所述图像数据中的实时位置及大小。
通过这种精确到帧的处理方式，可以有效的保证后续确定的所述对象在所述图像数据中的实时位置及大小的准确性，进而能够准确的在所述图像数据上实时叠加所述渲染模型和所述介绍信息，保证了混合现实效果。
进一步地，为了保证上述操作能够顺利进行，上述操作中用到的各类物体对应的图像特征矩阵及映射关系表可以预先构建。
比如，通过获取训练样本图像集合，所述训练样本图像集合包括各类物体对应的样本图像及各样本图像对应的物体类别；以各样本图像以及各样本图像对应的物体类别为输入，对深度学习模型进行分类训练，获得各类物体对应的图像特征矩阵；建立各类物体对应的图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系，生成所述映射关系表。
需要说明的是，以上给出的仅为一种具体的实现方式，对本发明的技术方案并不构成限定，在具体实现中，本领域的技术人员可以根据需要选取合适的操作方式实现对教学画面的混合现实处理，此处不做限制。
通过上述描述不难发现，本实施例中提供的基于生物识别的远程教学方法，通过在学习者观看教学流媒体的过程中实时采集包含学习者人脸的视频，借助生物识别技术确实视频中学习者的面部表情，然后通过对面部表情的分析来判断学习者是否处于预设的低效学习状态，当判定学习者处于预设的低效学习状态时，通过获取教学流媒体当前播放的教学画面和教学语音，并利用关键词提取技术从教学语音中提取关键词，然后根据提取到的关键词确定教学画面中需要进行混合现实的对象，最后借助混合现实技术对确定的对象进行混合现实处理，从而可以得到能够让学习者身临其境的混合现实教学画面，使得学习者在观看教学流媒体的过程中能够与混合现实教学画面中的对象进行互动，从而提升了学习者的参与度，使得学习者能够更好的通过远程教学方式进行自主学习。
参考图3，图3为本发明一种基于生物识别的远程教学方法第二实施例的流程示意图。
基于上述第一实施例，本实施例基于生物识别的远程教学方法在步骤S50之后，还可以包括：
步骤S60，根据提取到的关键词查找对应的学习资料，将查找到的所述学习资料推送给所述学习者，以辅助学者理解所述关键词对应的知识点。
具体的说，上述查找对应的学习资料的操作，可以是根据提取的关键词在互联网或者学习者使用的终端设备中预先存储的学习案例或中查找对应的学习资料。
相应地，在查找到学习资料后，将所述学习资料推送个所述学习者，具体可以是将所述学习资料发送给用户设置的邮箱，或者直接在当前终端设备的用户界面展示，以方便学习者进行查看、学习。
此外，为了使得远程教学的方式能够更好的辅助学习者学习，可以在为学习者播放完教学流媒体后，在终端设备的用户界面提供反馈入口，以使学习者作出针对所述教学内容(如录制教学流媒体的教学者的教学方式、安排的教学课程等)的反馈信息，从而在用户输入反馈信息并点击界面上的确定按键后，将所述反馈信息上传的远程教学服务平台，这样不仅可以根据学习者反馈的内容适应性的调整教学内容，还可以根据学习者反馈的内容作为评估教学者的教学质量的参考。
进一步地，为了能够根据学习者需求为学习者提供为期量身定制的教学流媒体，可以规定教学者在录制教学流媒体时，细化到每一个不同的知识点，从而可以使远程教学服务平台存储的教学流媒体时以知识点为单独，单独存储。这样，学习者在使用终端设备观看教学流媒体时，可以先输入自己想要学习的内容的关键词，然后由终端设备将这些关键词发送给远程教学服务平台，以使远程教学服务平台根据用户提供的学习内容的关键词，查找对应的知识点进行组合，得到符合用户要求的教学流媒体。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定，在具体实现中，本领域的技术人员可以根据实际情况进行设置，此处不做限制。
此外，应当理解的是，在实际应用中，根据关键词查找学习资料，并为学习者推送所述学习资料的操作，与上述步骤S50中根据关键词确定所述教学画面中需要进行混合现实的对象，对所述对象进行混合现实处理的操作可以并行处理，此处不做限制。
通过上述描述不难发现，本实施例提供的基于生物识别的远程教学方法，在确定学习者处于预设的低效学习状态时，通过根据提取到的关键词查找与学习者当前面临的知识盲点相关的学习资料，并将查找到的学习资料推送给学习者，实现了对学习者的即时提示，从而可以帮助学习者及早消除知识盲点，更好的辅助学习者使用远程教学方式进行学习。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于生物识别的远程教学程序，所述基于生物识别的远程教学程序被处理器执行时实现如上文所述的基于生物识别的远程教学方法的步骤。
参照图4，图4为本发明基于生物识别的远程教学装置第一实施例的结构框图。
如图4所示，本发明实施例提出的基于生物识别的远程教学装置包括：播放模块4001、采集模块4002、确定模块4003、判断模块4004、获取模块4005和处理模块4006。
其中，播放模块4001，用于接收学习者触发的学习指令，播放教学流媒体；采集模块4002，用于在播放所述教学流媒体的过程中采集包含所述学习者的人脸的视频；确定模块4003，用于确定所述视频中所述学习者的面部表情；判断模块4004，用于根据所述面部表情，判断所述学习者是否处于预设的低效学习状态；获取模块4005，用于在所述学习者处于预设的低效学习状态时，获取所述教学流媒体当前播放的教学画面和教学语音；处理模块4006，用于对所述教学语音进行关键词提取，根据提取到的关键词确定所述教学画面中需要进行混合现实的对象，对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，以使学习者能够与所述混合现实教学画面中的对象进行互动。
应当理解的是，在实际应用中，上述确定模块4003确定所述视频中所述学习者的面部表情的操作，具体可以基于生物识别中的人脸识别技术实现。
比如，在确定所述视频中所述学习者的面部表情之前，先基于人脸识别技术中人脸特征检测方法对大数据平台中存储的人脸样本数据进行训练，获得人脸特征检测模型，从而在确定所述视频中所述学习者的面部表情时，能够根据预先训练获得的人脸特征检测模型，从所述视频中提取所述学习者的面部特征点。
接着，为了方便后期的对各个面部特征点变化的确定，可以根据各面部特征点，对所述学习者的人脸进行面部区域划分，得到与各面部特征点对应的面部特征区域。
比如，规定划分后的面部特征区域中有且仅有一个面部特征点，即每一个面部特征点位于一个面特征区域。
或者，规定同一对象的几个面部特征点位于一个面部特征区域，如标识左侧眉毛的所有面部特征点位于同一个面部特征区域，标识右侧眉毛的所有面部特征点位于同一个面部特征区域。
需要说明的是，以上仅为举例说明，对本发明的技术方案并不构成限定，在具体实现中，本领域的技术人员可以根据需要对人脸进行面部区域划分，此处不做限制。
在完成对人脸进行面部区域划分的操作之后，基于光流法，确定各面部区域中的面部特征点的速度向量。
需要说明的是，此处所说的速度向量，不仅仅用于表示对应的面部特征点的运动速度信息，还用于表示该面部特征点的运动方向信息。
此外，关于基于光流法，确定各面部区域中的面部特征点的速度向量的方式，具体可以是通过遍历各面部特征区域，检测遍历到的当前面部特征区域中的面部特征点在相邻两个图像帧之间的像素变化强度；然后根据所述像素变化强度，推断所述当前面部特征区域中的面部特征点的速度向量。
具体的计算方式，可以参考光流法的相关计算公式，此处不再赘述。
最后，根据得到的各面部特征点的速度向量，确定所述视频中所述学习者的面部表情即可。
需要说明的是，以上给出的仅为一种具体的实现方式，对本发明的技术方案并不构成限定，在具体实现中，本领域的技术人员可以根据需要选取合适的人脸识别方式确定学习者的面部表情，此处不做限制。
此外，为了便于理解处理模块4006对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面的操作，以下进行具体说明。
比如，先对所述对象进行数字化处理，得到所述对象对应的图像矩阵；然后，确定所述图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度；接着，根据预设的筛选规则，筛选出相似度满足所述筛选规则的图像特征矩阵；接着，根据预设的映射关系表，获取筛选出的图像特征矩阵对应的渲染模型和对应的介绍信息，所述映射关系表为各图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系；接着，从所述教学流媒体中实时提取图像数据，确定所述对象在所述图像数据中的实时位置及大小；最后，根据所述对象在所述图像数据中的实时位置及大小，在所述图像数据上实时叠加所述渲染模型和所述介绍信息，得到所述混合现实教学画面。
此外，值得一提的是，在实际应用中，为了保证最终得到的混合现实教学画面的效果，在从所述教学流媒体中实时提取图像数据时，具体可以精确到帧，即以帧为单位从所述教学流媒体中实时提取图像数据，这样在确定所述对象在所述图像数据中的实时位置及大小时，就可以根据所述对象的特征信息，对每一帧所述图像数据进行特征检测，确定所述对象在所述图像数据中的实时位置及大小。
通过这种精确到帧的处理方式，可以有效的保证后续确定的所述对象在所述图像数据中的实时位置及大小的准确性，进而能够准确的在所述图像数据上实时叠加所述渲染模型和所述介绍信息，保证了混合现实效果。
进一步地，为了保证上述操作能够顺利进行，上述操作中用到的各类物体对应的图像特征矩阵及映射关系表可以预先构建。
比如，通过获取训练样本图像集合，所述训练样本图像集合包括各类物体对应的样本图像及各样本图像对应的物体类别；以各样本图像以及各样本图像对应的物体类别为输入，对深度学习模型进行分类训练，获得各类物体对应的图像特征矩阵；建立各类物体对应的图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系，生成所述映射关系表。
需要说明的是，以上给出的仅为一种具体的实现方式，对本发明的技术方案并不构成限定，在具体实现中，本领域的技术人员可以根据需要选取合适的操作方式实现对教学画面的混合现实处理，此处不做限制。
此外，应当理解的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
通过上述描述不难发现，本实施例中提供的基于生物识别的远程教学装置，通过在学习者观看教学流媒体的过程中实时采集包含学习者人脸的视频，借助生物识别技术确实视频中学习者的面部表情，然后通过对面部表情的分析来判断学习者是否处于预设的低效学习状态，当判定学习者处于预设的低效学习状态时，通过获取教学流媒体当前播放的教学画面和教学语音，并利用关键词提取技术从教学语音中提取关键词，然后根据提取到的关键词确定教学画面中需要进行混合现实的对象，最后借助混合现实技术对确定的对象进行混合现实处理，从而可以得到能够让学习者身临其境的混合现实教学画面，使得学习者在观看教学流媒体的过程中能够与混合现实教学画面中的对象进行互动，从而提升了学习者的参与度，使得学习者能够更好的通过远程教学方式进行自主学习。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于生物识别的远程教学方法，此处不再赘述。
基于上述基于生物识别的远程教学装置的第一实施例，提出本发明基于生物识别的远程教学装置第二实施例。
在本实施例中，所述基于生物识别的远程教学装置还包括查找模块和推送模块。
其中，所述查找模块，用于根据提取到的关键词查找对应的学习资料；所述推送模块，用于将查找到的所述学习资料推送给所述学习者，以辅助学者理解所述关键词对应的知识点。
应当理解的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
通过上述描述不难发现，本实施例提供的基于生物识别的远程教学装置，在确定学习者处于预设的低效学习状态时，通过根据提取到的关键词查找与学习者当前面临的知识盲点相关的学习资料，并将查找到的学习资料推送给学习者，实现了对学习者的即时提示，从而可以帮助学习者及早消除知识盲点，更好的辅助学习者使用远程教学方式进行学习。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于生物识别的远程教学方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于生物识别的远程教学方法，其特征在于，所述方法包括：
接收学习者触发的学习指令，播放教学流媒体，并在播放所述教学流媒体的过程中采集包含所述学习者的人脸的视频；
确定所述视频中所述学习者的面部表情；
根据所述面部表情，判断所述学习者是否处于预设的低效学习状态；
若所述学习者处于预设的低效学习状态，则获取所述教学流媒体当前播放的教学画面和教学语音；
对所述教学语音进行关键词提取，根据提取到的关键词确定所述教学画面中需要进行混合现实的对象，对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，以使学习者能够与所述混合现实教学画面中的对象进行互动。
2.如权利要求1所述的方法，其特征在于，所述确定所述视频中所述学习者的面部表情，包括：
根据预先训练获得的人脸特征检测模型，从所述视频中提取所述学习者的面部特征点；
根据各面部特征点，对所述学习者的人脸进行面部区域划分，得到与各面部特征点对应的面部特征区域；
基于光流法，确定各面部区域中的面部特征点的速度向量，所述速度向量用于表示各面部特征点的运动速度信息和运动方向信息；
根据各面部特征点的速度向量，确定所述视频中所述学习者的面部表情。
3.如权利要求2所述的方法，其特征在于，所述基于光流法，确定各面部区域中的面部特征点的速度向量，包括：
遍历各面部特征区域，检测遍历到的当前面部特征区域中的面部特征点在相邻两个图像帧之间的像素变化强度；
根据所述像素变化强度，推断所述当前面部特征区域中的面部特征点的速度向量。
4.如权利要求1至3任一项所述的方法，其特征在于，所述对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，包括：
对所述对象进行数字化处理，得到所述对象对应的图像矩阵；
确定所述图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度；
根据预设的筛选规则，筛选出相似度满足所述筛选规则的图像特征矩阵；
根据预设的映射关系表，获取筛选出的图像特征矩阵对应的渲染模型和对应的介绍信息，所述映射关系表为各图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系；
从所述教学流媒体中实时提取图像数据，确定所述对象在所述图像数据中的实时位置及大小；
根据所述对象在所述图像数据中的实时位置及大小，在所述图像数据上实时叠加所述渲染模型和所述介绍信息，得到所述混合现实教学画面。
5.如权利要求4所述的方法，其特征在于，所述从所述教学流媒体中实时提取图像数据，确定所述对象在所述图像数据中的实时位置及大小，包括：
以帧为单位从所述教学流媒体中实时提取图像数据；
根据所述对象的特征信息，对每一帧所述图像数据进行特征检测，确定所述对象在所述图像数据中的实时位置及大小。
6.如权利要求4所述的方法，其特征在于，所述对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面之前，所述方法还包括：
获取训练样本图像集合，所述训练样本图像集合包括各类物体对应的样本图像及各样本图像对应的物体类别；
以各样本图像以及各样本图像对应的物体类别为输入，对深度学习模型进行分类训练，获得各类物体对应的图像特征矩阵；
建立各类物体对应的图像特征矩阵与对应的渲染模型和对应的介绍信息之间的对应关系，生成所述映射关系表。
7.如权利要求1至3任一项所述的方法，其特征在于，所述得到能够让学习者身临其境的混合现实教学画面之后，所述方法还包括：
根据提取到的关键词查找对应的学习资料，将查找到的所述学习资料推送给所述学习者，以辅助学者理解所述关键词对应的知识点。
8.一种基于生物识别的远程教学装置，其特征在于，所述装置包括：
播放模块，用于接收学习者触发的学习指令，播放教学流媒体；
采集模块，用于在播放所述教学流媒体的过程中采集包含所述学习者的人脸的视频；
确定模块，用于确定所述视频中所述学习者的面部表情；
判断模块，用于根据所述面部表情，判断所述学习者是否处于预设的低效学习状态；
获取模块，用于在所述学习者处于预设的低效学习状态时，获取所述教学流媒体当前播放的教学画面和教学语音；
处理模块，用于对所述教学语音进行关键词提取，根据提取到的关键词确定所述教学画面中需要进行混合现实的对象，对所述对象进行混合现实处理，得到能够让学习者身临其境的混合现实教学画面，以使学习者能够与所述混合现实教学画面中的对象进行互动。
9.一种基于生物识别的远程教学设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于生物识别的远程教学程序，所述基于生物识别的远程教学程序配置为实现如权利要求1至7中任一项所述的基于生物识别的远程教学方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于生物识别的远程教学程序，所述基于生物识别的远程教学程序被处理器执行时实现如权利要求1至7任一项所述的基于生物识别的远程教学方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811247129.7A CN109614849A (zh) | 2018-10-25 | 2018-10-25 | 基于生物识别的远程教学方法、装置、设备及存储介质 |
| PCT/CN2018/123186 WO2020082566A1 (zh) | 2018-10-25 | 2018-12-24 | 基于生物识别的远程教学方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811247129.7A CN109614849A (zh) | 2018-10-25 | 2018-10-25 | 基于生物识别的远程教学方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109614849A true CN109614849A (zh) | 2019-04-12 |
Family
ID=66001650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811247129.7A Pending CN109614849A (zh) | 2018-10-25 | 2018-10-25 | 基于生物识别的远程教学方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109614849A (zh) |
| WO (1) | WO2020082566A1 (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033659A (zh) * | 2019-04-26 | 2019-07-19 | 北京大米科技有限公司 | 一种远程教学互动方法、服务器、终端以及系统 |
| CN110390048A (zh) * | 2019-06-19 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
| CN110458076A (zh) * | 2019-08-05 | 2019-11-15 | 西安瑜乐文化科技股份有限公司 | 一种基于计算机视觉的教学方法及系统 |
| CN110503582A (zh) * | 2019-07-16 | 2019-11-26 | 王霞 | 基于混合现实及多维现实技术的群体互动教育云系统 |
| CN110992222A (zh) * | 2019-11-05 | 2020-04-10 | 深圳追一科技有限公司 | 教学交互方法、装置、终端设备及存储介质 |
| CN110992741A (zh) * | 2019-11-15 | 2020-04-10 | 深圳算子科技有限公司 | 一种基于课堂情绪和行为分析的学习辅助方法及系统 |
| CN111710030A (zh) * | 2020-05-29 | 2020-09-25 | 上海红阵信息科技有限公司 | 基于ai对抗深度伪造人像的系统及方法 |
| CN111800646A (zh) * | 2020-06-24 | 2020-10-20 | 北京安博盛赢教育科技有限责任公司 | 一种监控教学效果的方法、装置、介质和电子设备 |
| CN112382151A (zh) * | 2020-11-16 | 2021-02-19 | 深圳市商汤科技有限公司 | 一种线上学习方法及装置、电子设备及存储介质 |
| CN112652200A (zh) * | 2020-11-16 | 2021-04-13 | 北京家有课堂科技有限公司 | 人机交互系统、方法、服务器、交互控制设备及存储介质 |
| CN113435975A (zh) * | 2021-06-29 | 2021-09-24 | 平安科技（深圳）有限公司 | 轮椅租赁处理方法、装置及相关设备 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914694A (zh) * | 2020-07-16 | 2020-11-10 | 哈尔滨工程大学 | 一种基于人脸识别听课质量检测方法 |
| CN113283383A (zh) * | 2021-06-15 | 2021-08-20 | 北京有竹居网络技术有限公司 | 一种直播行为识别方法、装置、设备和可读介质 |
| CN116740998A (zh) * | 2023-05-31 | 2023-09-12 | 武汉木仓科技股份有限公司 | 一种信息交互的远程教学系统以及方法、设备 |
| CN116824280B (zh) * | 2023-08-30 | 2023-11-24 | 安徽爱学堂教育科技有限公司 | 基于微表情变化的心理预警方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080020363A1 (en) * | 2006-07-22 | 2008-01-24 | Yao-Jen Chang | Learning Assessment Method And Device Using A Virtual Tutor |
| CN106778539A (zh) * | 2016-11-25 | 2017-05-31 | 鲁东大学 | 教学效果信息获取方法及装置 |
| CN108009954A (zh) * | 2017-12-12 | 2018-05-08 | 联想(北京)有限公司 | 一种教学计划制定方法、装置、系统及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及系统 |
| CN107292271B (zh) * | 2017-06-23 | 2020-02-14 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
-
2018
- 2018-10-25 CN CN201811247129.7A patent/CN109614849A/zh active Pending
- 2018-12-24 WO PCT/CN2018/123186 patent/WO2020082566A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080020363A1 (en) * | 2006-07-22 | 2008-01-24 | Yao-Jen Chang | Learning Assessment Method And Device Using A Virtual Tutor |
| CN106778539A (zh) * | 2016-11-25 | 2017-05-31 | 鲁东大学 | 教学效果信息获取方法及装置 |
| CN108009954A (zh) * | 2017-12-12 | 2018-05-08 | 联想(北京)有限公司 | 一种教学计划制定方法、装置、系统及电子设备 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033659A (zh) * | 2019-04-26 | 2019-07-19 | 北京大米科技有限公司 | 一种远程教学互动方法、服务器、终端以及系统 |
| CN110033659B (zh) * | 2019-04-26 | 2022-01-21 | 北京大米科技有限公司 | 一种远程教学互动方法、服务器、终端以及系统 |
| WO2020253372A1 (zh) * | 2019-06-19 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
| CN110390048A (zh) * | 2019-06-19 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
| CN110503582A (zh) * | 2019-07-16 | 2019-11-26 | 王霞 | 基于混合现实及多维现实技术的群体互动教育云系统 |
| CN110458076A (zh) * | 2019-08-05 | 2019-11-15 | 西安瑜乐文化科技股份有限公司 | 一种基于计算机视觉的教学方法及系统 |
| CN110992222A (zh) * | 2019-11-05 | 2020-04-10 | 深圳追一科技有限公司 | 教学交互方法、装置、终端设备及存储介质 |
| CN110992741A (zh) * | 2019-11-15 | 2020-04-10 | 深圳算子科技有限公司 | 一种基于课堂情绪和行为分析的学习辅助方法及系统 |
| CN111710030A (zh) * | 2020-05-29 | 2020-09-25 | 上海红阵信息科技有限公司 | 基于ai对抗深度伪造人像的系统及方法 |
| CN111800646A (zh) * | 2020-06-24 | 2020-10-20 | 北京安博盛赢教育科技有限责任公司 | 一种监控教学效果的方法、装置、介质和电子设备 |
| CN112382151A (zh) * | 2020-11-16 | 2021-02-19 | 深圳市商汤科技有限公司 | 一种线上学习方法及装置、电子设备及存储介质 |
| CN112652200A (zh) * | 2020-11-16 | 2021-04-13 | 北京家有课堂科技有限公司 | 人机交互系统、方法、服务器、交互控制设备及存储介质 |
| CN112382151B (zh) * | 2020-11-16 | 2022-11-18 | 深圳市商汤科技有限公司 | 一种线上学习方法及装置、电子设备及存储介质 |
| CN113435975A (zh) * | 2021-06-29 | 2021-09-24 | 平安科技（深圳）有限公司 | 轮椅租赁处理方法、装置及相关设备 |
| CN113435975B (zh) * | 2021-06-29 | 2023-09-26 | 平安科技（深圳）有限公司 | 轮椅租赁处理方法、装置及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020082566A1 (zh) | 2020-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614849A (zh) | 基于生物识别的远程教学方法、装置、设备及存储介质 | |
| Dalim et al. | Using augmented reality with speech input for non-native children's language learning | |
| CN109885595A (zh) | 基于人工智能的课程推荐方法、装置、设备及存储介质 | |
| CN109584648B (zh) | 数据生成方法及装置 | |
| CN110069139B (zh) | Vr技术实现旅游教学实践的体验系统 | |
| CN108010394B (zh) | 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统 | |
| CN111796752B (zh) | 一种基于pc的互动教学系统 | |
| CN109637207A (zh) | 一种学前教育互动教学装置及教学方法 | |
| CN106228982A (zh) | 一种基于教育服务机器人的交互式学习系统与交互方法 | |
| CN107633719A (zh) | 基于多语种人机交互的拟人形象人工智能教学系统和方法 | |
| Mitschke et al. | Exploring everyday encounters with street art using a multimethod design. | |
| Lakshmiprabha et al. | [Poster] An augmented and virtual reality system for training autistic children | |
| Wu et al. | Object recognition-based second language learning educational robot system for Chinese preschool children | |
| CN107862637A (zh) | 智慧教育系统 | |
| CN113012490A (zh) | 一种基于虚拟场景的语言学习系统及装置 | |
| CN106409033A (zh) | 远程教学辅助系统及该系统用远程教学方法和设备 | |
| CN109754653A (zh) | 一种个性化教学的方法及系统 | |
| Wang et al. | Exploring the potential of immersive virtual environments for learning american sign language | |
| CN109902920A (zh) | 用户成长体系的管理方法、装置、设备及存储介质 | |
| Mon et al. | Understanding the requirement of a 3D aided augmented reality mobile app dictionary for children | |
| CN114385013B (zh) | 一种基于vr技术的远程在线教育系统 | |
| CN111477055A (zh) | 基于虚拟现实技术的教师培训系统及方法 | |
| WO2017028272A1 (zh) | 早教系统 | |
| CN115239533A (zh) | 一种交互式在线英语教学系统及其使用方法 | |
| CN113988663A (zh) | 一种儿童综合发展能力在线测评方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40002550 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190412 |
|
| WD01 | Invention patent application deemed withdrawn after publication |