CN111986530A - 一种基于学习状态检测的交互学习系统 - Google Patents

一种基于学习状态检测的交互学习系统 Download PDF

Info

Publication number
CN111986530A
CN111986530A CN201910434856.2A CN201910434856A CN111986530A CN 111986530 A CN111986530 A CN 111986530A CN 201910434856 A CN201910434856 A CN 201910434856A CN 111986530 A CN111986530 A CN 111986530A
Authority
CN
China
Prior art keywords
learning
user
learning system
dynamic analysis
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910434856.2A
Other languages
English (en)
Inventor
刘军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Scope Co ltd
Original Assignee
Shenzhen Scope Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Scope Co ltd filed Critical Shenzhen Scope Co ltd
Priority to CN201910434856.2A priority Critical patent/CN111986530A/zh
Publication of CN111986530A publication Critical patent/CN111986530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于学习状态检测的交互学习系统，包括：学习系统中心，用于透过该学习终端向用户传递学习内容；数据采集单元，用于通过若干探测装置，捕获用户学习的状态的相关参数；数据处理单元，用于上述相关参数的计算、建模和阶段性的数据对比运算；数据判断中心，其包括系统预存标准比对库，用于根据该数据处理单元提供的数据，计算各项相关参数的阶段性的动态分析值，与系统各项相关参数的预设阈值进行匹配，同时与该系统预存标准比对库进行匹配，将匹配的结果进行反馈；以及干预单元，用于在该匹配的结果表明用户学习需要被干预时，自动干预该学习系统中心的工作状态。能够将学习状态检测与学习系统有机地结合到一起。

Description

一种基于学习状态检测的交互学习系统
技术领域
本发明涉及人工智能交互技术和学习系统，尤其涉及对学习状态进行检测的交互学习系统。
背景技术
随着互联网和人工智能技术的发展，交互学习系统正在慢慢变成一种主流的学习方式，学生可以在独立的时间和空间，根据自己的需要，选择性地进行学习。交互式的学习方式也增加了学生学习的趣味性和效率；另外，对于交互学习系统，越来越多的厂家加入了学生学习时的表情分析、情绪分析、人脸之别，甚至是加入眼动仪进行注意力的识别，能够更加全面地监测和观测学生的学习状况。
目前的学生学习状态监测主要是在教室、图书馆等集体学习环境中进行检测。即使在个体学习环境，有进行监测的情况下，其检测与学习系统也是分开的，与学生的交互学习系统没有很好地结合到一起。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提出一种基于学习状态检测的交互学习系统，能够将学习状态检测与学习系统有机地结合到一起。
本发明解决其技术问题所采用的技术方案是：提供一种基于学习状态检测的交互学习系统，包括服务器和与该服务器网络连接的学习终端，该学习终端和该服务器均包含若干处理器；运行在这些处理器上的程序模块包括：
学习系统中心，用于透过该学习终端向用户传递学习内容；
数据采集单元，用于通过若干探测装置，捕获用户学习的状态的相关参数；
数据处理单元，用于上述相关参数的计算、建模和阶段性的数据对比运算；
数据判断中心，其包括系统预存标准比对库，用于根据该数据处理单元提供的数据，计算各项相关参数的阶段性的动态分析值，与系统各项相关参数的预设阈值进行匹配，同时与该系统预存标准比对库进行匹配，将匹配的结果进行反馈；以及
干预单元，用于在该匹配的结果表明用户学习需要被干预时，自动干预该学习系统中心的工作状态。
在一些实施例中，这些探测装置包括多个摄像头；该数据采集单元包括图像处理中心，同于配合所述的多个摄像头，采集用户的多个角度的图像。
在一些实施例中，这些探测装置还包括体感传感器，该体感传感器设置在该学习终端上、用户的穿戴设备上或者学习环境中，用于检测用户学习过程中体温是否正常、环境是否适合学习以及书写桌面和用户脸部的光线亮度是否适合学习。
在一些实施例中，这些探测装置还包括：眼动仪，用于记录用户学习时的眼动轨迹特征。
在一些实施例中，这些探测装置还包括：语音采集装置，用于实时抓取用户的交互语音进行语音模型训练，对异常音质进行追踪和语音特征的抓取，以判别用户的语音身体异常。
在一些实施例中，该动态分析值包括：专注度动态分析值；表情动态分析值；行为动态分析值；环境动态分析值；以及体温动态分析值。
在一些实施例中，该数据处理单元提供的数据包括：动作行为库、表情数据库、环境数据库、体温数据库和专注度分析库；该系统预存标准比对库包括：动作模型、表情模型、环境模型、体温标准库和专注度标准库。
在一些实施例中，在该专注度动态分析值、该表情动态分析值、该表情动态分析值、该环境动态分析值和该体温动态分析值中的任一项满足系统预设的干预条件时，该学习系统中心的工作状态受到干预。
在一些实施例中，该干预单元，并用于在该匹配的结果表明用户学习不再需要被干预时，自动取消对该学习系统中心的工作状态的干预。
在一些实施例中，该动态分析值是一个动态叠加的计算结果；该匹配的结果包括该动态分析值超出预设阈值的值、次数和频率。
本发明的有益效果在于，通过学习系统中心、数据采集单元、数据处理单元、数据判断中心以及干预单元之间的巧妙配合，能够将学习状态检测与学习系统有机地结合到一起。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1示意出本发明的基于学习状态检测的交互学习系统的框架结构；
图2示意出本发明的交互学习系统中干预过程启动的流程图；
图3示意出本发明的交互学习系统中干预过程启动的流程图。
其中，附图标记说明如下：100、交互学习系统 10、数据采集单元 20、数据处理单元 30、数据判断中心 40、干预单元 50、学习系统中心 21、专注度分析库 22、动作行为库23、表情数据库 24、环境数据库 25、体温数据库 31、系统预存标准比对库 311、专注度标准库 312、动作模型 313、表情模型 314、环境模型 315、体温标准库 32、相关参数的阶段性的动态分析值 321、专注度动态分析值 322、表情动态分析值 323、行为动态分析值324、环境动态分析值 325、体温动态分析值 61、摄像头 62、图像处理中心 63、体感传感器64、眼动仪 。
具体实施方式
现结合附图，对本发明的较佳实施例作详细说明。
参见图1，图1示意出本发明的基于学习状态检测的交互学习系统的框架结构。本发明的交互学习系统100包括服务器和与服务器网络连接的学习终端，学习终端和服务器均包含若干处理器；运行在这些处理器上的程序模块包括：数据采集单元10、数据处理单元20、数据判断中心30、干预单元40以及学习系统中心50。其中，学习系统中心50，用于透过学习终端向用户传递学习内容。也就是说，学习系统中心50相当于现有的交互学习系统，能够与用户进行交互，提供用户所需要的学习资料，包括：文字、语音、画面和视频等。数据采集单元10、数据处理单元20、数据判断中心30和干预单元40构成一个检测学习状态的子系统，这个子系统能够根据检测结果，自动干预学习系统中心50的工作状态，并能够在采取干预措施之后，根据后续的检测结果，决定是继续维持先前的干预还是自动取消先前的干预。
数据采集单元10，用于通过若干探测装置，捕获用户（即学生）学习的状态的相关参数。对于学生学习的状态的监测参数，包括：用户学习过程中的行为动作、表情、眼睛专注度、疲劳情况、用户声音异常状况、环境状况和体温状况。其中，环境状况主要包括用户学习终端书写区域和面部区域的光线强度、所处环境的温度、湿度和噪音状况。
探测装置包括：安装在用户学习终端或者环境中的一个甚至多个摄像头61、体感传感器63、眼动仪64和语音采集装置（图未示）等。
数据采集单元10包括图像处理中心62，同于配合摄像头61，采集用户的多个角度的图像。具体而言，通过多个摄像头61采集用户的多个角度的图像，用户可以不用刻意转动脸部供系统采集样本，多个角度的采集脸部图像和肢体图像，在后台通过一种利用开源的计算机视觉库（Open Source Computer Vision Library，OpenCV）图像处理和CNN神经卷积网络抓取特征进行后台图像三维合成，可以对用户的动作行为和表情特征进行判断，对于用户学习时的习惯性动作、表情进行识别和特征判别，以此检测学生学习的状态。
体感传感器63用于检测用户学习过程中体温是否正常、环境是否适合学习，以及书写桌面和脸部的光线亮度是否适合学习。举例而言，体感传感器63包含环境传感器和人体传感器，主要包含学习终端、学习环境中安装的体温传感器、湿度传感器和亮度传感器等，或者用户穿戴的设备。
眼动仪64，用于记录用户学习时的眼动轨迹特征。
语音采集装置，用于实时抓取用户的交互语音进行语音模型训练，对诸如感冒、沙哑之类的异常音质进行追踪和语音特征的抓取，以判别用户的语音身体异常。
数据处理单元20，其包括数据处理中心，用于对上述相关参数的计算、建模和阶段性的数据对比运算。数据处理单元20提供的数据包括：专注度分析库21、动作行为库22、表情数据库23、环境数据库24和体温数据库25。
数据判断中心30，其包括系统预存标准比对库31（各个年龄段、温度等不同的情况，所对应的国家相关机构规定的有效范围值），用于根据数据处理单元20提供的数据，计算各项相关参数的阶段性的动态分析值32，与系统各项相关参数的预设阈值进行匹配，同时与系统预存标准比对库31进行匹配，将匹配的结果进行反馈。
具体而言，数据判断中心30实时将上述数据处理单元20提供的数据与系统预存对比标准值进行逻辑运算。系统100可以根据用户个性化需求，设置各个参数的阈值，在上述参数逻辑运算中，其阶段性统计值与预设阈值进行计算，然后与对比标准库的数据范围进行匹配，判断各项学习状态参数值是否超过预设阈值。
对用户数据进行上述阶段性数据的动态分析，学生的学习状态数据是不间断的输入系统的，数据判断中心30的相关参数的阶段性的动态分析值32是一个动态叠加的计算结果。具体而言，用户可以进行自主阶段时间设置，可以以“小时、天、周”为单位进行阶段时间设置。
数据判断中心30在将相关参数的阶段性的动态分析值32与系统预存标准比对库31进行匹配的时候，对于超出标准范围（预设阈值）的值与次数、频率进行进一步记录和分析。也即，系统预设阈值除了上述各个学习状态监测参数阈值，还包括各项监测参数阶段性出现的次数、频率等参数的阈值，在上述各个参数阶段性的叠加值超过此阈值时，系统进行干预。可以理解的是，取决于实际应用的需要，系统预设阈值可以有两套，其一用于表明用户学习需要被警告；其另一表明用户学习需要被干预。
干预单元40，用于在前述的匹配的结果表明用户学习需要被干预时，给出干预信息，自动干预学习系统中心50的工作状态。举例而言，干预信息以文字或者语音、图片的方式，反馈到用户的学习终端，及时提醒用户注意。
可以理解的是，当行为动作、表情、眼睛专注度、疲劳情况、用户声音异常状况、环境状况和体温状况等参数超过系统预设阈值时，表明用户实时学习的状态已经不利于用户的学习，或者将对其学习效率产生一定的影响时，干预单元40可以通知学习系统中心50，使得学习系统中心50的工作状态受到干预，例如：中断当前学习资料的播放。
值得一提的是，在专注度动态分析值321、表情动态分析值322、表情动态分析值323、环境动态分析值324和体温动态分析值325中的任一项满足系统预设的干预条件时，干预单元40给出干预通知：可对学习系统中心50的播放，或者，用户的学习进程进行干预和打断、提醒等，包括：暂停学习内容的播放，在学习终端的界面跳出特定的动画和播放特定的语音等方式，进行反馈提醒。
进一步的，用户学习进程被中断，系统100对用户进行异常状况的提醒，用户了解相关参数异常后，可以进行人为的更正和改善。举例而言，系统100可以将异常情况推送到家长或者老师的手机移动端或者PC端。
值得一提的是，系统100实时采集用户学习状态的数据，进行阶段性的动态的分析、反馈和运行，一旦用户的相关异常参数恢复正常之后，系统100可以自动继续播放，或者，重新供用户进行学习。
以下结合附图，对本发明的系统100的实际应用进行示例性的说明。
参见图1，学生借助于学习终端，在采用本发明的系统100进行学习时，利用学习终端上的多个摄像头61对用户进行多个角度的动作识别，在图像处理中心62进行图像的合成和动作的识别，其识别参数和处理结果在数据处理中心20进行分类判别计算和数据库的存储、建模。
用户设置“伸懒腰”动作一天内不能超过20次（一般用户每天在系统100上的学习时间，大概在3小时）。具体的次数和动作，可以根据用户需求自行设定。
系统100对于一天按照24小时进行统计计算，可以是昨天16点到今天16点，并随着学习时间动态叠加统计，即系统100一直统计分析任意学习时间的过去24小时。
数据处理中心20将用户实时的动作分析数据存储在动作行为库22中，当用户在过去23小时内已经做了19次“伸懒腰”动作，在接下来学习的1小时内再做一个“伸懒腰”动作，被系统100识别后，数据判断中心30将对20次“伸懒腰”动作进行反馈至用户的学习终端，并将异常情况以短信的形式推送至家长和老师的手机端。
参见图2，当用户“伸懒腰”动作超过20次时，数据判断中心30将阶段性的行为动态分析值322进行阈值计算，由于“伸懒腰”动作次数超过用户可以设置“伸懒腰”动作一天内不能超过20次，则数据判断中心30连接学习系统中心50的程序功能，将用户学习的内容和进度进行暂停。
参见图3，当用户“伸懒腰”动作超过20次时，数据判断中心30将与系统预存标准比对库31中的动作模型312中“国家健康协会”发布信息关于“伸懒腰”频率过多的相关疾病或者睡眠问题的建议和说明条文进行匹配。
数据判断中心30并将其匹配条文转化成语音进行反馈至用户的学习终端，给出警告。用户此时学习界面处于暂停阶段，不能继续学习，说明此时用户身体处于疲劳状况，睡眠不足，不利于学习，如果属于人为原因，用户可以在学习终端的界面进行人为取消或者重置。
进一步的，用户选择休息，超过一个小时，系统100的动态分析过去24小时的“伸懒腰”动作由20次再次变为19次，系统100重新开始运行，或者用户在系统100的学习终端的界面，手动操作进行取消或者重置，则学习终端的界面继续进行播放。系统100重新获取参数，以此达到系统100主动干预的目的。
与现有技术相比，本发明的基于学习状态检测的交互学习系统100具有的有益效果包括：
1、通过利用若干探测装置对用户进行多个角度和维度的数据采集，可以检测学生动作、表情、语音识别、体温、局部环境的学习亮度、湿度参数等并建立模型。
2、通过设置系统预存标准比对库31，预存上述各个参数的标准库，并在系统100中预设各个参数的阈值，并与系统建立的阶段性的动态模型参数值进行比对和反馈，可以给出智能的判断。
3、通过学习终端实时采集和反馈用户信息和系统信息，可以对学生的各项参数进行深度学习和模型迭代。
4、通过学习终端进行学习内容的暂停或者动画提醒，可以实现系统100的主动干预，并将异常项目参数推送至老师或者家长的手机移动端或PC端。
可以理解的是，这些程序模块，根据应用的需要，可以灵活地配置在学习终端和服务器上。举例而言，数据采集单元10、数据处理单元20以及干预单元40配置在学习终端上；数据判断中心30与学习系统中心50同时设置在学习终端和服务器上，也即：数据判断中心30与学习系统中心50的一部分设置在学习终端上，另一部分设置在服务器上。
应当理解的是，以上实施例仅用以说明本发明的技术方案，而非对其限制，对本领域技术人员来说，可以对上述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改和替换，都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于学习状态检测的交互学习系统，包括服务器和与该服务器网络连接的学习终端，该学习终端和该服务器均包含若干处理器；其特征在于，运行在这些处理器上的程序模块包括：
学习系统中心，用于透过该学习终端向用户传递学习内容；
数据采集单元，用于通过若干探测装置，捕获用户学习的状态的相关参数；
数据处理单元，用于上述相关参数的计算、建模和阶段性的数据对比运算；
数据判断中心，其包括系统预存标准比对库，用于根据该数据处理单元提供的数据，计算各项相关参数的阶段性的动态分析值，与系统各项相关参数的预设阈值进行匹配，同时与该系统预存标准比对库进行匹配，将匹配的结果进行反馈；以及
干预单元，用于在该匹配的结果表明用户学习需要被干预时，自动干预该学习系统中心的工作状态。
2.根据权利要求1所述的交互学习系统，其特征在于：这些探测装置包括多个摄像头；该数据采集单元包括图像处理中心，同于配合所述的多个摄像头，采集用户的多个角度的图像。
3.根据权利要求2所述的交互学习系统，其特征在于：这些探测装置还包括体感传感器，该体感传感器设置在该学习终端上、用户的穿戴设备上或者学习环境中，用于检测用户学习过程中体温是否正常、环境是否适合学习以及书写桌面和用户脸部的光线亮度是否适合学习。
4.根据权利要求2所述的交互学习系统，其特征在于：这些探测装置还包括：眼动仪，用于记录用户学习时的眼动轨迹特征。
5.根据权利要求2所述的交互学习系统，其特征在于：这些探测装置还包括：语音采集装置，用于实时抓取用户的交互语音进行语音模型训练，对异常音质进行追踪和语音特征的抓取，以判别用户的语音身体异常。
6.根据权利要求1所述的交互学习系统，其特征在于：该动态分析值包括：专注度动态分析值；表情动态分析值；行为动态分析值；环境动态分析值；以及体温动态分析值。
7.根据权利要求6所述的交互学习系统，其特征在于：该数据处理单元提供的数据包括：动作行为库、表情数据库、环境数据库、体温数据库和专注度分析库；该系统预存标准比对库包括：动作模型、表情模型、环境模型、体温标准库和专注度标准库。
8.根据权利要求6所述的交互学习系统，其特征在于：在该专注度动态分析值、该表情动态分析值、该表情动态分析值、该环境动态分析值和该体温动态分析值中的任一项满足系统预设的干预条件时，该学习系统中心的工作状态受到干预。
9.根据权利要求1所述的交互学习系统，其特征在于：该干预单元，并用于在该匹配的结果表明用户学习不再需要被干预时，自动取消对该学习系统中心的工作状态的干预。
10.根据权利要求1至9任一项所述的交互学习系统，其特征在于：该动态分析值是一个动态叠加的计算结果；该匹配的结果包括该动态分析值超出预设阈值的值、次数和频率。
CN201910434856.2A 2019-05-23 2019-05-23 一种基于学习状态检测的交互学习系统 Pending CN111986530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910434856.2A CN111986530A (zh) 2019-05-23 2019-05-23 一种基于学习状态检测的交互学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910434856.2A CN111986530A (zh) 2019-05-23 2019-05-23 一种基于学习状态检测的交互学习系统

Publications (1)

Publication Number Publication Date
CN111986530A true CN111986530A (zh) 2020-11-24

Family

ID=73436566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910434856.2A Pending CN111986530A (zh) 2019-05-23 2019-05-23 一种基于学习状态检测的交互学习系统

Country Status (1)

Country Link
CN (1) CN111986530A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487948A (zh) * 2020-11-27 2021-03-12 华中师范大学 一种基于多空间融合的学习者学习过程的专注度感知方法
CN112767202A (zh) * 2021-01-07 2021-05-07 广州番禺职业技术学院 一种远程监测平台及监测方法
CN112863276A (zh) * 2021-01-15 2021-05-28 镇江优智浩搏智能科技有限公司 一种基于人工智能的Web前端教学互动系统
CN113221728A (zh) * 2021-05-10 2021-08-06 湖南科技大学 基于机器视觉的学习环境及状态监测方法及装置
CN113554908A (zh) * 2021-07-13 2021-10-26 上海禾万企业发展有限公司 一种线上教育教学用视频播放系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679591A (zh) * 2012-09-25 2014-03-26 山东博学教育软件科技有限公司 一种远程学习状态监测系统及方法
CN105516280A (zh) * 2015-11-30 2016-04-20 华中科技大学 一种多模态学习过程状态信息压缩记录方法
CN106055894A (zh) * 2016-05-30 2016-10-26 上海芯来电子科技有限公司 一种基于人工智能的行为分析方法和系统
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及系统
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN108647657A (zh) * 2017-05-12 2018-10-12 华中师范大学 一种基于多元行为数据的云端教学过程评价方法
CN109272793A (zh) * 2018-11-21 2019-01-25 合肥虹慧达科技有限公司 儿童交互式阅读学习系统
CN109523852A (zh) * 2018-11-21 2019-03-26 合肥虹慧达科技有限公司 基于视觉监控的学习交互系统及其交互方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679591A (zh) * 2012-09-25 2014-03-26 山东博学教育软件科技有限公司 一种远程学习状态监测系统及方法
CN105516280A (zh) * 2015-11-30 2016-04-20 华中科技大学 一种多模态学习过程状态信息压缩记录方法
CN106055894A (zh) * 2016-05-30 2016-10-26 上海芯来电子科技有限公司 一种基于人工智能的行为分析方法和系统
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及系统
CN108647657A (zh) * 2017-05-12 2018-10-12 华中师范大学 一种基于多元行为数据的云端教学过程评价方法
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN109272793A (zh) * 2018-11-21 2019-01-25 合肥虹慧达科技有限公司 儿童交互式阅读学习系统
CN109523852A (zh) * 2018-11-21 2019-03-26 合肥虹慧达科技有限公司 基于视觉监控的学习交互系统及其交互方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487948A (zh) * 2020-11-27 2021-03-12 华中师范大学 一种基于多空间融合的学习者学习过程的专注度感知方法
CN112487948B (zh) * 2020-11-27 2022-05-13 华中师范大学 一种基于多空间融合的学习者学习过程的专注度感知方法
CN112767202A (zh) * 2021-01-07 2021-05-07 广州番禺职业技术学院 一种远程监测平台及监测方法
CN112863276A (zh) * 2021-01-15 2021-05-28 镇江优智浩搏智能科技有限公司 一种基于人工智能的Web前端教学互动系统
CN113221728A (zh) * 2021-05-10 2021-08-06 湖南科技大学 基于机器视觉的学习环境及状态监测方法及装置
CN113554908A (zh) * 2021-07-13 2021-10-26 上海禾万企业发展有限公司 一种线上教育教学用视频播放系统

Similar Documents

Publication Publication Date Title
CN111986530A (zh) 一种基于学习状态检测的交互学习系统
US10869626B2 (en) Image analysis for emotional metric evaluation
US11430260B2 (en) Electronic display viewing verification
US10573313B2 (en) Audio analysis learning with video data
CN110291478B (zh) 驾驶员监视和响应系统
US11887352B2 (en) Live streaming analytics within a shared digital environment
US20190012599A1 (en) Multimodal machine learning for emotion metrics
US20190172458A1 (en) Speech analysis for cross-language mental state identification
Zhou et al. Tackling mental health by integrating unobtrusive multimodal sensing
US11632590B2 (en) Computer-implemented system and method for determining attentiveness of user
US20170238859A1 (en) Mental state data tagging and mood analysis for data collected from multiple sources
US11073899B2 (en) Multidevice multimodal emotion services monitoring
US20190133510A1 (en) Sporadic collection of affect data within a vehicle
US20100060713A1 (en) System and Method for Enhancing Noverbal Aspects of Communication
US20110263946A1 (en) Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
US20150186912A1 (en) Analysis in response to mental state expression requests
WO2015194391A1 (ja) 検出装置および方法、並びにプログラム
US11484685B2 (en) Robotic control using profiles
Lan et al. Eyesyn: Psychology-inspired eye movement synthesis for gaze-based activity recognition
Raudonis et al. Discrete eye tracking for medical applications
US20220383896A1 (en) System and method for collecting behavioural data to assist interpersonal interaction
US20210142047A1 (en) Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide
Agarwal et al. Semi-Supervised Learning to Perceive Children's Affective States in a Tablet Tutor
WO2022232414A9 (en) Methods, systems, and related aspects for determining a cognitive load of a sensorized device user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124