CN111796752B - 一种基于pc的互动教学系统 - Google Patents

一种基于pc的互动教学系统 Download PDF

Info

Publication number
CN111796752B
CN111796752B CN202010410366.1A CN202010410366A CN111796752B CN 111796752 B CN111796752 B CN 111796752B CN 202010410366 A CN202010410366 A CN 202010410366A CN 111796752 B CN111796752 B CN 111796752B
Authority
CN
China
Prior art keywords
unit
information
students
student
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010410366.1A
Other languages
English (en)
Other versions
CN111796752A (zh
Inventor
杨晓琳
刘擂擂
邓光磊
田原
陈诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Kotien Technology Co ltd
Original Assignee
Sichuan Kotien Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Kotien Technology Co ltd filed Critical Sichuan Kotien Technology Co ltd
Priority to CN202010410366.1A priority Critical patent/CN111796752B/zh
Publication of CN111796752A publication Critical patent/CN111796752A/zh
Application granted granted Critical
Publication of CN111796752B publication Critical patent/CN111796752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于PC的互动教学系统，包括信息采集模块、人工智能处理模块、信息反馈模块，所述信息采集模块用于对学生面部及眼球信息进行采集并存储，所述人工智能处理模块用于对所述信息采集模块采集到的数据进行人工智能分析，通过构建眼球动作模型和人脸识别模型对采集到的数据进行计算得到计算结果，所述信息反馈模块用于接收所述人工智能分析结果、了解学生学习状态。本发明利用新型科技，将教师端与学生端进行连接，实现随时随地教学过程，并且通过眼球识别、面部识别技术的应用，增加教师学生之间课堂互动频率，提高学生学习趣味性，使教学内容更加丰富。

Description

一种基于PC的互动教学系统
技术领域
本发明涉及互动教学领域，具体是一种基于PC的互动教学系统。
背景技术
随着科学技术的发展，学校的授课方式逐渐多样化，计算机技术的推广使用，教学方式也从传统教学模式更趋向于互动自由化；多媒体的普及提高了教学效率，教师只需要将提前准备好的课件通过投影仪、麦克风等多媒体设备播放，即可完成教学过程，多媒体设备的推广相较于传统课堂减少了板书时间，提高了教学效率，但是现有的多媒体互动教学存在以下问题：
1、单一的投影或大屏幕的设置，教室内仅少部分学生处于最佳观看位置，在互动教学过程中极易因为位置原因分散学生注意力，互动教学效果大打折扣；
2、多媒体互动教学内容形式较为单一，教师在讲课过程中无法及时顾忌学生对课堂内容的接受程度，无法对学生听课状况进行了解，教学过程显得比较枯燥乏味；
3、多媒体互动教学通常是教师根据提前准备好的课件进行课堂内容讲解，与学生之间缺少课堂互动，学生课堂参与度低，对课堂内容缺乏兴趣。
所以人们需要一种提高课堂互动性的基于PC的互动学系统来解决上述问题。
发明内容
本发明的目的在于提供一种基于PC的互动教学系统，以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于PC的互动教学系统，该互动教学系统包含信息采集模块、人工智能处理模块、信息反馈模块；
所述信息采集模块用于学生在浏览PC时，对学生面部信息及眼球信息进行抓拍、扫描，获取原始信息，对原始信息进行存储；
所述人工智能处理模块用于对所述信息采集模块中的原始信息进行分析、比对、计算以及与信息采集模块、信息反馈模块之间相互通信；
所述信息反馈模块用于教师利用PC上课时，接收所述人工智能模块计算结果、了解学生学习状态和辅助教师完成授课过程。
优选地，所述信息采集模块包括客户端PC、图像采集单元、感应单元和存储单元；
所述客户端PC是学生上课时必要硬件设备，用于为学生提供远程教学、在教学过程中完成教师布置的课堂练习、获取课后作业内容；
所述图像采集单元用于采集学生上课过程中的面部图像信息或者眼球注视位置信息；
所述感应单元用于对目光进行针对性感应识别，感应获取学生双眼动作，对双眼注视屏幕区域进行定位，所述学生双眼动作包括：注视屏幕时间、查看屏幕区域次数，辅助所述图像信息采集单元，获取学生眼球状态；
所述存储单元用于存储所述图像采集单元收集到的学生图像信心和所述感应单元收集到眼球信息。
所述图像采集单元包括摄像头和眼球感受器；
所述摄像头用于学生在浏览PC时通过响应教师端发出的指令，完成对学生面部信息进行随机图像采集；
所述眼球感受器用于感应学生眼球位置，获取眼球初始位置，利用摄像头对学生眼球图像进行采集，与所述感应单元中感应获取到的学生双眼动作进行比对，获取具体眼球视线焦点数据，通过人工智能技术对双眼动作计算。
优选地，所述人工智能处理模块包括信息分类单元、计算单元、结果生成单元和通信单元；
所述信息分类单元用于对所述存储单元中的信息进行具体类别划分，将摄像头采集到的数据根据图像面部信息和眼球视线焦点数据进行划分；
所述计算单元用于构建不同数据模型，利用所述数据模型对进行好分类处理的数据信息进行计算；
所述结果生成单元，用于对图像面部信息和眼球视线焦点数据进行总结分析，输出计算结果，对于学生出现不良学习状态达到一定频率，将该生学习状态通过通信单元反馈到教师端，提醒教师该学生存在学习问题；对于教学过程中课堂练习结果可以实时反馈到教师端PC；
所述通信单元，用于人工智能处理模块、信息采集模块和教师信息模块之间进行相互通信，所述通信单元通过无线设备或有线连接的方式与所述信息采集模块、所述教师信息模块进行信息交流。
所述计算单元包括眼球数据处理单元和图像数据处理单元；
所述眼球数据处理单元，用于课堂练习过程中，通过构建眼球动作模型对老师布置的课堂习题完成情况进行监测，根据学生双眼动作确定学生眼球注视位置，分析学生动作行为得到课堂练习题的最佳选项；
所述图像数据处理单元，用于对采集到的图像面部信息特征进行分析，通过构建人脸识别模型分析不同面部特征，得出学生在上课过程中的学习状态，所述学习状态包括面部情绪、面部专注程度。
所述眼球数据处理单元用于获取学生眼球视线焦点数据，将客户端PC显示屏分为1、2、3、4四个区域，对应课堂练习题目中的A、B、C、D四个选项，根据学生初始眼球位置信息结合眼球位置转动偏移距离，获取学生眼球运动轨迹，确定学生眼球目光最终停留屏幕位置，所得位置与客户端PC显示屏区域进行匹配；
在每一个做题周期内，所述学生眼球目光对1、2、3、4任一屏幕区域查看次数集合为N＝{n1,n2,n3,n4},所述学生眼球目光对1、2、3、4任一屏幕区域每次查看时间集合为：
TA＝{t1,t2,…,ta}；
TB＝{t1,t2,…,tb}；
TC＝{t1,t2,…,tc}；
TD＝{t1,t2,…,td}；
其中，TA为学生眼球目光对1屏幕区域查看时间的集合，t1,t2,…,ta分别表示学生每次查看1屏幕区域的时间；
其中，TB为学生眼球目光对2屏幕区域查看时间的集合，t1,t2,…,tb分别表示学生每次查看2屏幕区域的时间；
其中，TC为学生眼球目光对3屏幕区域查看时间的集合，t1,t2,…,tc分别表示学生每次查看3屏幕区域的时间；
其中，TD为学生眼球目光对4屏幕区域查看时间的集合，t1,t2,…,td分别表示学生每次查看4屏幕区域的时间；
根据公式：
Figure BDA0002492926380000051
Figure BDA0002492926380000052
Figure BDA0002492926380000053
Figure BDA0002492926380000054
其中，T总A、T总B、T总C、T总D分别表示学生对1、2、3、4四个屏幕区域查看时间总和；
对屏幕区域查看次数进行冒泡排序，将集合内元素按照排列顺序进行比较，数值大的元素置于集合末位，得出查看次数最多的区域；
计算每一个屏幕区域时间总和，进行冒泡排序，得出查看时间最长的屏幕区域，将查看时间与查看次数计算结果进行比对，二者结果一致学生端PC屏幕自动出现学生选择结果，针对这一结果所述眼球数据处理单元会将学生选择结果通过通信单元反馈到教师端。
在选项出现在屏幕上后，还可以根据学生目光以及上述算法对选择的选项进行不断的调整，直至整个做题周期结束。
所述图像数据处理单元用于对学生面部信息进行分析，反馈学生学习状态；
所述人脸识别模型中情绪状态分为积极状态、消极状态、正常状态三类，将采集到的学生面部信息与人脸识别模型中情绪状态进行特征匹配，特征匹配成功便向教师端PC进行结果传输，帮助教师及时获取学生学习状态。
优选地，所述教师信息模块包括教师端PC、教学单元、触控单元、和反馈单元；
所述教师端PC，用于教师日常控制学生端，向学生端PC发出命令控制，对学生进行面部信息及眼球信息进行采集；
所述教学单元，用于辅助完成教师课堂授课内容，教学单元包括教学资料单元、教学黑板单元，所述教学资料单元用于存放教师授课需要的课本、课堂习题、课后作业，所述教学黑板单元用于显示所述教学资料单元中包含的内容；
所述触控单元，用于对一定距离内教师形态进行感应，帮助老师远距离控制教学单元，完成教学过程；
所述反馈单元，用于接收所述人工处理模块传输的学生眼球视线焦点数据和图像面部信息特征分析数据，掌握学生学习状态和学习情况。
所述触控单元包括红外感应器和控制单元；
所述红外感应器搭配广角摄像头用于在教师离开教学PC一定距离的状态下，捕捉教师姿势形态，通过教师姿势形态对教学内容进行控制，实现无实物对教学进行控制；
所述控制单元用于判定教师姿势形态是否符合系统自定义规范，姿势形态判定规范随后执行形态动作，完成远距离控制教学内容。
所述无实物对教学进行控制包括在教室任意范围内随时对学生学习状况进行了解、授课资料实现滑动翻页、对课堂重点内容进行标注讲解、布置课堂练习内容、查看课堂习题反馈结果并进行针对性标注及讲解。
与现有技术相比，本发明的有益效果是：
1、学生每人配备客户端PC，可以随时进行课堂学习，便于学生集中注意力，提高听课效率。
2、教师端设有触控单元和教学单元，提供无实物教学形式，教师可以走近学生，与学生互动，同时多媒体互动教学内容形式较为单一，教师在讲课过程中也可以随时掌握学生学习状况，根据学生对课程内容的接受程度适时对教学内容进行调整，提高课堂效率。
3、设置眼球数据处理单元和图像数据处理单元，可以通过新兴技术拓展教学方式，利用眼球识别和人脸识别技术实时获取学生当前学习状态，利用眼球识别完成课堂练习，并利用的数据预测实时更新选项，最终确定最佳选项，增强课堂趣味性，让学生真正地参与到课堂中。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明一种基于PC的互动教学系统的模块示意图；
图2为本发明一种基于PC的互动教学系统的模块连接图；
图3为本发明一种基于PC的互动教学系统的系统流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-2，一种基于PC的互动教学系统，该互动教学系统包含信息采集模块、人工智能处理模块、信息反馈模块；
所述信息采集模块用于学生在浏览PC时，对学生面部信息及眼球信息进行抓拍、扫描，获取原始信息，对原始信息进行存储；
所述人工智能处理模块用于对所述信息采集模块中的原始信息进行分析、比对、计算以及与信息采集模块、信息反馈模块之间相互通信；
所述信息反馈模块用于教师利用PC上课时，接收所述人工智能模块计算结果、了解学生学习状态和辅助教师完成授课过程。
优选地，所述信息采集模块包括客户端PC、图像采集单元、感应单元和存储单元；
所述客户端PC是学生上课时必要硬件设备，用于为学生提供远程教学、在教学过程中完成教师布置的课堂练习、获取课后作业内容；
所述图像采集单元用于采集学生上课过程中的面部图像信息或者眼球注视位置信息；
所述感应单元用于对目光进行针对性感应识别，感应获取学生双眼动作，对双眼注视屏幕区域进行定位，所述学生双眼动作包括：注视屏幕时间、查看屏幕区域次数，辅助所述图像信息采集单元，获取学生眼球状态；
所述存储单元用于存储所述图像采集单元收集到的学生图像信心和所述感应单元收集到眼球信息。
所述图像采集单元包括摄像头和眼球感受器；
所述摄像头用于学生在浏览PC时通过响应教师端发出的指令，完成对学生面部信息进行随机图像采集；
所述眼球感受器用于感应学生眼球位置，获取眼球初始位置，利用摄像头对学生眼球图像进行采集，与所述感应单元中感应获取到的学生双眼动作进行比对，获取具体眼球视线焦点数据，通过人工智能技术对双眼动作计算。
优选地，所述人工智能处理模块包括信息分类单元、计算单元、结果生成单元和通信单元；
所述信息分类单元用于对所述存储单元中的信息进行具体类别划分，将摄像头采集到的数据根据图像面部信息和眼球视线焦点数据进行划分；
所述计算单元用于构建不同数据模型，利用所述数据模型对进行好分类处理的数据信息进行计算；
所述结果生成单元，用于对图像面部信息和眼球视线焦点数据进行总结分析，输出计算结果，对于学生出现不良学习状态达到一定频率，将该生学习状态通过通信单元反馈到教师端，提醒教师该学生存在学习问题；对于教学过程中课堂练习结果可以实时反馈到教师端PC；
所述通信单元，用于人工智能处理模块、信息采集模块和教师信息模块之间进行相互通信，所述通信单元通过无线设备或有线连接的方式与所述信息采集模块、所述教师信息模块进行信息交流。
所述计算单元包括眼球数据处理单元和图像数据处理单元；
所述眼球数据处理单元，用于课堂练习过程中，通过构建眼球动作模型对老师布置的课堂习题完成情况进行监测，根据学生双眼动作确定学生眼球注视位置，分析学生动作行为得到课堂练习题的最佳选项；
所述图像数据处理单元，用于对采集到的图像面部信息特征进行分析，通过构建人脸识别模型分析不同面部特征，得出学生在上课过程中的学习状态，所述学习状态包括面部情绪、面部专注程度。
所述眼球数据处理单元用于获取学生眼球视线焦点数据，将客户端PC显示屏分为1、2、3、4四个区域，对应课堂练习题目中的A、B、C、D四个选项，根据学生初始眼球位置信息结合眼球位置转动偏移距离，获取学生眼球运动轨迹，确定学生眼球目光最终停留屏幕位置，所得位置与客户端PC显示屏区域进行匹配；
在每一个做题周期内，所述学生眼球目光对1、2、3、4任一屏幕区域查看次数集合为N＝{n1,n2,n3,n4},所述学生眼球目光对1、2、3、4任一屏幕区域每次查看时间集合为：
TA＝{t1,t2,…,ta}；
TB＝{t1,t2,…,tb}；
TC＝{t1,t2,…,tc}；
TD＝{t1,t2,…,td}；
其中，TA为学生眼球目光对1屏幕区域查看时间的集合，t1,t2,…,ta分别表示学生每次查看1屏幕区域的时间；
其中，TB为学生眼球目光对2屏幕区域查看时间的集合，t1,t2,…,tb分别表示学生每次查看2屏幕区域的时间；
其中，TC为学生眼球目光对3屏幕区域查看时间的集合，t1,t2,…,tc分别表示学生每次查看3屏幕区域的时间；
其中，TD为学生眼球目光对4屏幕区域查看时间的集合，t1,t2,…,td分别表示学生每次查看4屏幕区域的时间；
根据公式：
Figure BDA0002492926380000121
Figure BDA0002492926380000122
Figure BDA0002492926380000123
Figure BDA0002492926380000124
其中，T总A、T总B、T总C、T总D分别表示学生对1、2、3、4四个屏幕区域查看时间总和；
对屏幕区域查看次数进行冒泡排序，将集合内元素按照排列顺序进行比较，数值大的元素置于集合末位，得出查看次数最多的区域；
计算每一个屏幕区域时间总和，进行冒泡排序，得出查看时间最长的屏幕区域，将查看时间与查看次数计算结果进行比对，二者结果一致学生端PC屏幕自动出现学生选择结果，针对这一结果所述眼球数据处理单元会将学生选择结果通过通信单元反馈到教师端。
所述图像数据处理单元用于对学生面部信息进行分析，反馈学生学习状态；
所述人脸识别模型中情绪状态分为积极状态、消极状态、正常状态三类，将采集到的学生面部信息与人脸识别模型中情绪状态进行特征匹配，特征匹配成功便向教师端PC进行结果传输，帮助教师及时获取学生学习状态。
优选地，所述教师信息模块包括教师端PC、教学单元、触控单元、和反馈单元；
所述教师端PC，用于教师日常控制学生端，向学生端PC发出命令控制，对学生进行面部信息及眼球信息进行采集；
所述教学单元，用于辅助完成教师课堂授课内容，教学单元包括教学资料单元、教学黑板单元，所述教学资料单元用于存放教师授课需要的课本、课堂习题、课后作业，所述教学黑板单元用于显示所述教学资料单元中包含的内容；
所述触控单元，用于对一定距离内教师形态进行感应，帮助老师远距离控制教学单元，完成教学过程；
所述反馈单元，用于接收所述人工处理模块传输的学生眼球视线焦点数据和图像面部信息特征分析数据，掌握学生学习状态和学习情况。
所述触控单元包括红外感应器和控制单元；
所述红外感应器搭配广角摄像头用于在教师离开教学PC一定距离的状态下，捕捉教师姿势形态，通过教师姿势形态对教学内容进行控制，实现无实物对教学进行控制；
所述控制单元用于判定教师姿势形态是否符合系统自定义规范，姿势形态判定规范随后执行形态动作，完成远距离控制教学内容。
所述无实物对教学进行控制包括在教室任意范围内随时对学生学习状况进行了解、授课资料实现滑动翻页、对课堂重点内容进行标注讲解、布置课堂练习内容、查看课堂习题反馈结果并进行针对性标注及讲解。
实施例一：
请参阅图3，本发明实施例中，一种基于PC的互动教学系统，教师端PC发出学生信息采集指令，图像采集单元和感应单元分别采集相应面部数据和眼球数据，将采集到的数据存入存储单元，所述存储单元通过通信单元将数据传输到信息分类单元，计算单元内眼球数据处理单元和图像数据处理单元对所述信息分类单元内数据进行调用，用于计算；
所述眼球数据处理单元用于获取学生眼球视线焦点数据，将客户端PC显示屏分为1、2、3、4四个区域，分别对应课堂练习题目中的A、B、C、D四个选项，根据学生初始眼球位置信息结合眼球位置转动偏移距离，获取学生眼球运动轨迹，确定学生眼球目光最终停留屏幕位置，所得位置与客户端PC显示屏区域进行匹配；
在每一个做题周期内，所述学生眼球目光对1、2、3、4任一屏幕区域查看次数集合为N＝{3,1,5,6},所述学生眼球目光对1、2、3、4任一屏幕区域每次查看时间集合为
TA＝{10,3,6}；
TB＝{5}；
TC＝{10,5,8,11,2}；
TD＝{9,11,3,15,7,1}；
其中，TA为学生眼球目光对1区域每次查看时间的集合，10,3,6分别表示每次查看的时间；
TB为学生眼球目光对2区域每次查看时间的集合，5表示每次查看的时间；
TC为学生眼球目光对3区域每次查看时间的集合，10,5,8,11,2分别表示每次查看的时间；
TD为学生眼球目光对4区域每次查看时间的集合，9,11,3,15,7,1分别表示每次查看的时间；
根据公式：
Figure BDA0002492926380000151
Figure BDA0002492926380000152
Figure BDA0002492926380000153
Figure BDA0002492926380000154
其中，T总A，T总B，T总C，T总D分别表示学生对1、2、3、4四个屏幕区域查看时间总和；
对屏幕区域查看次数进行冒泡排序，将集合内元素按照排列顺序进行比较，数值大的元素置于集合末位，排序结果为N＝{3,1,5,6}＝{1,3,5,6}，得出查看次数最多的区域为区域4；
计算每一个屏幕区域时间总和，进行冒泡排序，排序结果为T＝{19,5,36,46}＝{5,19,36,46},得出查看时间最长的屏幕区域对应的选项为D，将查看时间与查看次数计算结果进行比对，二者结果一致学生端PC屏幕自动出现学生选择结果D，针对这一结果所述眼球数据处理单元会将学生选择结果通过通信单元反馈到教师端。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (5)

1.一种基于PC的互动教学系统，其特征在于，所述互动教学系统包括信息采集模块、人工智能处理模块、信息反馈模块；
所述信息采集模块用于学生在浏览PC时，对学生面部信息及眼球信息进行抓拍、扫描，获取原始信息，对原始信息进行存储；
所述人工智能处理模块用于对所述信息采集模块中的原始信息进行分析、比对、计算以及与信息采集模块、信息反馈模块之间相互通信；
所述信息反馈模块用于教师利用PC上课时，接收所述人工智能模块计算结果、了解学生学习状态和辅助教师完成授课过程；
所述信息采集模块包括客户端PC、图像采集单元、感应单元和存储单元；
所述客户端PC是学生上课时必要硬件设备，用于为学生提供远程教学、在教学过程中完成教师布置的课堂练习、获取课后作业内容；
所述图像采集单元用于采集学生上课过程中的面部图像信息或者眼球注视位置信息；
所述感应单元用于对目光进行针对性感应识别，感应获取学生双眼动作，对双眼注视屏幕区域进行定位，所述学生双眼动作包括：注视屏幕时间、查看屏幕区域次数，辅助所述图像信息采集单元，获取学生眼球状态；
所述存储单元用于存储所述图像采集单元收集到的学生图像信息和所述感应单元收集到眼球信息；
所述图像采集单元包括摄像头和眼球感受器；
所述摄像头用于学生在浏览PC时通过响应教师端发出的指令，完成对学生面部信息进行随机图像采集；
所述眼球感受器用于感应学生眼球位置，获取眼球初始位置，利用摄像头对学生眼球图像进行采集，与所述感应单元中感应获取到的学生双眼动作进行比对，获取具体眼球视线焦点数据，通过人工智能技术对双眼动作计算；
其特征在于，所述人工智能处理模块包括信息分类单元、计算单元、结果生成单元和通信单元；
所述信息分类单元用于对所述存储单元中的信息进行具体类别划分，将摄像头采集到的数据根据图像面部信息和眼球视线焦点数据进行划分；
所述计算单元用于构建不同数据模型，利用所述数据模型对进行好分类处理的数据信息进行计算；
所述结果生成单元，用于对图像面部信息和眼球视线焦点数据进行总结分析，输出计算结果，对于学生出现不良学习状态达到一定频率，将该生学习状态通过通信单元反馈到教师端，提醒教师该学生存在学习问题；对于教学过程中课堂练习结果可以实时反馈到教师端PC；
所述通信单元，用于人工智能处理模块、信息采集模块和教师信息模块之间进行相互通信，所述通信单元通过无线设备或有线连接的方式与所述信息采集模块、所述教师信息模块进行信息交流；
其特征在于，所述计算单元包括眼球数据处理单元和图像数据处理单元；
所述眼球数据处理单元，用于课堂练习过程中，通过构建眼球动作模型对老师布置的课堂习题完成情况进行监测，根据学生双眼动作确定学生眼球注视位置，分析学生动作行为得到课堂练习题的最佳选项；
所述图像数据处理单元，用于对采集到的图像面部信息特征进行分析，通过构建人脸识别模型分析不同面部特征，得出学生在上课过程中的学习状态，所述学习状态包括面部情绪、面部专注程度；
其特征在于，所述眼球数据处理单元用于获取学生眼球视线焦点数据，将客户端PC显示屏分为1、2、3、4四个区域，对应课堂练习题目中的A、B、C、D四个选项，根据学生初始眼球位置信息结合眼球位置转动偏移距离，获取学生眼球运动轨迹，确定学生眼球目光最终停留屏幕位置，所得位置与客户端PC显示屏区域进行匹配；
在每一个做题周期内，所述学生眼球目光对1、2、3、4任一屏幕区域查看次数集合为N＝{n1,n2,n3,n4},所述学生眼球目光对1、2、3、4任一屏幕区域每次查看时间集合为：
TA＝{t1,t2,…,ta}；
TB＝{t1,t2,…,tb}；
TC＝{t1,t2,…,tc}；
TD＝{t1,t2,…,td}；
其中，TA为学生眼球目光对1屏幕区域查看时间的集合，t1,t2,…,ta分别表示学生每次查看1屏幕区域的时间；
其中，TB为学生眼球目光对2屏幕区域查看时间的集合，t1,t2,…,tb分别表示学生每次查看2屏幕区域的时间；
其中，TC为学生眼球目光对3屏幕区域查看时间的集合，t1,t2,…,tc分别表示学生每次查看3屏幕区域的时间；
其中，TD为学生眼球目光对4屏幕区域查看时间的集合，t1,t2,…,td分别表示学生每次查看4屏幕区域的时间；
根据公式：
Figure FDA0003854072410000041
Figure FDA0003854072410000042
Figure FDA0003854072410000043
Figure FDA0003854072410000044
其中，T总A、T总B、T总C、T总D分别表示学生对1、2、3、4四个屏幕区域查看时间总和；
对屏幕区域查看次数进行冒泡排序，将集合内元素按照排列顺序进行比较，数值大的元素置于集合末位，得出查看次数最多的区域；
计算每一个屏幕区域时间总和，进行冒泡排序，得出查看时间最长的屏幕区域，将查看时间与查看次数计算结果进行比对，二者结果一致学生端PC屏幕自动出现学生选择结果，针对这一结果所述眼球数据处理单元会将学生选择结果通过通信单元反馈到教师端。
2.根据权利要求1所述的一种基于PC的互动教学系统，其特征在于，所述图像数据处理单元用于对学生面部信息进行分析，反馈学生学习状态；
所述人脸识别模型中情绪状态分为积极状态、消极状态、正常状态三类，将采集到的学生面部信息与人脸识别模型中情绪状态进行特征匹配，特征匹配成功便向教师端PC进行结果传输，帮助教师及时获取学生学习状态。
3.根据权利要求2所述的一种基于PC的互动教学系统，其特征在于，所述信息反馈模块包括教师端PC、教学单元、触控单元和反馈单元；
所述教师端PC，用于教师日常控制学生端，向学生端PC发出命令控制，对学生进行面部信息及眼球信息进行采集；
所述教学单元，用于辅助完成教师课堂授课内容，教学单元包括教学资料单元、教学黑板单元，所述教学资料单元用于存放教师授课需要的课本、课堂习题、课后作业，所述教学黑板单元用于显示所述教学资料单元中包含的内容；
所述触控单元，用于对一定距离内教师形态进行感应，帮助老师远距离控制教学单元，完成教学过程；
所述反馈单元，用于接收所述人工智能处理模块传输的学生眼球视线焦点数据和图像面部信息特征分析数据，掌握学生学习状态和学习情况。
4.根据权利要求3所述的一种基于PC的互动教学系统，其特征在于，所述触控单元包括红外感应器和控制单元；
所述红外感应器搭配广角摄像头用于在教师离开教学PC一定距离的状态下，捕捉教师姿势形态，通过教师姿势形态对教学内容进行控制，实现无实物对教学进行控制；
所述控制单元用于判定教师姿势形态是否符合系统自定义规范，姿势形态判定规范随后执行形态动作，完成远距离控制教学内容。
5.根据权利要求4所述的一种基于PC的互动教学系统，其特征在于，对教学进行控制包括在教室任意范围内随时对学生学习状况进行了解、授课资料实现滑动翻页、对课堂重点内容进行标注讲解、布置课堂练习内容、查看课堂习题反馈结果并进行针对性标注及讲解。
CN202010410366.1A 2020-05-15 2020-05-15 一种基于pc的互动教学系统 Active CN111796752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010410366.1A CN111796752B (zh) 2020-05-15 2020-05-15 一种基于pc的互动教学系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010410366.1A CN111796752B (zh) 2020-05-15 2020-05-15 一种基于pc的互动教学系统

Publications (2)

Publication Number Publication Date
CN111796752A CN111796752A (zh) 2020-10-20
CN111796752B true CN111796752B (zh) 2022-11-15

Family

ID=72806699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010410366.1A Active CN111796752B (zh) 2020-05-15 2020-05-15 一种基于pc的互动教学系统

Country Status (1)

Country Link
CN (1) CN111796752B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765419B (zh) * 2020-12-30 2024-04-05 广州宏途数字科技有限公司 一种互动直播课堂系统
CN115019570A (zh) * 2021-03-03 2022-09-06 北京七鑫易维信息技术有限公司 一种智能教学系统
CN113570916B (zh) * 2021-08-03 2023-02-10 浙江鸿昌机械有限公司 一种多媒体远程教学辅助方法、设备及其系统
CN113570484B (zh) * 2021-09-26 2022-02-08 广州华赛数据服务有限责任公司 一种基于大数据的线上小学教育管理系统及方法
CN113947961A (zh) * 2021-10-29 2022-01-18 天海如歌(武汉)教育咨询有限公司 一种互联网教育用远距离教学平台系统
CN114038256B (zh) * 2021-11-29 2022-07-12 西南医科大学 一种基于人工智能的教学互动系统
CN113936512B (zh) * 2021-12-17 2022-03-01 正方软件股份有限公司 高校远程教学方法和系统
CN114372906A (zh) * 2022-01-13 2022-04-19 北京正在关怀科技有限公司 自闭症及其他发育障碍儿童教学环境反馈获取方法及装置
CN114219460B (zh) * 2022-02-21 2022-05-31 牛剑教育科技(深圳)有限公司 一种基于人机交互的多媒体教学管理系统
CN116453027B (zh) * 2023-06-12 2023-08-22 深圳市玩瞳科技有限公司 用于教育机器人的ai识别管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931512A (zh) * 2016-07-14 2016-09-07 大连大学 一种数控类课程教学系统及其工作方法
CN108564495A (zh) * 2018-03-08 2018-09-21 深圳市鹰硕技术有限公司 网络教学关注度评估方法以及装置
CN108924487A (zh) * 2018-06-29 2018-11-30 合肥霞康电子商务有限公司 一种基于在线教学的远程监控系统
WO2019218427A1 (zh) * 2018-05-17 2019-11-21 深圳市鹰硕技术有限公司 基于行为特征对比的关注度检测方法以及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156912A1 (en) * 2017-02-27 2018-08-30 Tobii Ab System for gaze interaction
CN107644557B (zh) * 2017-11-06 2020-05-12 合肥亚慕信息科技有限公司 一种基于眼球分析的课堂教学质量分析系统
CN107705164A (zh) * 2017-11-14 2018-02-16 宜宾维特瑞安科技有限公司 一种基于眼球追踪技术的市场调查装置、系统及方法
CN108492648A (zh) * 2018-03-16 2018-09-04 何戴娆 一种远程在线教学学生状态确定方法及系统
CN108399812A (zh) * 2018-03-22 2018-08-14 浙江大学 智能信息管理系统
CN108492632A (zh) * 2018-03-23 2018-09-04 四川科华天府科技有限公司 一种基于情景化教学的课堂教学系统
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN110825220B (zh) * 2019-09-29 2023-12-08 深圳市火乐科技发展有限公司 眼球追踪控制方法、装置、智能投影仪及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931512A (zh) * 2016-07-14 2016-09-07 大连大学 一种数控类课程教学系统及其工作方法
CN108564495A (zh) * 2018-03-08 2018-09-21 深圳市鹰硕技术有限公司 网络教学关注度评估方法以及装置
WO2019218427A1 (zh) * 2018-05-17 2019-11-21 深圳市鹰硕技术有限公司 基于行为特征对比的关注度检测方法以及装置
CN108924487A (zh) * 2018-06-29 2018-11-30 合肥霞康电子商务有限公司 一种基于在线教学的远程监控系统

Also Published As

Publication number Publication date
CN111796752A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111796752B (zh) 一种基于pc的互动教学系统
KR100466709B1 (ko) 학습 시스템
CN110069139B (zh) Vr技术实现旅游教学实践的体验系统
CN102945624A (zh) 基于云计算模型和表情信息反馈的智能化视频教学系统
KR101899038B1 (ko) 빅데이터 분석을 이용한 온라인 학습 및 교육 콘텐츠 저작 시스템
Hieu et al. Identifying learners’ behavior from videos affects teaching methods of lecturers in Universities
Yu Teaching with a dual-channel classroom feedback system in the digital classroom environment
Hernández Correa et al. An application of machine learning and image processing to automatically detect teachers’ gestures
CN112862267A (zh) 智能教学平台及其交互系统
CN117037552A (zh) 智慧课堂交互系统及方法
CN112116841A (zh) 一种基于深度学习的个性化远程教育系统及方法
CN114385013B (zh) 一种基于vr技术的远程在线教育系统
Wang et al. Analyzing Teaching Effects of Blended Learning with LMS: An Empirical Investigation
KR102012316B1 (ko) 증강현실 기반의 방과 후 학습 컨텐츠 제공 시스템
TWM600908U (zh) 學習狀態改善管理系統
JP2021064101A (ja) 情報処理装置、制御方法及びプログラム
Kuznetsova et al. The introduction of innovative technologies in the remote presentation of the material of practical classes in a medical university
JP2020194144A (ja) 情報処理装置、制御方法及びプログラム
TWI731577B (zh) 學習狀態改善管理系統
Pise et al. Research Article Estimation of Learning Affects Experienced by Learners: An Approach Using Relational Reasoning and Adaptive Mapping
Cui et al. A Study on the Application of Artificial Intelligence in the Blended Teaching Mode—Take College Japanese Course as an Example
Bao Research on the Application of Artificial Intelligence Technology in Accounting Teaching of Colleges
Kanjilal Study buddy: An emotionally intelligent tutoring system
KR20160129424A (ko) 전자도서 학습을 위한 학습 클래스 생성 장치 및 방법
CN118314778A (zh) 基于增强现实的学习障碍儿童辅助教学系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant