CN117313852A - 基于多模态数据的个性化教学知识图谱更新方法及系统 - Google Patents

基于多模态数据的个性化教学知识图谱更新方法及系统 Download PDF

Info

Publication number
CN117313852A
CN117313852A CN202311605658.0A CN202311605658A CN117313852A CN 117313852 A CN117313852 A CN 117313852A CN 202311605658 A CN202311605658 A CN 202311605658A CN 117313852 A CN117313852 A CN 117313852A
Authority
CN
China
Prior art keywords
knowledge
knowledge point
data
state
learner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311605658.0A
Other languages
English (en)
Other versions
CN117313852B (zh
Inventor
吴响
杨明昭
王丽丽
余泽华
刘莘
张永婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Medical University
Original Assignee
Xuzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Medical University filed Critical Xuzhou Medical University
Priority to CN202311605658.0A priority Critical patent/CN117313852B/zh
Publication of CN117313852A publication Critical patent/CN117313852A/zh
Application granted granted Critical
Publication of CN117313852B publication Critical patent/CN117313852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及知识图谱更新技术领域，公开了基于多模态数据的个性化教学知识图谱更新方法及系统，通过外设设备收集学习者的生理数据信号；对收集的多模态生理数据信号进行关键特征提取处理，得到学习者关键数据特征；基于多模态生理数据的关键特征融合挖掘方法实现数据挖掘，预测学习者学习偏好，根据预测结果更新基础知识图谱，生成符合学习者学习情况的个性化教学知识图谱。本发明通过收集、处理、融合挖掘学习者多模态生理数据，在基于教材目录的基础知识图谱上进行知识图谱更新，该方法全面考虑了学习者各方面的生理特征，结合智能化挖掘方法生成了更加符合学习者学习偏好的个性化知识图谱。

Description

基于多模态数据的个性化教学知识图谱更新方法及系统
技术领域
本发明涉及知识图谱更新技术领域，具体涉及基于多模态数据的个性化教学知识图谱更新方法及系统。
背景技术
由于互联网信息技术的不断发展，线上教育随之兴盛，线上教育资源也随之越来越丰富。不同的线上教育资源可能具有不同的教学内容、教学风格等，不同的用户对学习内容需求性和对教学风格喜好程度也不同，学习内容和教学风格和用户的适配性可能极大地左右用户的学习积极性，进行影响学习效果。
个性化教学是一种根据学习者的特点、需求和兴趣，为每个学习者提供定制化的学习体验和资源的教学方法。它旨在提高学习效果和学习者参与度，适应不同学习者的学习风格和能力水平。知识图谱是一种结构化的知识表示方法，用于描述实体之间的关系和属性。在教育领域，知识图谱可以用来组织和表示教学内容、概念、关联以及学习路径等信息，帮助学习者更好地理解和掌握知识。
目前业内个性化教学方法一般为两个方向，一、通过智能化生成教学知识图谱、对教学路径进行优化或监控学习者课堂状态，调动学习者上课时的专注度提升学习者学习效果，二、异构教学资源，对学习能力各不相同的学习者，以及面向差异学习者进行教学的教师能够以比较高的精准度推荐教学资源从而提高学习效率；
但学习者个体差异不尽相同，用户对学习内容需求性和对教学风格喜好程度也不同，学习内容和教学风格和用户的适配性可能极大地左右用户的学习积极性，从而影响学习效果，因此如何对学习者进行全面的分析，生成的知识图谱具有单一性，仅贴近学习者的某一特点进行教学的方法，从而针对性的提高学习效率，目前研究的热点问题。
发明内容
本发明的目的在于提供基于多模态数据的个性化教学知识图谱更新方法及系统，解决以下技术问题：
学习者个体差异不尽相同，用户对学习内容需求性和对教学风格喜好程度也不同，学习内容和教学风格和用户的适配性可能极大地左右用户的学习积极性，从而影响学习效果，因此如何对学习者进行全面的分析，生成的知识图谱具有单一性，仅贴近学习者的某一特点进行教学的方法，从而针对性的提高学习效率。
本发明的目的可以通过以下技术方案实现：
基于多模态数据的个性化教学知识图谱更新方法：
获取多模态生理数据：通过外设设备收集学习者的生理数据信号，其中包括但不限于脑电信号、心电信号、视频信号；
关键特征提取：对收集的多模态生理数据信号进行关键特征提取处理，得到学习者关键数据特征，其中包括但不限于脑电数据特征、心电数据特征、体温数据特征、体态数据特征、面部表情数据特征；
偏好预测：基于多模态生理数据的关键特征融合挖掘方法实现数据挖掘，预测学习者学习偏好，根据预测结果更新基础知识图谱，生成符合学习者学习情况的个性化教学知识图谱。
优选地，通过外设设备建立智慧课堂教室，所述外设设备包括但不限于头戴式脑电设备、贴片式心电设备、悬挂式监控设备，其中：
为学习者配备头戴式脑电设备、贴片式心电设备及悬挂式监控设备；抽选基础知识图谱中的待学习章节，进行课程学习；在课程学习过程中，记录学习者在学习不同知识点时的脑电信号、心电信号、视频信号。
优选地，关键特征提取处理的方法如下：
以学习者学习的视频数据为根据，将视频内容以知识点基础概念讲解时域A、知识点应用讲解时域B、知识点强化讲解时域C以及知识点测试时域D进行划分，得到在四个时域收集到的脑电信号、心电信号及视频信号进行关键特征提取；
其中：
脑电关键特征：
A1：对收集的脑电信号进行通道定位，剔除不需要的通道数据；
B1：通过滤波器进行滤波处理，频率选择0.1～30HZ；
C1：对A、B、C、D四个时域收集到的脑电信号进行分段；接着，采用独立成分分析方法（ICA）剔除伪迹成分，如眨眼，眼漂、肌肉紧张等带来的波动；
D1：对保留的脑电信号进行重参考操作，将数据转换为双侧乳突平均参考；
心电关键特征：
A2：选择sym4小波基函数对含噪心电信号进行小波变换，分解得到n尺度上的小波系数；
B2：使用stein的无偏似然估计原理进行n尺度上的阈值计算；
C2：将B2得到的阈值代入wdencmp函数进行去噪，得到降噪后的小波系数；
D2：根据降噪后的最后2尺度的小波系数，使用waverec函数进行心电信号重建，得到最终心电特征数；
视频关键特征：
A3：锁定视频信号中学习者体温、体态及面部表情，并进行截取得到相应的视频片段B_t、B_p及F_e;
B3：以四个时间时域为切割点对B_t、B_p及F_e三个视频片段计算A、B、C、D四个时域内的：
平均体温： 、/>；
平均体态变化次数：、 />；
平均面部表情变化次数： 、 />。
优选地，多模态生理数据的关键特征融合挖掘方法设计如下：
将脑电关键特征、心电关键特征及视频关键特征分别进行训练，为不同关键特征配置匹配特征的最佳参数模型；将脑电关键特征、心电关键特征及视频关键特征模型输出结果作为训练特征输入CNN模型进行训练，并采用Logits函数进行处理，得到最终预测结果；预测结果分为心不在焉类、专注学习类、探索进取类以及强化思考类。
优选地，基础知识图谱以教材目录为基础进行构建，目录中二级标题为知识元，目录中小节顺序及一级标题中出现的知识元为链接规则，生成基础知识图谱；在基础知识图谱上，根据预测结果更新知识元间的链接规则，得到个性化知识图谱；更新知识元间的链接规则为：
若学习者预测结果为心不在焉类：
首先，链接教材所有知识点的基础概念；接着，链接首个知识点的基础概念和知识点应用，直至链接最后一个知识点的基础概念和知识点应用；然后，链接首个知识点的知识点应用和知识点强化，直至链接到最后一个知识点的知识点应用和知识点强化；最后，链接首个知识点的知识点强化和知识点测试，直至链接到最后一个知识点的知识点强化和知识点测试；
若学习者预测结果为专注学习类：
首先，链接教材第一个知识点的基础概念及知识点应用，直至链接到最后一个知识点的基础概念及知识点应用；接着，链接第一个知识点的知识点强化及知识点测试，直至链接到最后一个知识点的知识点强化及知识点测试；
若学习者预测结果为探索进取类：
首先，链接教材第一个知识点的基础概念、知识点应用及知识点强化，直至链接教材最后一个知识点的基础概念、知识点应用及知识点强化；接着，链接第一个知识点的知识点测试，直至链接最后一个知识点的知识点测试；
若学习者预测结果为强化思考类：
链接教材第一个知识点的基础概念、知识点应用、知识点强化及知识点测试，直至链接最后一个知识点的基础概念、知识点应用、知识点强化及知识点测试。
基于多模态数据的个性化教学知识图谱更新系统，为系统设计有限状态转换规则，用于实现对外界事件的响应，所述系统包括：
数据收集模块，用户设备接入系统，收集设备中智慧教室内的头戴式脑电设备、贴片式心电设备、悬挂式监控设备中的数据；
数据处理模块，配备数据处理方法，对收集的学习者生理数据进行处理；
数据融合模块，配备多模态生理数据融合挖掘方法，对处理完成的数据进行挖掘，根据挖掘结果更新基础知识图谱，生成个性化教学知识图谱；
数据存储模块，对学习者当前学年所需学习的所有课程的个性化教学知识图谱进行收集，生成专属个人的个性化知识库。
优选地，所述有限状态转换规则设计如下：
（1）Init状态：此时系统处于初始化状态；
（2）Start状态：用户接入此系统至本地数据库，系统状态由Init状态转换为Start状态，启动数据收集模块，收集学习者相关生理数据；
（3）Handle状态：数据收集模块收集完学习者相关生理数据后，系统状态由Start状态转换为Handle状态，进入数据处理模块，对采集的数据进行处理；
（4）Fusion状态：数据处理模块处理完原始学习者数据后，系统状态由Handle状态转换为Fusion状态，进入数据融合模块，对处理完成的数据进行挖掘；
（5）Update状态：数据融合模块对多模态生理数据进行挖掘，得到预测结果，系统状态由Fusion状态转换为Update状态，对基础知识图谱进行更新，生成个性化知识图谱；
（6）Gather状态：多个教材的个性化知识图谱生成后，系统状态由Update状态转换为Gather状态，对同一学习者的多个个性化知识图谱进行集成，得到专属个人的个性化知识库；
（7）End状态：个性化知识库完成后，若用户选择继续更新，则系统状态由Gather状态转换为Start状态，继续下一批更新任务；若用户选择退出系统，则系统状态由Gather状态转换为End状态，完成此次更新任务，退出。
本发明的有益效果：
1、本发明中通过外设设备记录学习者在学习时的记录学习者在学习不同知识点时的脑电信号、心电信号、视频信号等生理特征数据，并对生理特征数据分别进行训练，并产生相应的关键特征输出结果，将此结果作为训练特征输入CNN模型进行训练，并采用Logits函数进行处理得到预测的学习状态结果，通过学习状态结果出学习者对学习内容以及教学风格的适应程度，从而为后续生成的知识图谱更贴近学习者的喜好，提高学习效率；
2、本发明中根据学习者的喜好更新适配的知识图谱后，可以通过数据库对学习者当前学年所需学习的所有课程的个性化教学知识图谱进行收集，生成专属个人的个性化知识库，便于后续学习者的学习。
综上所述，本发明通过收集、处理、融合挖掘学习者多模态生理数据，在基于教材目录的基础知识图谱上进行知识图谱更新，该方法全面考虑了学习者各方面的生理特征，结合智能化挖掘方法生成了更加符合学习者学习偏好的个性化知识图谱，且个性化知识库存储了学习者在本学年所有课程的个性化知识图谱，便于后续课程间的链接学习。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于多模态数据的个性化教学知识图谱更新方法的流程框图；
图2为本发明中多模态生理数据收集方法示意图；
图3为本发明中多模态生理数据处理方法示意图；
图4为本发明中个性化教学知识图谱更新方法示意图；
图5为本发明中多模态生理数据融合挖掘方法示意图；
图6为本发明中有限状态转换规则设计的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了对学习者进行全面的分析，生成的知识图谱具有单一性，仅贴近学习者的某一特点进行教学的方法，从而针对性的提高学习效率，是目前研究的热点问题；为了解决上述技术问题，请参阅图1所示，本发明通过基于多模态数据的个性化教学知识图谱更新方法：通过收集、处理、融合挖掘学习者多模态生理数据，在基于教材目录的基础知识图谱上进行知识图谱更新，该方法全面考虑了学习者各方面的生理特征，结合智能化挖掘方法生成了更加符合学习者学习偏好的个性化知识图谱，且个性化知识库存储了学习者在本学年所有课程的个性化知识图谱，便于后续课程间的链接学习。
作为本发明的一种实施方式，具体的，请参阅图2所示，获取多模态生理数据：通过外设设备收集学习者的生理数据信号，其中包括但不限于脑电信号、心电信号、视频信号。
在本实施例中，通过外设设备建立智慧课堂教室，在本方案中，外设设备包括但不限于头戴式脑电设备、贴片式心电设备、悬挂式监控设备，为了收集学习者的更加全面的生理信号，还可以增设眼球追踪设备、健康状态设备等，为了便于理解，本案中为学习者配备头戴式脑电设备、贴片式心电设备及悬挂式监控设备；抽选基础知识图谱中的待学习章节，进行课程学习；在课程学习过程中，记录学习者在学习不同知识点时的脑电信号、心电信号、视频信号，眼球运动信号和体态健康信号。
作为本发明的一种实施方式，具体的，请参阅图2-3所示，关键特征提取：对收集的多模态生理数据信号进行关键特征提取处理，得到学习者关键数据特征，其中包括但不限于脑电数据特征、心电数据特征、体温数据特征、体态数据特征、面部表情数据特征。
以学习者学习的视频数据为根据，将视频内容以知识点基础概念讲解时域A、知识点应用讲解时域B、知识点强化讲解时域C以及知识点测试时域D进行划分，得到在四个时域收集到的脑电信号、心电信号及视频信号进行关键特征提取；
对于脑电信号，首先，对收集的脑电信号进行通道定位，剔除不需要的通道数据；然后，通过滤波器进行滤波处理，频率选择0.1～30HZ；其次，对A、B、C、D四个时域收集到的脑电信号进行分段；接着，采用独立成分分析方法（ICA）剔除伪迹成分，如眨眼，眼漂、肌肉紧张等带来的波动；最后，对保留的脑电信号进行重参考操作，将数据转换为双侧乳突平均参考；
对于心电信号，首先，选择sym4小波基函数对含噪心电信号进行小波变换，分解得到5尺度上的小波系数；
接着，使用stein的无偏似然估计原理进行5尺度上的阈值计算；然后，将阈值代入wdencmp函数进行去噪，得到降噪后的小波系数；最后，根据降噪后的最后2尺度的小波系数，使用waverec函数进行心电信号重建，得到最终心电特征数据；接着，使用stein的无偏似然估计原理选择n尺度上的阈值，把小于阈值的小波系数置零；最后，处理完小波尺度分解后的低频系数和高频系数后，使用最后2尺度的小波系数重建心电信号，得到最终心电特征数据；
对于视频信号，首先，锁定视频信号中学习者体温、体态及面部表情，并进行截取得到相应的视频片段B_t、B_p及F_e；接着，以四个时间时域为切割点对B_t、B_p及F_e三个视频片段计算A、B、C、D四个时域内的：
平均体温： 、 />；
平均体态变化次数： 、/>；
平均面部表情变化次数：、 />。
需要说明的是，若是存在眼球运动信号，同样对眼球运动信号进行特征提取并处理，提取其中的关键特征，通过左右摄像头采集左右图像数据，处理器对左右图像数据进行滤波、ROI区域提取、特征点检测，根据特征点的个数来判断眼睛的闭合/张开状态，通过IMU检测智能眼镜姿态数据，从而得到驾驶员的头部的运动姿态，以及是否心不在焉或者是否处于专注状态，其具体实施技术为现有技术，通过现有技术手段即可完成，在此不多赘述。
作为本发明的一种实施方式，具体的请参阅图4所示：
偏好预测：基于多模态生理数据的关键特征融合挖掘方法实现数据挖掘，预测学习者学习偏好，根据预测结果更新基础知识图谱，生成符合学习者学习情况的个性化教学知识图谱。
需要说明的是多模态生理数据的关键特征，即是通过上述实施方式进行脑电信号、心电信号及视频信号进行关键特征提取；
具体的将脑电关键特征、心电关键特征及视频关键特征分别进行训练，为不同关键特征配置匹配特征的最佳参数模型；将脑电关键特征、心电关键特征及视频关键特征模型输出结果作为训练特征输入CNN模型进行训练，并采用Logits函数进行处理，得到最终预测结果；预测结果分为心不在焉类、专注学习类、探索进取类以及强化思考类。
基础知识图谱以教材目录为基础进行构建，目录中二级标题为知识元，目录中小节顺序及一级标题中出现的知识元为链接规则，生成基础知识图谱；在基础知识图谱上，根据预测结果更新知识元间的链接规则，得到个性化知识图谱；更新知识元间的链接规则为：
基于上述四种预测结果：
若学习者预测结果为心不在焉类：
首先，链接教材所有知识点的基础概念；接着，链接首个知识点的基础概念和知识点应用，直至链接最后一个知识点的基础概念和知识点应用；然后，链接首个知识点的知识点应用和知识点强化，直至链接到最后一个知识点的知识点应用和知识点强化；最后，链接首个知识点的知识点强化和知识点测试，直至链接到最后一个知识点的知识点强化和知识点测试；
若学习者预测结果为专注学习类：
首先，链接教材第一个知识点的基础概念及知识点应用，直至链接到最后一个知识点的基础概念及知识点应用；接着，链接第一个知识点的知识点强化及知识点测试，直至链接到最后一个知识点的知识点强化及知识点测试；
若学习者预测结果为探索进取类：
首先，链接教材第一个知识点的基础概念、知识点应用及知识点强化，直至链接教材最后一个知识点的基础概念、知识点应用及知识点强化；接着，链接第一个知识点的知识点测试，直至链接最后一个知识点的知识点测试；
若学习者预测结果为强化思考类：
链接教材第一个知识点的基础概念、知识点应用、知识点强化及知识点测试，直至链接最后一个知识点的基础概念、知识点应用、知识点强化及知识点测试。
通过外设设备记录学习者在学习时的记录学习者在学习不同知识点时的脑电信号、心电信号、视频信号等生理特征数据，并对生理特征数据分别进行训练，并产生相应的关键特征输出结果，将此结果作为训练特征输入CNN模型进行训练，并采用Logits函数进行处理得到预测的学习状态结果，通过学习状态结果出学习者对学习内容以及教学风格的适应程度，从而为后续生成的知识图谱更贴近学习者的喜好，提高学习效率。
请参阅图5，本实施例还提供一种基于多模态数据的个性化教学知识图谱更新系统，为系统设计有限状态转换规则，用于实现对外界事件的响应；
系统包括数据收集模块、数据处理模块、数据融合模块以及数据存储模块：
数据收集模块，用户的外设设备接入系统，收集外设设备中智慧教室内的头戴式脑电设备、贴片式心电设备、悬挂式监控等设备中的数据；
数据处理模块，配备数据处理方法，对收集的学生生理数据进行处理；
数据融合模块，配备多模态生理数据融合挖掘方法，对处理完成的数据进行挖掘，根据挖掘结果更新基础知识图谱，生成个性化教学知识图谱；
数据存储模块，对学生当前学年所需学习的所有课程的个性化教学知识图谱进行收集，生成专属个人的个性化知识库。
请参阅图6，有限状态转换规则设计如下：
（1）Init状态：此时系统处于初始化状态；
（2）Start状态：用户接入此系统至本地数据库，系统状态由Init状态转换为Start状态，启动数据收集模块，收集学生相关生理数据；
（3）Handle状态：数据收集模块收集完学生相关生理数据后，系统状态由Start状态转换为Handle状态，进入数据处理模块，对采集的数据进行处理；
（4）Fusion状态：数据处理模块处理完原始学生数据后，系统状态由Handle状态转换为Fusion状态，进入数据融合模块，对处理完成的数据进行挖掘；
（5）Update状态：数据融合模块对多模态生理数据进行挖掘，得到预测结果，系统状态由Fusion状态转换为Update状态，对基础知识图谱进行更新，生成个性化知识图谱；
（6）Gather状态：多个教材的个性化知识图谱生成后，系统状态由Update状态转换为Gather状态，对同一学生的多个个性化知识图谱进行集成，得到专属个人的个性化知识库；
（7）End状态：个性化知识库完成后，若用户选择继续更新，则系统状态由Gather状态转换为Start状态，继续下一批更新任务；若用户选择退出系统，则系统状态由Gather状态转换为End状态，完成此次更新任务，退出系统。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.基于多模态数据的个性化教学知识图谱更新方法，其特征在于：
获取多模态生理数据：通过外设设备收集学习者的生理数据信号，其中包括但不限于脑电信号、心电信号、视频信号；
关键特征提取：对收集的多模态生理数据信号进行关键特征提取处理，得到学习者关键数据特征，其中包括但不限于脑电数据特征、心电数据特征、体温数据特征、体态数据特征、面部表情数据特征；
偏好预测：基于多模态生理数据的关键特征融合挖掘方法实现数据挖掘，预测学习者学习偏好，根据预测结果更新基础知识图谱，生成符合学习者学习情况的个性化教学知识图谱。
2.根据权利要求1所述的基于多模态数据的个性化教学知识图谱更新方法，其特征在于，通过外设设备建立智慧课堂教室，所述外设设备包括但不限于头戴式脑电设备、贴片式心电设备、悬挂式监控设备，其中：
为学习者配备头戴式脑电设备、贴片式心电设备及悬挂式监控设备；抽选基础知识图谱中的待学习章节，进行课程学习；在课程学习过程中，记录学习者在学习不同知识点时的脑电信号、心电信号、视频信号。
3.根据权利要求2所述的基于多模态数据的个性化教学知识图谱更新方法，其特征在于，关键特征提取处理的方法如下：
以学习者学习的视频数据为根据，将视频内容以知识点基础概念讲解时域A、知识点应用讲解时域B、知识点强化讲解时域C以及知识点测试时域D进行划分，得到在四个时域收集到的脑电信号、心电信号及视频信号进行关键特征提取；
其中：
脑电关键特征：
A1：对收集的脑电信号进行通道定位，剔除不需要的通道数据；
B1：通过滤波器进行滤波处理，频率选择0.1～30HZ；
C1：对A、B、C、D四个时域收集到的脑电信号进行分段；接着，采用独立成分分析方法（ICA）剔除伪迹成分；
D1：对保留的脑电信号进行重参考操作，将数据转换为双侧乳突平均参考；
心电关键特征：
A2：选择sym4小波基函数对含噪心电信号进行小波变换，分解得到n尺度上的小波系数；
B2：使用stein的无偏似然估计原理进行n尺度上的阈值计算；
C2：将B2得到的阈值代入wdencmp函数进行去噪，得到降噪后的小波系数；
D2：根据降噪后的最后2尺度的小波系数，使用waverec函数进行心电信号重建，得到最终心电特征数；
视频关键特征：
A3：锁定视频信号中学习者体温、体态及面部表情，并进行截取得到相应的视频片段B_t、B_p及F_e;
B3：以四个时间时域为切割点对B_t、B_p及F_e三个视频片段计算A、B、C、D四个时域内的：
平均体温： 、/>；
平均体态变化次数：、/>；
平均面部表情变化次数：、/>。
4.根据权利要求3所述的基于多模态数据的个性化教学知识图谱更新方法，其特征在于，多模态生理数据的关键特征融合挖掘方法设计如下：
将脑电关键特征、心电关键特征及视频关键特征分别进行训练，为不同关键特征配置匹配特征的最佳参数模型；将脑电关键特征、心电关键特征及视频关键特征模型输出结果作为训练特征输入CNN模型进行训练，并采用Logits函数进行处理，得到最终预测结果；预测结果分为心不在焉类、专注学习类、探索进取类以及强化思考类。
5.根据权利要求4所述的基于多模态数据的个性化教学知识图谱更新方法，其特征在于，基础知识图谱以教材目录为基础进行构建，目录中二级标题为知识元，目录中小节顺序及一级标题中出现的知识元为链接规则，生成基础知识图谱；在基础知识图谱上，根据预测结果更新知识元间的链接规则，得到个性化知识图谱；更新知识元间的链接规则为：
若学习者预测结果为心不在焉类：
首先，链接教材所有知识点的基础概念；接着，链接首个知识点的基础概念和知识点应用，直至链接最后一个知识点的基础概念和知识点应用；然后，链接首个知识点的知识点应用和知识点强化，直至链接到最后一个知识点的知识点应用和知识点强化；最后，链接首个知识点的知识点强化和知识点测试，直至链接到最后一个知识点的知识点强化和知识点测试；
若学习者预测结果为专注学习类：
首先，链接教材第一个知识点的基础概念及知识点应用，直至链接到最后一个知识点的基础概念及知识点应用；接着，链接第一个知识点的知识点强化及知识点测试，直至链接到最后一个知识点的知识点强化及知识点测试；
若学习者预测结果为探索进取类：
首先，链接教材第一个知识点的基础概念、知识点应用及知识点强化，直至链接教材最后一个知识点的基础概念、知识点应用及知识点强化；接着，链接第一个知识点的知识点测试，直至链接最后一个知识点的知识点测试；
若学习者预测结果为强化思考类：
链接教材第一个知识点的基础概念、知识点应用、知识点强化及知识点测试，直至链接最后一个知识点的基础概念、知识点应用、知识点强化及知识点测试。
6.基于多模态数据的个性化教学知识图谱更新系统，其特征在于，为系统设计有限状态转换规则，用于实现对外界事件的响应，所述系统包括：
数据收集模块，用户设备接入系统，收集设备中智慧教室内的头戴式脑电设备、贴片式心电设备、悬挂式监控设备中的数据；
数据处理模块，配备数据处理方法，对收集的学习者生理数据进行处理；
数据融合模块，配备多模态生理数据融合挖掘方法，对处理完成的数据进行挖掘，根据挖掘结果更新基础知识图谱，生成个性化教学知识图谱；
数据存储模块，对学习者当前学年所需学习的所有课程的个性化教学知识图谱进行收集，生成专属个人的个性化知识库。
7.根据权利要求6所述的基于多模态数据的个性化教学知识图谱更新系统，其特征在于，所述有限状态转换规则设计如下：
（1）Init状态：此时系统处于初始化状态；
（2）Start状态：用户接入此系统至本地数据库，系统状态由Init状态转换为Start状态，启动数据收集模块，收集学习者相关生理数据；
（3）Handle状态：数据收集模块收集完学习者相关生理数据后，系统状态由Start状态转换为Handle状态，进入数据处理模块，对采集的数据进行处理；
（4）Fusion状态：数据处理模块处理完原始学习者数据后，系统状态由Handle状态转换为Fusion状态，进入数据融合模块，对处理完成的数据进行挖掘；
（5）Update状态：数据融合模块对多模态生理数据进行挖掘，得到预测结果，系统状态由Fusion状态转换为Update状态，对基础知识图谱进行更新，生成个性化知识图谱；
（6）Gather状态：多个教材的个性化知识图谱生成后，系统状态由Update状态转换为Gather状态，对同一学习者的多个个性化知识图谱进行集成，得到专属个人的个性化知识库；
（7）End状态：个性化知识库完成后，若用户选择继续更新，则系统状态由Gather状态转换为Start状态，继续下一批更新任务；若用户选择退出系统，则系统状态由Gather状态转换为End状态，完成此次更新任务，退出。
CN202311605658.0A 2023-11-29 2023-11-29 基于多模态数据的个性化教学知识图谱更新方法及系统 Active CN117313852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311605658.0A CN117313852B (zh) 2023-11-29 2023-11-29 基于多模态数据的个性化教学知识图谱更新方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311605658.0A CN117313852B (zh) 2023-11-29 2023-11-29 基于多模态数据的个性化教学知识图谱更新方法及系统

Publications (2)

Publication Number Publication Date
CN117313852A true CN117313852A (zh) 2023-12-29
CN117313852B CN117313852B (zh) 2024-02-02

Family

ID=89281506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311605658.0A Active CN117313852B (zh) 2023-11-29 2023-11-29 基于多模态数据的个性化教学知识图谱更新方法及系统

Country Status (1)

Country Link
CN (1) CN117313852B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787402A (zh) * 2024-02-28 2024-03-29 徐州医科大学 基于多课程知识图谱融合个性化学习路径生成方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250725A1 (en) * 2020-06-08 2021-12-16 Nec Corporation System, device, method, and program for personalized e-learning
CN116258056A (zh) * 2022-12-07 2023-06-13 华中师范大学 多模态知识水平评估与学习表现预测方法、系统及介质
CN117114104A (zh) * 2023-10-24 2023-11-24 徐州医科大学 基于知识特征划分与多维测评的个性化知识图谱生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250725A1 (en) * 2020-06-08 2021-12-16 Nec Corporation System, device, method, and program for personalized e-learning
CN116258056A (zh) * 2022-12-07 2023-06-13 华中师范大学 多模态知识水平评估与学习表现预测方法、系统及介质
CN117114104A (zh) * 2023-10-24 2023-11-24 徐州医科大学 基于知识特征划分与多维测评的个性化知识图谱生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787402A (zh) * 2024-02-28 2024-03-29 徐州医科大学 基于多课程知识图谱融合个性化学习路径生成方法及系统
CN117787402B (zh) * 2024-02-28 2024-05-07 徐州医科大学 基于多课程知识图谱融合个性化学习路径生成方法及系统

Also Published As

Publication number Publication date
CN117313852B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN108664932B (zh) 一种基于多源信息融合的学习情感状态识别方法
CN117313852B (zh) 基于多模态数据的个性化教学知识图谱更新方法及系统
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN113095428A (zh) 一种融合脑电和刺激源信息的视频情感分类方法及系统
Saeed et al. Sense and learn: Self-supervision for omnipresent sensors
CN113693613A (zh) 脑电信号分类方法、装置、计算机设备及存储介质
Assunção et al. An overview of emotion in artificial intelligence
CN111783942A (zh) 一种基于卷积循环神经网络的脑认知过程模拟方法
CN111714118A (zh) 一种基于集成学习的脑认知模型融合方法
Javeed et al. Physical human locomotion prediction using manifold regularization
CN111276159A (zh) 一种婴儿发音分析方法及服务器
CN117064388A (zh) 基于情绪识别实现精神障碍评估分析的系统
CN106571075A (zh) 一种多模态语言康复和学习系统
KR102323601B1 (ko) 딥러닝 알고리즘을 이용한 빅데이터 분석 기반 영유아 성장발달 분석 시스템
Wu et al. Research on removal algorithm of EOG artifacts in single-channel EEG signals based on CEEMDAN-BD
CN111772629B (zh) 一种脑认知技能移植的方法
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
CN117150292A (zh) 一种基于增量学习对手势识别模型训练的方法
Xu et al. Inception‐LSTM Human Motion Recognition with Channel Attention Mechanism
Li et al. Toward end-to-end prediction of future wellbeing using deep sensor representation learning
CN115758118A (zh) 一种基于脑电互信息的多源流形嵌入特征选择方法
CN110147464A (zh) 视频推荐方法、装置、电子设备及可读存储介质
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Nakisa Emotion classification using advanced machine learning techniques applied to wearable physiological signals data
Taqwa et al. Implementation of Naïve Bayes method for product purchasing decision using neural impulse actuator in neuromarketing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant