CN115292513A - 基于多视图学习的教学知识图谱构建及检索方法及系统 - Google Patents

基于多视图学习的教学知识图谱构建及检索方法及系统 Download PDF

Info

Publication number
CN115292513A
CN115292513A CN202210873011.5A CN202210873011A CN115292513A CN 115292513 A CN115292513 A CN 115292513A CN 202210873011 A CN202210873011 A CN 202210873011A CN 115292513 A CN115292513 A CN 115292513A
Authority
CN
China
Prior art keywords
model
teaching
knowledge
retrieval
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210873011.5A
Other languages
English (en)
Inventor
孙善宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Science Research Institute Co Ltd
Original Assignee
Shandong Inspur Science Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Science Research Institute Co Ltd filed Critical Shandong Inspur Science Research Institute Co Ltd
Priority to CN202210873011.5A priority Critical patent/CN115292513A/zh
Publication of CN115292513A publication Critical patent/CN115292513A/zh
Priority to PCT/CN2023/082103 priority patent/WO2024016695A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于多视图学习的教学知识图谱构建及检索方法及系统，属于教学资源推荐技术领域，要解决的技术问题为如何利用深度学习技术，结合多视图学习和用户画像技术，有效利用海量教学资源，自动构建更加准确合理的教学知识图谱，并实现个性化的知识点检索推荐。包括如下步骤：基于多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型构建图谱构建及检索模型，并依次对多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练；通过训练后的图谱构建及检索模型构建教学知识点知识图谱，基于教学知识点知识图谱构建索引并提供检索推荐服务。

Description

基于多视图学习的教学知识图谱构建及检索方法及系统
技术领域
本发明涉及教学资源推荐技术领域，具体地说是基于多视图学习的教学知识图谱构建及检索方法及系统。
背景技术
知识图谱(Knowledge Graph)是一种基于数据的大规模语义网络，作为一种知识表示形式，其描述了领域实体、概念及其之间的各种语义关系。谷歌公司于2012年提出了“Google Knowledge Graph”，知识图谱开始引起学术界和工业界的广泛关注，经过近年来不断地发展，在搜索优化、电子商务、智能推荐、社交媒体等多个领域已经得到了应用实践，逐渐成为一种管理海量信息的必选方式。
近年来，人工智能技术发展迅速，其商业化速度超出预期，人工智能将会给整个社会带来颠覆性的变化，已经成为未来各国重要的发展战略。特别是以深度学习为核心的算法演进，其超强的进化能力，在大数据的支持下，通过训练构建得到类似人脑结构的大规模神经网络，已经可以解决各类问题。
随着互联网技术的快速发展，传统的教育行业也迎来了“互联网+”的新模式，海量的在线教学资源改变了传统的教学方式，从互联网到移动互联网，创造了跨时空的生活、工作和学习方式，对于知识的获取和探索方式发生了根本变化。海量的教学资源呈现出多样性的特点，存在教材书籍、教案、教学视频、教学语音、演讲稿等多种知识点展现形式，同时知识点之间的关联关系也更加复杂，对于不同的学习者，也有其学习个性化的需求。在这种情况下，如何利用深度学习技术，结合多视图学习和用户画像技术，有效利用海量教学资源，自动构建更加准确合理的教学知识图谱，并实现个性化的知识点检索推荐成为亟需解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供基于多视图学习的教学知识图谱构建及检索方法及系统，来解决如何利用深度学习技术，结合多视图学习和用户画像技术，有效利用海量教学资源，自动构建更加准确合理的教学知识图谱，并实现个性化的知识点检索推荐的技术问题。
第一方面，本发明的一种基于多视图学习的教学知识图谱构建及检索方法，包括如下步骤：
构建多视图特征提取器，所述多特征视图提取器用于对多种视图方式的教学资源数据进行特征提取和特征融合，得到知识点本体结构及关联知识点；
基于卷积神经网络构建教学资源画像模型，所述教学资源画像模型以教学资源数据以及教学资源互联网相关扩展数据为输入，对教学资源进行画像，输出教学资源属性，所述教学资源属性包括教学资源基础属性和教学资源扩展属性；
基于神经网络构建知识图谱构建模型，所述知识图谱构建模型以基于知识点本体结构及关联知识点以及教学资源属性为输入，生成教学知识点知识图谱；
构建用户画像模型，所述用户画像模型以用户信息为输入，对用户进行画像，输出用户属性；
构建检索推荐模型，所述检索推荐模型用于基于教学知识点知识图谱构建索引并提供检索推荐服务，用于通过输入的检索内容、并结合用户属性，输出多组知识点及推荐资源以供用户选择；
基于所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型构建图谱构建及检索模型，并依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练，得到训练后的图谱构建及检索模型；
通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱，基于教学知识点知识图谱构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择。
作为优选，所述教学资源的数据源包括教材书籍、教案、教学视频、教学语音以及演讲稿，所述教学资源的视图方式共四种，分别为视频、音频、图像和文字；
所述教学资源基础属性包括知识点、内容结构、过程、原理、概念、工具；
所述教学资源扩展属性包括互联网评价信息和展现形式；
所述检索内容的视图形式包括文字、语音、视频和图像；
所述教学知识点知识图谱包括语义网络、教学资源基础数据和教学资源扩展属性，所述语义网络为基于知识点本体结构及知识点关联形成的；
所述用户信息包括基础信息和学习情况；
所述用户属性包括知识点喜好、掌握程度以及综合能力。
作为优选，所述多视图特征提取器包括：
视频特征提取模型，所述视频特征提取模型为基于三维CNN卷积神经网络构建的网络模型，用于从视频方式的教学资源数据提取知识点语义特征；
音频特征提取模型，所述音频特征提取模型为基于CNN卷积神经网络构建的网络模型，用于从音频方式的教学资源数据中提取知识点语义特征；
图像特征提取模型，所述图像特征提取模型为基于卷积神经网络构建的网路模型，用于从图像方式的教学资源数据中提取知识点语义特征；
文字特征提取模型，所述文字特征提取模型为基于BERT的语言模型，用于从文字方式的教学资源数据中提取知识点语义特征；
特征融合模型，所述特征融合模型用于将所述视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型输出的知识点语义特征进行融合，得到知识点本体结构及关联知识点；
所述知识图谱构建模型包括：
特征编码器，所述特征编码器用于对知识点进行编码，使得相似知识点之间的向量计算距离小，用于提供资源索引查询；
生成网络模型，所述生成网络模型用于生成教学知识点知识图谱。
作为优选，依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练，包括如下步骤：
从多个数据源获取教学资源数据，并根据其素材进行数据标注；
基于所述教学资源数据，分别对所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型进行模型预训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型的模型参数固定，对所述特征融合模型进行模型训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型、文字特征提取模型以及特征融合模型进行组合，通过所述教学资源数据对所述多视图特征提取器整体进行模型训练，对所述多视图特征提取器中每个模型进行参数微调；
收集教学资源互联网相关扩展数据，并进行标签标注；
基于所述教学资源数据、教学资源互联网相关扩展数据以及标签，对所述教学资源画像模型进行模型训练；
基于所述多视图特征提取器输出的知识点本体结构及关联知识点，以及所述教学资源画像模型输出的教学资源基础属性和教学资源扩展属性，对所述知识图谱构建模型进行模型训练；
收集用户信息，并进行标签标注；
基于用户信息和标签，对所述用户画像模型进行模型训练；
基于多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型对所述检索推荐模型进行轻量化剪裁，对所述检索推荐模型中搜索条件提取模型进行训练；
基于所述用户画像模型输出的用户属性以及所述知识图谱构建模型输出的教学知识点知识图谱，对所述检索推荐模型进行模型训练。
作为优选，通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱，包括如下步骤：
选定领域，收集选定领域的教学资源数据；
通过训练后的多视图特征提取器对所述教学资源进行特征提取和特征融合，得到知识点本体结构及关联知识点；
收集教学资源互联网相关扩展数据，基于所述教学资源互联网相关扩展数据以及教学资源数据，通过训练后的教学资源画像模型对教学资源进行画像，得到教学资源属性；
基于知识点本体结构及关联知识点、教学资源属性，通过训练后的知识图谱构建模型对知识点进行编码，使得相似知识点资源之间的向量计算距离小，用于资源索引查询，并生成教学知识点知识图谱；
基于教学知识点知识图谱构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择，包括如下步骤：
输入检索内容，所述检索内容的视图方式包括文字、语音、图像和视频；
获取用户的用户信息，通过训练后的用户画像模型对用户进行画像，生成用户属性；
基于教学知识点知识图谱、通过训练后的检索推荐模型构建索引并提供检索推荐服务；
基于索引以及检索推荐服务，对用户输入的检索内容进行知识点提取、并结合用户属性形成知识点特征向量，并进行知识点查询和特征向量计算，输出多组知识点和推荐资源，以供用户进行选择；
将收集的教学资源数据、互联网相关扩展数据、用户信息以及检索内容，以及输出的多组知识点和推荐资源，反馈至所述图谱构建及检索模型，对所述图谱构建及检索模型进行模型训练，以持续优化所述图谱构建及检索模型。
第二方面，本发明的一种基于多视图学习的教学知识图谱构建及检索系统，用于通过如第一方面任一项所述的一种基于多视图学习的教学知识图谱构建及检索方法为用户提供知识点和教学资源推荐服务，所述系统包括：
模型构建模块，所述模型构建模块用于构建图谱构建及检索模型，所述图谱构建及检索模型包括多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型，所述多特征视图提取器用于对多种视图方式的教学资源数据进行特征提取和特征融合，得到知识点本体结构及关联知识点；所述教学资源画像模型为基于卷积神经网络构建的网络模型，以教学资源数据以及教学资源互联网相关扩展数据为输入，对教学资源进行画像，输出教学资源属性，所述教学资源属性包括教学资源基础属性和教学资源扩展属性；所述知识图谱构建模型以基于知识点本体结构及关联知识点以及教学资源属性为输入，生成教学知识点知识图谱；所述用户画像模型以用户信息为输入，对用户进行画像，输出用户属性；所述检索推荐模型用于基于教学知识点知识图谱构建索引并提供检索推荐服务，用于通过输入的检索内容、并结合用户属性，输出多组知识点及推荐资源以供用户选择；
模型训练模块，所述模型训练模块用于依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练，得到训练后的图谱构建及检索模型；
检索推荐模块，所述检索推荐模块用于通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱，基于教学知识点知识图谱构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择。
作为优选，所述教学资源的数据源包括教材书籍、教案、教学视频、教学语音以及演讲稿，所述教学资源的视图方式共四种，分别为视频、音频、图像和文字；
所述教学资源基础属性包括知识点、内容结构、过程、原理、概念、工具；
所述教学资源扩展属性包括互联网评价信息和展现形式；
所述检索内容的视图形式包括文字、语音、视频和图像；
所述教学知识点知识图谱包括语义网络、教学资源基础数据和教学资源扩展属性，所述语义网络为基于知识点本体结构及知识点关联形成的；
所述用户信息包括基础信息和学习情况；
所述用户属性包括知识点喜好、掌握程度以及综合能力。
作为优选，所述多视图特征提取器包括：
视频特征提取模型，所述视频特征提取模型为基于三维CNN卷积神经网络构建的网络模型，用于从视频方式的教学资源数据提取知识点语义特征；
音频特征提取模型，所述音频特征提取模型为基于CNN卷积神经网络构建的网络模型，用于从音频方式的教学资源数据中提取知识点语义特征；
图像特征提取模型，所述图像特征提取模型为基于卷积神经网络构建的网路模型，用于从图像方式的教学资源数据中提取知识点语义特征；
文字特征提取模型，所述文字特征提取模型为基于BERT的语言模型，用于从文字方式的教学资源数据中提取知识点语义特征；
特征融合模型，所述特征融合模型用于将所述视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型输出的知识点语义特征进行融合，得到知识点本体结构及关联知识点；
所述知识图谱构建模型包括：
特征编码器，所述特征编码器用于对知识点进行编码，使得相似知识点之间的向量计算距离小，用于提供资源索引查询；
生成网络模型，所述生成网络模型用于生成教学知识点知识图谱。
作为优选，所述模型序列模块用于通过如下步骤依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练：
从多个数据源获取教学资源数据，并根据其素材进行数据标注；
基于所述教学资源数据，分别对所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型进行模型预训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型的模型参数固定，对所述特征融合模型进行模型训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型、文字特征提取模型以及特征融合模型进行组合，通过所述教学资源数据对所述多视图特征提取器整体进行模型训练，对所述多视图特征提取器中每个模型进行参数微调；
收集教学资源互联网相关扩展数据，并进行标签标注；
基于所述教学资源数据、教学资源互联网相关扩展数据以及标签，对所述教学资源画像模型进行模型训练；
基于所述多视图特征提取器输出的知识点本体结构及关联知识点，以及所述教学资源画像模型输出的教学资源基础属性和教学资源扩展属性，对所述知识图谱构建模型进行模型训练；
收集用户信息，并进行标签标注；
基于用户信息和标签，对所述用户画像模型进行模型训练；
基于多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型对所述检索推荐模型进行轻量化剪裁，对所述检索推荐模型中搜索条件提取模型进行训练；
基于所述用户画像模型输出的用户属性以及所述知识图谱构建模型输出的教学知识点知识图谱，对所述检索推荐模型进行模型训练。
作为优选，所述检索推荐模块用于通过如下步骤构建教学知识点知识图谱，并为用户输出多组知识点及推荐资源以供用户选择：
选定领域，收集选定领域的教学资源数据；
通过训练后的多视图特征提取器对所述教学资源进行特征提取和特征融合，得到知识点本体结构及关联知识点；
收集教学资源互联网相关扩展数据，基于所述教学资源互联网相关扩展数据以及教学资源数据，通过训练后的教学资源画像模型对教学资源进行画像，得到教学资源属性；
基于知识点本体结构及关联知识点、教学资源属性，通过训练后的知识图谱构建模型对知识点进行编码，使得相似知识点资源之间的向量计算距离小，用于资源索引查询，并生成教学知识点知识图谱；
输入检索内容，所述检索内容的视图方式包括文字、语音、图像和视频；
获取用户的用户信息，通过训练后的用户画像模型对用户进行画像，生成用户属性；
基于教学知识点知识图谱、通过训练后的检索推荐模型构建索引并提供检索推荐服务；
基于索引以及检索推荐服务，对用户输入的检索内容进行知识点提取、并结合用户属性形成知识点特征向量，并进行知识点查询和特征向量计算，输出多组知识点和推荐资源，以供用户进行选择；
将收集的教学资源数据、互联网相关扩展数据、用户信息以及检索内容，以及输出的多组知识点和推荐资源，反馈至所述图谱构建及检索模型，对所述图谱构建及检索模型进行模型训练，以持续优化所述图谱构建及检索模型。
本发明的基于多视图学习的教学知识图谱构建及检索方法及系统具有以下优点：
1、基于海量的教学资源数据，有效利用深度学习特征提取技术，充分考虑互联网在线学习的特点，发掘教材书籍、教案、教学视频、教学语音、演讲稿等多视图之间的联系，并结合互联网资源评价信息，通过教学资源画像形成更加合理的知识点属性，构建更加准确合理的教学知识图谱，与传统知识图谱构建和推荐方式相比，采用了多视图学习及深度学习的构建查询方式，根据资源不同的展现方式形成的多视图数据来设计神经网络模型，能够更好的考虑多样性，发掘知识点内部的潜在联系，更加准确合理的提取知识点；
2、加入了教学资源画像和用户画像，在知识点提取和检索过程中，更加有针对性和侧重点，推荐的资源更能符合学习者的学习习惯，满足学习者的个性化的需求，同时推荐结果包含多组数据，增加了推荐的准确性和容错性；
3、学习者根据推荐的学习资源进行学习并及时进行反馈，持续优化推荐模型。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1基于多视图学习的教学知识图谱构建及检索方法的工作原理框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供基于多视图学习的教学知识图谱构建及检索方法及系统，用于解决如何利用深度学习技术，结合多视图学习和用户画像技术，有效利用海量教学资源，自动构建更加准确合理的教学知识图谱，并实现个性化的知识点检索推荐的技术问题。
实施例1：
本发明一种基于多视图学习的教学知识图谱构建及检索方法，包括如下步骤：
S100、构建多视图特征提取器CR-Mutiview-Fet，所述多特征视图提取器CR-Mutiview-Fet用于对多种视图方式的教学资源数据进行特征提取和特征融合，得到知识点本体结构及关联知识点EP-OR；
S200、基于卷积神经网络构建教学资源画像模型CR-Profiler，所述教学资源画像模型CR-Profiler以教学资源数据CR以及教学资源互联网相关扩展数据CR-WWW为输入，对教学资源进行画像，输出教学资源属性，所述教学资源属性包括教学资源基础属性CR-Basic和教学资源扩展属性CR-Ext；
S300、基于神经网络构建知识图谱构建模型KG-Gen，所述知识图谱构建模型KG-Gen以基于知识点本体结构及关联知识点EP-OR以及教学资源属性为输入，生成教学知识点知识图谱EP-KG；
S400、构建用户画像模型Stu-Profiler，所述用户画像模型Stu-Profiler以用户信息Stu-Info为输入，对用户进行画像，输出用户属性Stu-Prop；
S500、构建检索推荐模型CR-Recommend，所述检索推荐模型CR-Recommend用于基于教学知识点知识图谱EP-KG构建索引并提供检索推荐服务，用于通过输入的检索内容、并结合用户属性Stu-Prop，输出多组知识点及推荐资源以供用户选择；
S600、基于所述多视图特征提取器CR-Mutiview-Fet、教学资源画像模型CR-Profiler、知识图谱构建模型KG-Gen、用户画像模型Stu-Profiler以及检索推荐模型CR-Recommend构建图谱构建及检索模型，并依次对所述多视图特征提取器CR-Mutiview-Fet、教学资源画像模型CR-Profiler、知识图谱构建模型KG-Gen、用户画像模型Stu-Profiler以及检索推荐模型CR-Recommend进行模型训练，得到训练后的图谱构建及检索模型；
S700、通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱EP-KG，基于教学知识点知识图谱EP-KG构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择。
本实施例的方法基于海量的教学资源数据CR，有效利用深度学习特征提取技术，充分发掘教材书籍、教案、教学视频、教学语音、演讲稿等多视图之间的联系，并结合互联网资源评价信息，通过教学资源画像形成更加合理的知识点属性，构建更加准确合理的教学知识图谱。利用形成的知识点语义网络和教学资源图谱，结合学生用户画像，形成基于教学知识图谱的检索推荐模型CR-Recommend，提供针对学习者个性化学习、符合其自身特点的知识点学习教学资源，达到因材施教。
本实施例中采集的教学资源的数据源包括教材书籍、教案、教学视频、教学语音以及演讲稿，主要分为知识点视频V、知识点音频A、知识点胶片P和知识点教材L四种视图方式。
即多视图特征提取器CR-Mutiview-Fet负责知识点特征的提取，输出知识点本体结构及关联知识点EP-OR，针对上述四种视图采用四个不同的特征提取模型进行特征提取和特征融合，包括视频特征提取模块FV、音频特征提取模块FA、图像特征提取模块FP、文字特征提取模块FL和特征融合模块FF。视频特征提取模块FV核心是三维CNN卷积神经网络，负责提取视频的知识点语义特征；音频特征提取模块FA核心是CNN卷积神经网络，负责提取音频中的知识点语义特征；图像特征提取模块FP核心是卷积神经网络，负责提取图像的知识点语义特征；文字特征提取模块FL核心是基于BERT的预训练的语言模型，负责提取文字的知识点语义特征；特征融合模块FF将根据来自视频特征提取模块FV、音频特征提取模块FA、图像特征提取模块FP和文字特征提取模块FL的特征向量进行融合，获取知识点本体结构及关联知识点EP-OR。
教学资源画像模型CR-Profiler核心是CNN卷积神经网络模型，负责基于自互联网教学资源相关扩展数据CR-WWW和教学资源数据CR，为教学资源进行画像，得到教学资源基础属性CR-Basic(其包括知识点、内容结构、过程、原理、概念、工具等)和教学资源扩展属性CR-Ext(其包括互联网评价信息、展现形式等)。
知识图谱构建模型KG-Gen其核心是神经网络模型，包括特征编码器Enc和生成网络模型GN，特征编码器用于对知识点进行编码，使得相似知识点之间的向量计算距离小，用于提供资源索引查询；生成网络模型用于生成教学知识点知识图谱EP-KG。即该知识图谱构建模型KG-Gen基于知识点提取形成的知识点本体结构及关联知识点EP-OR，并结合教学资源画像CR-Profiler获取的教育资源属性，生成教学知识点知识图谱EP-KG。
用户画像模型Stu-Profiler是根据用户的用户信息Stu-Info(即学习者的个人信息及学习情况)为学习者进行画像，形成用户属性Stu-Prop(即其学习的知识点喜好、掌握程度以及综合能力等标签。)
检索推荐模型CR-Recommend是基于构建的教学资源知识点知识图谱EP-KG构建索引并提供检索推荐功能，通过输入的检索内容(包括文字、语音、视频、图像等多种形式)，结合用户画像模型Stu-Profiler生成的用户属性Stu-Prop，输出多组知识点及推荐教学资源，作为学习者的用户可以进行选择。
步骤S200将多视图特征提取器CR-Mutiview-Fet、教学资源画像模型CR-Profiler、知识图谱构建模型KG-Gen、用户画像模型Stu-Profiler以及检索推荐模型CR-Recommend组合连接形成图谱构建及检索模型，并依次对所述多视图特征提取器CR-Mutiview-Fet、教学资源画像模型CR-Profiler、知识图谱构建模型KG-Gen、用户画像模型Stu-Profiler以及检索推荐模型CR-Recommend进行模型训练，得到训练后的图谱构建及检索模型。
在该步骤中，通过如下步骤进行训练：
S210、从多个数据源获取教学资源数据CR，并根据其素材进行数据标注；
S220、基于所述教学资源数据CR，分别对所述多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型进行模型预训练；
S230、将所述多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型的模型参数固定，对所述特征融合模型进行模型训练；
S240、将所述多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型、文字特征提取模型以及特征融合模型进行组合，通过所述教学资源数据CR对所述多视图特征提取器CR-Mutiview-Fet整体进行模型训练，对所述多视图特征提取器CR-Mutiview-Fet中每个模型进行参数微调；
S250、收集教学资源互联网相关扩展数据CR-WWW，并进行标签标注；
S260、基于所述教学资源数据CR、教学资源互联网相关扩展数据CR-WWW以及标签，对所述教学资源画像模型CR-Profiler进行模型训练；
S270、基于所述多视图特征提取器CR-Mutiview-Fet输出的知识点本体结构及关联知识点EP-OR，以及所述教学资源画像模型CR-Profiler输出的教学资源基础属性CR-Basic和教学资源扩展属性CR-Ext，对所述知识图谱构建模型KG-Gen进行模型训练；
S280、收集用户信息Stu-Info，并进行标签标注；
S290、基于用户信息Stu-Info和标签，对所述用户画像模型Stu-Profiler进行模型训练；
S2A0、基于多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型对所述检索推荐模型CR-Recommend进行轻量化剪裁，对所述检索推荐模型CR-Recommend中搜索条件提取模型进行训练；
S2B0、基于所述用户画像模型Stu-Profiler输出的用户属性Stu-Prop以及所述知识图谱构建模型KG-Gen输出的教学知识点知识图谱EP-KG，对所述检索推荐模型CR-Recommend进行模型训练。
步骤S300通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱EP-KG，包括如下步骤：
S310、选定领域，收集选定领域的教学资源数据CR；
S320、通过训练后的多视图特征提取器CR-Mutiview-Fet对所述教学资源进行特征提取和特征融合，得到知识点本体结构及关联知识点EP-OR；
S330、收集教学资源互联网相关扩展数据CR-WWW，基于所述教学资源互联网相关扩展数据CR-WWW以及教学资源数据CR，通过训练后的教学资源画像模型CR-Profiler对教学资源进行画像，得到教学资源属性；
S340、基于知识点本体结构及关联知识点EP-OR、教学资源属性，通过训练后的知识图谱构建模型KG-Gen对知识点进行编码，使得相似知识点资源之间的向量计算距离小，用于资源索引查询，并生成教学知识点知识图谱EP-KG。
基于教学知识点知识图谱EP-KG构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择，包括如下步骤：
S350、输入检索内容，所述检索内容的视图方式包括文字、语音、图像和视频；
S360、获取用户的用户信息Stu-Info，通过训练后的用户画像模型Stu-Profiler对用户进行画像，生成用户属性Stu-Prop；
S370、基于教学知识点知识图谱EP-KG、通过训练后的检索推荐模型CR-Recommend构建索引并提供检索推荐服务；
S380、基于索引以及检索推荐服务，对用户输入的检索内容进行知识点提取、并结合用户属性Stu-Prop形成知识点特征向量，并进行知识点查询和特征向量计算，输出多组知识点和推荐资源，以供用户进行选择；
S390、将收集的教学资源数据CR、互联网相关扩展数据、用户信息Stu-Info以及检索内容，以及输出的多组知识点和推荐资源，反馈至所述图谱构建及检索模型，对所述图谱构建及检索模型进行模型训练，以持续优化所述图谱构建及检索模型。
本实施例的方法基于海量的教学资源数据CR，有效利用深度学习特征提取技术，充分考虑互联网在线学习的特点，发掘教材书籍、教案、教学视频、教学语音、演讲稿等多视图之间的联系，并结合互联网资源评价信息，通过教学资源画像形成更加合理的知识点属性，构建更加准确合理的教学知识图谱。与传统知识图谱构建和推荐方式相比，采用了多视图学习及深度学习的构建查询方式，根据资源不同的展现方式形成的多视图数据来设计神经网络模型，能够更好的考虑多样性，发掘知识点内部的潜在联系，更加准确合理的提取知识点；方法中加入了教学资源画像和学习者用户画像，在知识点提取和检索过程中，更加有针对性和侧重点，推荐的资源更能符合学习者的学习习惯，满足学习者的个性化的需求，同时推荐结果包含多组数据，增加了推荐的准确性和容错性。另外，学习者根据推荐的学习资源进行学习并及时进行反馈，持续优化推荐模型。
实施例2：
本发明一种基于多视图学习的教学知识图谱构建及检索系统，包括模型构建模块、模型训练模块以及检索推荐模块，该系统基于实施例公开的方法为用户提供知识点和教学资源推荐服务。
模型构建模块用于构建图谱构建及检索模型，所述图谱构建及检索模型包括多视图特征提取器CR-Mutiview-Fet、教学资源画像模型CR-Profiler、知识图谱构建模型KG-Gen、用户画像模型Stu-Profiler以及检索推荐模型CR-Recommend。
本实施例中采集的教学资源的数据源包括教材书籍、教案、教学视频、教学语音以及演讲稿，主要分为知识点视频V、知识点音频A、知识点胶片P和知识点教材L四种视图方式。
多视图特征提取器CR-Mutiview-Fet负责知识点特征的提取，输出知识点本体结构及关联知识点EP-OR，针对上述四种视图采用四个不同的特征提取模型进行特征提取和特征融合，包括视频特征提取模块FV、音频特征提取模块FA、图像特征提取模块FP、文字特征提取模块FL和特征融合模块FF。视频特征提取模块FV核心是三维CNN卷积神经网络，负责提取视频的知识点语义特征；音频特征提取模块FA核心是CNN卷积神经网络，负责提取音频中的知识点语义特征；图像特征提取模块FP核心是卷积神经网络，负责提取图像的知识点语义特征；文字特征提取模块FL核心是基于BERT的预训练的语言模型，负责提取文字的知识点语义特征；特征融合模块FF将根据来自视频特征提取模块FV、音频特征提取模块FA、图像特征提取模块FP和文字特征提取模块FL的特征向量进行融合，获取知识点本体结构及关联知识点EP-OR。
教学资源画像模型CR-Profiler核心是CNN卷积神经网络模型，负责基于自互联网教学资源相关扩展数据CR-WWW和教学资源数据CR，为教学资源进行画像，得到教学资源基础属性CR-Basic(其包括知识点、内容结构、过程、原理、概念、工具等)和教学资源扩展属性CR-Ext(其包括互联网评价信息、展现形式等)。
知识图谱构建模型KG-Gen其核心是神经网络模型，包括特征编码器Enc和生成网络模型GN，特征编码器用于对知识点进行编码，使得相似知识点之间的向量计算距离小，用于提供资源索引查询；生成网络模型用于生成教学知识点知识图谱EP-KG。即该知识图谱构建模型KG-Gen基于知识点提取形成的知识点本体结构及关联知识点EP-OR，并结合教学资源画像CR-Profiler获取的教育资源属性，生成教学知识点知识图谱EP-KG。
用户画像模型Stu-Profiler是根据用户的用户信息Stu-Info(即学习者的个人信息及学习情况)为学习者进行画像，形成用户属性Stu-Prop(即其学习的知识点喜好、掌握程度以及综合能力等标签。)
检索推荐模型CR-Recommend是基于构建的教学资源知识点知识图谱EP-KG构建索引并提供检索推荐功能，通过输入的检索内容(包括文字、语音、视频、图像等多种形式)，结合用户画像模型Stu-Profiler生成的用户属性Stu-Prop，输出多组知识点及推荐教学资源，作为学习者的用户可以进行选择。
模型训练模块用于依次对所述多视图特征提取器CR-Mutiview-Fet、教学资源画像模型CR-Profiler、知识图谱构建模型KG-Gen、用户画像模型Stu-Profiler以及检索推荐模型CR-Recommend进行模型训练，得到训练后的图谱构建及检索模型。
作为具体实施，该模型训练模块用于通过如下步骤进行训练：
(1)从多个数据源获取教学资源数据CR，并根据其素材进行数据标注；
(2)基于所述教学资源数据CR，分别对所述多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型进行模型预训练；
(3)将所述多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型的模型参数固定，对所述特征融合模型进行模型训练；
(4)将所述多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型、文字特征提取模型以及特征融合模型进行组合，通过所述教学资源数据CR对所述多视图特征提取器CR-Mutiview-Fet整体进行模型训练，对所述多视图特征提取器CR-Mutiview-Fet中每个模型进行参数微调；
(5)收集教学资源互联网相关扩展数据CR-WWW，并进行标签标注；
(6)基于所述教学资源数据CR、教学资源互联网相关扩展数据CR-WWW以及标签，对所述教学资源画像模型CR-Profiler进行模型训练；
(7)基于所述多视图特征提取器CR-Mutiview-Fet输出的知识点本体结构及关联知识点EP-OR，以及所述教学资源画像模型CR-Profiler输出的教学资源基础属性CR-Basic和教学资源扩展属性CR-Ext，对所述知识图谱构建模型KG-Gen进行模型训练；
(8)收集用户信息Stu-Info，并进行标签标注；
(9)基于用户信息Stu-Info和标签，对所述用户画像模型Stu-Profiler进行模型训练；
(10)基于多视图特征提取器CR-Mutiview-Fet中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型对所述检索推荐模型CR-Recommend进行轻量化剪裁，对所述检索推荐模型CR-Recommend中搜索条件提取模型进行训练；
(11)基于所述用户画像模型Stu-Profiler输出的用户属性Stu-Prop以及所述知识图谱构建模型KG-Gen输出的教学知识点知识图谱EP-KG，对所述检索推荐模型CR-Recommend进行模型训练。
检索推荐模块用于通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱EP-KG，基于教学知识点知识图谱EP-KG构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择。
作为具体实施，检索推荐模块用于通过如下步骤构建教学知识点知识图谱EP-KG，并为用户输出多组知识点及推荐资源以供用户选择：
(1)选定领域，收集选定领域的教学资源数据CR；
(2)通过训练后的多视图特征提取器CR-Mutiview-Fet对所述教学资源进行特征提取和特征融合，得到知识点本体结构及关联知识点EP-OR；
(3)收集教学资源互联网相关扩展数据CR-WWW，基于所述教学资源互联网相关扩展数据CR-WWW以及教学资源数据CR，通过训练后的教学资源画像模型CR-Profiler对教学资源进行画像，得到教学资源属性；
(4)基于知识点本体结构及关联知识点EP-OR、教学资源属性，通过训练后的知识图谱构建模型KG-Gen对知识点进行编码，使得相似知识点资源之间的向量计算距离小，用于资源索引查询，并生成教学知识点知识图谱EP-KG；
(5)输入检索内容，所述检索内容的视图方式包括文字、语音、图像和视频；
(6)获取用户的用户信息Stu-Info，通过训练后的用户画像模型Stu-Profiler对用户进行画像，生成用户属性Stu-Prop；
(7)基于教学知识点知识图谱EP-KG、通过训练后的检索推荐模型CR-Recommend构建索引并提供检索推荐服务；
(8)基于索引以及检索推荐服务，对用户输入的检索内容进行知识点提取、并结合用户属性Stu-Prop形成知识点特征向量，并进行知识点查询和特征向量计算，输出多组知识点和推荐资源，以供用户进行选择；
(9)将收集的教学资源数据CR、互联网相关扩展数据、用户信息Stu-Info以及检索内容，以及输出的多组知识点和推荐资源，反馈至所述图谱构建及检索模型，对所述图谱构建及检索模型进行模型训练，以持续优化所述图谱构建及检索模型。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.一种基于多视图学习的教学知识图谱构建及检索方法，其特征在于包括如下步骤：
构建多视图特征提取器，所述多特征视图提取器用于对多种视图方式的教学资源数据进行特征提取和特征融合，得到知识点本体结构及关联知识点；
基于卷积神经网络构建教学资源画像模型，所述教学资源画像模型以教学资源数据以及教学资源互联网相关扩展数据为输入，对教学资源进行画像，输出教学资源属性，所述教学资源属性包括教学资源基础属性和教学资源扩展属性；
基于神经网络构建知识图谱构建模型，所述知识图谱构建模型以基于知识点本体结构及关联知识点以及教学资源属性为输入，生成教学知识点知识图谱；
构建用户画像模型，所述用户画像模型以用户信息为输入，对用户进行画像，输出用户属性；
构建检索推荐模型，所述检索推荐模型用于基于教学知识点知识图谱构建索引并提供检索推荐服务，用于通过输入的检索内容、并结合用户属性，输出多组知识点及推荐资源以供用户选择；
基于所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型构建图谱构建及检索模型，并依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练，得到训练后的图谱构建及检索模型；
通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱，基于教学知识点知识图谱构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择。
2.根据权利要求1所述的基于多视图学习的教学知识图谱构建及检索方法，其特征在于所述教学资源的数据源包括教材书籍、教案、教学视频、教学语音以及演讲稿，所述教学资源的视图方式共四种，分别为视频、音频、图像和文字；
所述教学资源基础属性包括知识点、内容结构、过程、原理、概念、工具；
所述教学资源扩展属性包括互联网评价信息和展现形式；
所述检索内容的视图形式包括文字、语音、视频和图像；
所述教学知识点知识图谱包括语义网络、教学资源基础数据和教学资源扩展属性，所述语义网络为基于知识点本体结构及知识点关联形成的；
所述用户信息包括基础信息和学习情况；
所述用户属性包括知识点喜好、掌握程度以及综合能力。
3.根据权利要求2所述的基于多视图学习的教学知识图谱构建及检索方法，其特征在于所述多视图特征提取器包括：
视频特征提取模型，所述视频特征提取模型为基于三维CNN卷积神经网络构建的网络模型，用于从视频方式的教学资源数据提取知识点语义特征；
音频特征提取模型，所述音频特征提取模型为基于CNN卷积神经网络构建的网络模型，用于从音频方式的教学资源数据中提取知识点语义特征；
图像特征提取模型，所述图像特征提取模型为基于卷积神经网络构建的网路模型，用于从图像方式的教学资源数据中提取知识点语义特征；
文字特征提取模型，所述文字特征提取模型为基于BERT的语言模型，用于从文字方式的教学资源数据中提取知识点语义特征；
特征融合模型，所述特征融合模型用于将所述视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型输出的知识点语义特征进行融合，得到知识点本体结构及关联知识点；
所述知识图谱构建模型包括：
特征编码器，所述特征编码器用于对知识点进行编码，使得相似知识点之间的向量计算距离小，用于提供资源索引查询；
生成网络模型，所述生成网络模型用于生成教学知识点知识图谱。
4.根据权利要求3所述的基于多视图学习的教学知识图谱构建及检索方法，其特征在于依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练，包括如下步骤：
从多个数据源获取教学资源数据，并根据其素材进行数据标注；
基于所述教学资源数据，分别对所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型进行模型预训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型的模型参数固定，对所述特征融合模型进行模型训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型、文字特征提取模型以及特征融合模型进行组合，通过所述教学资源数据对所述多视图特征提取器整体进行模型训练，对所述多视图特征提取器中每个模型进行参数微调；
收集教学资源互联网相关扩展数据，并进行标签标注；
基于所述教学资源数据、教学资源互联网相关扩展数据以及标签，对所述教学资源画像模型进行模型训练；
基于所述多视图特征提取器输出的知识点本体结构及关联知识点，以及所述教学资源画像模型输出的教学资源基础属性和教学资源扩展属性，对所述知识图谱构建模型进行模型训练；
收集用户信息，并进行标签标注；
基于用户信息和标签，对所述用户画像模型进行模型训练；
基于多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型对所述检索推荐模型进行轻量化剪裁，对所述检索推荐模型中搜索条件提取模型进行训练；
基于所述用户画像模型输出的用户属性以及所述知识图谱构建模型输出的教学知识点知识图谱，对所述检索推荐模型进行模型训练。
5.根据权利要求3所述的基于多视图学习的教学知识图谱构建及检索方法，其特征在于通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱，包括如下步骤：
选定领域，收集选定领域的教学资源数据；
通过训练后的多视图特征提取器对所述教学资源进行特征提取和特征融合，得到知识点本体结构及关联知识点；
收集教学资源互联网相关扩展数据，基于所述教学资源互联网相关扩展数据以及教学资源数据，通过训练后的教学资源画像模型对教学资源进行画像，得到教学资源属性；
基于知识点本体结构及关联知识点、教学资源属性，通过训练后的知识图谱构建模型对知识点进行编码，使得相似知识点资源之间的向量计算距离小，用于资源索引查询，并生成教学知识点知识图谱；
基于教学知识点知识图谱构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择，包括如下步骤：
输入检索内容，所述检索内容的视图方式包括文字、语音、图像和视频；
获取用户的用户信息，通过训练后的用户画像模型对用户进行画像，生成用户属性；
基于教学知识点知识图谱、通过训练后的检索推荐模型构建索引并提供检索推荐服务；
基于索引以及检索推荐服务，对用户输入的检索内容进行知识点提取、并结合用户属性形成知识点特征向量，并进行知识点查询和特征向量计算，输出多组知识点和推荐资源，以供用户进行选择；
将收集的教学资源数据、互联网相关扩展数据、用户信息以及检索内容，以及输出的多组知识点和推荐资源，反馈至所述图谱构建及检索模型，对所述图谱构建及检索模型进行模型训练，以持续优化所述图谱构建及检索模型。
6.一种基于多视图学习的教学知识图谱构建及检索系统，其特征在于用于通过如权利要求1-5任一项所述的一种基于多视图学习的教学知识图谱构建及检索方法为用户提供知识点和教学资源推荐服务，所述系统包括：
模型构建模块，所述模型构建模块用于构建图谱构建及检索模型，所述图谱构建及检索模型包括多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型，所述多特征视图提取器用于对多种视图方式的教学资源数据进行特征提取和特征融合，得到知识点本体结构及关联知识点；所述教学资源画像模型为基于卷积神经网络构建的网络模型，以教学资源数据以及教学资源互联网相关扩展数据为输入，对教学资源进行画像，输出教学资源属性，所述教学资源属性包括教学资源基础属性和教学资源扩展属性；所述知识图谱构建模型以基于知识点本体结构及关联知识点以及教学资源属性为输入，生成教学知识点知识图谱；所述用户画像模型以用户信息为输入，对用户进行画像，输出用户属性；所述检索推荐模型用于基于教学知识点知识图谱构建索引并提供检索推荐服务，用于通过输入的检索内容、并结合用户属性，输出多组知识点及推荐资源以供用户选择；
模型训练模块，所述模型训练模块用于依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练，得到训练后的图谱构建及检索模型；
检索推荐模块，所述检索推荐模块用于通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱，基于教学知识点知识图谱构建索引并提供检索推荐服务，为用户输出多组知识点及推荐资源以供用户选择。
7.根据权利要求6所述的基于多视图学习的教学知识图谱构建及检索系统，其特征在于所述教学资源的数据源包括教材书籍、教案、教学视频、教学语音以及演讲稿，所述教学资源的视图方式共四种，分别为视频、音频、图像和文字；
所述教学资源基础属性包括知识点、内容结构、过程、原理、概念、工具；
所述教学资源扩展属性包括互联网评价信息和展现形式；
所述检索内容的视图形式包括文字、语音、视频和图像；
所述教学知识点知识图谱包括语义网络、教学资源基础数据和教学资源扩展属性，所述语义网络为基于知识点本体结构及知识点关联形成的；
所述用户信息包括基础信息和学习情况；
所述用户属性包括知识点喜好、掌握程度以及综合能力。
8.根据权利要求7所述的基于多视图学习的教学知识图谱构建及检索系统，其特征在于所述多视图特征提取器包括：
视频特征提取模型，所述视频特征提取模型为基于三维CNN卷积神经网络构建的网络模型，用于从视频方式的教学资源数据提取知识点语义特征；
音频特征提取模型，所述音频特征提取模型为基于CNN卷积神经网络构建的网络模型，用于从音频方式的教学资源数据中提取知识点语义特征；
图像特征提取模型，所述图像特征提取模型为基于卷积神经网络构建的网路模型，用于从图像方式的教学资源数据中提取知识点语义特征；
文字特征提取模型，所述文字特征提取模型为基于BERT的语言模型，用于从文字方式的教学资源数据中提取知识点语义特征；
特征融合模型，所述特征融合模型用于将所述视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型输出的知识点语义特征进行融合，得到知识点本体结构及关联知识点；
所述知识图谱构建模型包括：
特征编码器，所述特征编码器用于对知识点进行编码，使得相似知识点之间的向量计算距离小，用于提供资源索引查询；
生成网络模型，所述生成网络模型用于生成教学知识点知识图谱。
9.根据权利要求8所述的基于多视图学习的教学知识图谱构建及检索系统，其特征在于所述模型序列模块用于通过如下步骤依次对所述多视图特征提取器、教学资源画像模型、知识图谱构建模型、用户画像模型以及检索推荐模型进行模型训练：
从多个数据源获取教学资源数据，并根据其素材进行数据标注；
基于所述教学资源数据，分别对所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型进行模型预训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型的模型参数固定，对所述特征融合模型进行模型训练；
将所述多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型、文字特征提取模型以及特征融合模型进行组合，通过所述教学资源数据对所述多视图特征提取器整体进行模型训练，对所述多视图特征提取器中每个模型进行参数微调；
收集教学资源互联网相关扩展数据，并进行标签标注；
基于所述教学资源数据、教学资源互联网相关扩展数据以及标签，对所述教学资源画像模型进行模型训练；
基于所述多视图特征提取器输出的知识点本体结构及关联知识点，以及所述教学资源画像模型输出的教学资源基础属性和教学资源扩展属性，对所述知识图谱构建模型进行模型训练；
收集用户信息，并进行标签标注；
基于用户信息和标签，对所述用户画像模型进行模型训练；
基于多视图特征提取器中视频特征提取模型、音频特征提取模型、图像特征提取模型以及文字特征提取模型对所述检索推荐模型进行轻量化剪裁，对所述检索推荐模型中搜索条件提取模型进行训练；
基于所述用户画像模型输出的用户属性以及所述知识图谱构建模型输出的教学知识点知识图谱，对所述检索推荐模型进行模型训练。
10.根据权利要求9所述的基于多视图学习的教学知识图谱构建及检索系统，其特征在于所述检索推荐模块用于通过如下步骤构建教学知识点知识图谱，并为用户输出多组知识点及推荐资源以供用户选择：
选定领域，收集选定领域的教学资源数据；
通过训练后的多视图特征提取器对所述教学资源进行特征提取和特征融合，得到知识点本体结构及关联知识点；
收集教学资源互联网相关扩展数据，基于所述教学资源互联网相关扩展数据以及教学资源数据，通过训练后的教学资源画像模型对教学资源进行画像，得到教学资源属性；
基于知识点本体结构及关联知识点、教学资源属性，通过训练后的知识图谱构建模型对知识点进行编码，使得相似知识点资源之间的向量计算距离小，用于资源索引查询，并生成教学知识点知识图谱；
输入检索内容，所述检索内容的视图方式包括文字、语音、图像和视频；
获取用户的用户信息，通过训练后的用户画像模型对用户进行画像，生成用户属性；
基于教学知识点知识图谱、通过训练后的检索推荐模型构建索引并提供检索推荐服务；
基于索引以及检索推荐服务，对用户输入的检索内容进行知识点提取、并结合用户属性形成知识点特征向量，并进行知识点查询和特征向量计算，输出多组知识点和推荐资源，以供用户进行选择；
将收集的教学资源数据、互联网相关扩展数据、用户信息以及检索内容，以及输出的多组知识点和推荐资源，反馈至所述图谱构建及检索模型，对所述图谱构建及检索模型进行模型训练，以持续优化所述图谱构建及检索模型。
CN202210873011.5A 2022-07-22 2022-07-22 基于多视图学习的教学知识图谱构建及检索方法及系统 Pending CN115292513A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210873011.5A CN115292513A (zh) 2022-07-22 2022-07-22 基于多视图学习的教学知识图谱构建及检索方法及系统
PCT/CN2023/082103 WO2024016695A1 (zh) 2022-07-22 2023-03-17 基于多视图学习的教学知识图谱构建及检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210873011.5A CN115292513A (zh) 2022-07-22 2022-07-22 基于多视图学习的教学知识图谱构建及检索方法及系统

Publications (1)

Publication Number Publication Date
CN115292513A true CN115292513A (zh) 2022-11-04

Family

ID=83824281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210873011.5A Pending CN115292513A (zh) 2022-07-22 2022-07-22 基于多视图学习的教学知识图谱构建及检索方法及系统

Country Status (2)

Country Link
CN (1) CN115292513A (zh)
WO (1) WO2024016695A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010636A (zh) * 2022-12-01 2023-04-25 广东工业大学 一种基于美术图像标签的检索推送方法及其用途
WO2024016695A1 (zh) * 2022-07-22 2024-01-25 山东浪潮科学研究院有限公司 基于多视图学习的教学知识图谱构建及检索方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117633254B (zh) * 2024-01-26 2024-04-05 武汉大学 一种基于知识图谱的地图检索用户画像构建方法和系统
CN117672027B (zh) * 2024-02-01 2024-04-30 青岛培诺教育科技股份有限公司 一种vr教学方法、装置、设备及介质
CN117787402B (zh) * 2024-02-28 2024-05-07 徐州医科大学 基于多课程知识图谱融合个性化学习路径生成方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943998B (zh) * 2017-12-05 2021-05-11 竹间智能科技（上海）有限公司 一种基于知识图谱的人机对话控制系统及方法
CN109697233B (zh) * 2018-12-03 2023-06-20 中电科大数据研究院有限公司 一种知识图谱体系搭建方法
CN111753098A (zh) * 2020-06-23 2020-10-09 陕西师范大学 一种基于跨媒体动态知识图谱的教学方法及系统
CN111831914A (zh) * 2020-07-22 2020-10-27 上海掌学教育科技有限公司 一种在线教育的智能推题系统
CN112200317B (zh) * 2020-09-28 2024-05-07 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN114385821A (zh) * 2020-10-21 2022-04-22 腾讯科技（深圳）有限公司 资源检索方法和装置、存储介质及电子设备
CN114372155A (zh) * 2022-01-11 2022-04-19 湖南科技职业学院 一种基于自扩展知识库和多模态画像的个性化学习平台
CN115292513A (zh) * 2022-07-22 2022-11-04 山东浪潮科学研究院有限公司 基于多视图学习的教学知识图谱构建及检索方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016695A1 (zh) * 2022-07-22 2024-01-25 山东浪潮科学研究院有限公司 基于多视图学习的教学知识图谱构建及检索方法及系统
CN116010636A (zh) * 2022-12-01 2023-04-25 广东工业大学 一种基于美术图像标签的检索推送方法及其用途
CN116010636B (zh) * 2022-12-01 2023-08-11 广东工业大学 一种基于美术图像标签的检索推送方法及其用途

Also Published As

Publication number Publication date
WO2024016695A1 (zh) 2024-01-25

Similar Documents

Publication Publication Date Title
CN115292513A (zh) 基于多视图学习的教学知识图谱构建及检索方法及系统
US11348476B2 (en) Personalized learning system and method for the automated generation of structured learning assets based on user data
CN110390108B (zh) 基于深度强化学习的任务型交互方法和系统
CN108563653B (zh) 一种用于知识图谱中知识获取模型的构建方法及系统
Touya et al. Is deep learning the new agent for map generalization?
JP2022531641A (ja) 量子化モデルの最適化方法、装置、情報推薦方法、装置、ニューラルネットワークモデルの最適化方法、装置、電子機器及びコンピュータプログラム
Clarke et al. Contemporary American cartographic research: A review and prospective
CN113886567A (zh) 一种基于知识图谱的教学方法及系统
CN115294427A (zh) 一种基于迁移学习的风格化图像描述生成方法
CN110619042A (zh) 一种基于神经网络的导学问答系统及方法
CN112668719A (zh) 基于工程能力提升的知识图谱构建方法
Juan et al. Particle swarm optimization neural network for research on artificial intelligence college English classroom teaching framework
CN114419642A (zh) 一种文档图像中键值对信息的抽取方法、装置及系统
CN114969282B (zh) 基于富媒体知识图谱多模态情感分析模型的智能交互方法
CN113806487A (zh) 基于神经网络的语义搜索方法、装置、设备和存储介质
CN115953569A (zh) 一种基于多步推理的一阶段视觉定位模型构建方法
Ma et al. Construction and implementation of a college talent cultivation system under deep learning and data mining algorithms
CN112541347A (zh) 一种基于预训练模型的机器阅读理解方法
Li et al. Exploration on College Ideological and Political Education Integrating Artificial Intelligence-Intellectualized Information Technology
Xu et al. CNN-based skip-gram method for improving classification accuracy of chinese text
Obaid et al. Effectiveness of Artificial Intelligence in Graphic Design
CN111831880A (zh) 一种基于微酒店平台的智能问答方法
Wang Research on Online Education Resources Recommendation Based on Deep Learning
CN109493401A (zh) 演示文稿生成方法、装置以及电子设备
CN117113730B (zh) 一种训练课程内容、配置、仿真的生成方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination