CN117235187A - 一种基于网络教学资源的数据存储方法及系统 - Google Patents

一种基于网络教学资源的数据存储方法及系统 Download PDF

Info

Publication number
CN117235187A
CN117235187A CN202311512465.0A CN202311512465A CN117235187A CN 117235187 A CN117235187 A CN 117235187A CN 202311512465 A CN202311512465 A CN 202311512465A CN 117235187 A CN117235187 A CN 117235187A
Authority
CN
China
Prior art keywords
data
data set
teaching resource
teaching
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311512465.0A
Other languages
English (en)
Other versions
CN117235187B (zh
Inventor
颜思威
胡修勇
颜海鹰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Neitway Information Technology Development Co ltd
Original Assignee
Shenzhen Neitway Information Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Neitway Information Technology Development Co ltd filed Critical Shenzhen Neitway Information Technology Development Co ltd
Priority to CN202311512465.0A priority Critical patent/CN117235187B/zh
Publication of CN117235187A publication Critical patent/CN117235187A/zh
Application granted granted Critical
Publication of CN117235187B publication Critical patent/CN117235187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及信息技术领域,尤其涉及一种基于网络教学资源的数据存储方法及系统。所述方法包括以下步骤:通过深度爬虫技术进行网络教学资源深度采集,从而获取教学资源数据集;对教学资源数据集进行格式转换,从而获取规范教学资源数据集;对规范教学资源数据集进行主题分类,从而获取分类教学资源数据集;按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集;本发明能够实现教学资源存储和管理效率的提升。

Description

一种基于网络教学资源的数据存储方法及系统
技术领域
本发明涉及信息技术领域,尤其涉及一种基于网络教学资源的数据存储方法及系统。
背景技术
随着网络技术的迅猛发展,网络教学已经成为教育领域的重要组成部分。网络教学资源包括教学课件、学习资料、教学视频等形式的信息,这些资源数量庞大且多样化。当前,许多教育机构和教师都面临着如何有效存储和管理这些网络教学资源的挑战。
现有的数据存储方法存在一些问题。首先,大量的网络教学资源的存储和管理面临着一些挑战,如资源分类不清晰、存储无序以及检索效率低下等。传统的本地存储方式存在空间限制,无法满足大规模教学资源的存储需求。此外,由于网络教学资源的特殊性,需要确保其安全性和完整性,以防止资源的非法访问和篡改。
发明内容
基于此,本发明有必要提供一种基于网络教学资源的数据存储方法,以解决至少一个上述技术问题。
为实现上述目的,一种基于网络教学资源的数据存储方法,包括以下步骤:
步骤S1:通过深度爬虫技术进行网络教学资源深度采集,从而获取教学资源数据集;对教学资源数据集进行格式转换,从而获取规范教学资源数据集;
步骤S2:对规范教学资源数据集进行主题分类,从而获取分类教学资源数据集;按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集;
步骤S3:对类内分级教学资源数据集以及对应的智能错题数据集进行完全同态加密,从而获取加密教学资源数据块和加密错题数据块;根据加密教学资源数据块和加密错题数据块对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案;
步骤S4:根据教学资源存储方案将加密教学资源数据块和加密错题数据块传输至对应的云存储器,从而获取教学资源存储数据集以及对应的智能错题存储数据集;对教学资源存储数据集以及对应的智能错题存储数据集进行知识图谱构建,从而获取教学资源关系知识图谱;
步骤S5:获取用户资源请求指令数据;根据用户资源请求指令数据以及教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,并进行查询响应时间监测,从而获取目标教学资源数据以及查询性能时间数据;根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化。
本发明通过深度爬虫技术,可以广泛收集网络上的教学资源,包括课程视频、文档、练习题等。这样可以获得更多的教学资源,丰富了数据集的内容。将采集到的教学资源数据集进行格式转换,可以使得数据集的结构统一和规范化。这样可以方便后续的数据处理和管理。对规范教学资源数据集进行主题分类可以将教学资源按照不同的学科或主题进行划分,提高数据的组织和管理效率。将分类教学资源数据集按照难度等级划分,可以根据学习者的不同需求提供不同难度的教学资源,个性化地满足学习者的需求。利用难度等级数据集进行自动化标注和错题生成,可以提高教学资源的质量和多样性,帮助学习者更好地理解和应用知识。对教学资源数据块和错题数据块进行完全同态加密可以保证教学资源和错题数据的安全性和完整性,防止其被非法访问和篡改;并且可以根据加密数据块的特征和需求对分布式云存储器进行最优负载分配规划,使得教学资源和错题数据能够高效地存储在云端,节省存储空间和成本。根据加密数据块对分布式云存储器进行最优负载分配规划,可以提高存储器的利用率和性能,确保教学资源的高效存储和访问。根据存储方案将加密的教学资源数据块和错题数据块传输至云存储器,可以实现教学资源的安全存储和备份,确保数据的可靠性和持久性。并且可以利用知识图谱技术对教学资源和错题数据进行关系建模和语义表示,使得其具有更强的逻辑性和可解释性。根据用户资源请求指令数据和教学资源关系知识图谱进行语义解释检索,可以提供更准确和相关的教学资源结果,提高学习者的满意度和学习效果。对查询响应时间进行监测可以评估系统的性能和效率,及时发现和解决性能瓶颈,提供更快速和高效的教学资源检索体验。根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化,可以提升系统的查询性能和响应速度,优化资源的搜索和访问效率。综上所述,本发明通过采用规范教学资源数据集、主题分类和难度等级划分等技术手段,克服了资源分类不清晰、存储无序等问题。这样,教育机构和教师可以更有效地组织和管理大量的网络教学资源,提高存储和管理效率。通过完全同态加密技术,教学资源数据块得到了安全加密,防止非法访问和篡改。这样,教育机构和教师可以放心将教学资源存储在云存储器中,确保资源的安全性和完整性。通过教学资源关系知识图谱的构建和索引结构的自适应优化,教学资源的语义解释检索和查询响应时间监测变得更加高效。这样,学习者可以更快速地找到目标教学资源,节省搜索时间,提高学习效率。本发明能够实现教学资源存储和管理效率的提升,个性化学习支持的增强,教学资源的安全性和完整性的保障,以及教学资源检索效率的提高。
优选地,本发明还提供了一种基于网络教学资源的数据存储系统,用于执行如上所述的一种基于网络教学资源的数据存储方法,该基于网络教学资源的数据存储系统包括:
网络教学资源采集模块,用于通过深度爬虫技术进行网络教学资源深度采集,从而获取教学资源数据集;对教学资源数据集进行格式转换,从而获取规范教学资源数据集;
教学资源分类模块,用于对规范教学资源数据集进行主题分类,从而获取分类教学资源数据集;按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集;
教学资源存储规划模块,用于对类内分级教学资源数据集以及对应的智能错题数据集进行完全同态加密,从而获取加密教学资源数据块和加密错题数据块;根据加密教学资源数据块和加密错题数据块对分布式云存储器进行 最优负载分配规划,从而获取教学资源存储方案;
存储部署模块,用于根据教学资源存储方案将加密教学资源数据块和加密错题数据块传输至对应的云存储器,从而获取教学资源存储数据集以及对应的智能错题存储数据集;对教学资源存储数据集以及对应的智能错题存储数据集进行知识图谱构建,从而获取教学资源关系知识图谱;
资源检索和查询优化模块,用于获取用户资源请求指令数据;根据用户资源请求指令数据以及教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,并进行查询响应时间监测,从而获取目标教学资源数据以及查询性能时间数据;根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化。
本发明中,网络教学资源采集模块可以从网络上收集到大量丰富多样的教学资源,满足不同学科和不同层次的教学需求;并且可以将不同格式的教学资源数据统一为规范的格式,便于后续的处理和存储。教学资源分类模块可以将规范教学资源数据集按照主题进行分类,使得教学资源具有清晰的结构和层次;并且可以根据难度对教学资源进行等级划分,使得教学资源能够适应不同水平的学习者;同时,可以利用难度等级数据集对教学资源进行自动化标注和自动错题生成,使得教学资源具有更高的价值和效果。教学资源存储规划模块可以保证教学资源和错题数据的安全性和完整性,防止其被非法访问和篡改;并且可以根据加密数据块的特征和需求对分布式云存储器进行最优负载分配规划,使得教学资源和错题数据能够高效地存储在云端,节省存储空间和成本。存储部署模块可以实现教学资源和错题数据的云端存储,提高其可用性和可靠性;并且可以利用知识图谱技术对教学资源和错题数据进行关系建模和语义表示,使得其具有更强的逻辑性和可解释性。资源检索和查询优化模块可以根据用户的资源请求指令数据,利用教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,使得用户能够快速准确地获取到所需的教学资源和错题数据;并且可以根据查询响应时间监测和查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化,使得教学资源和错题数据的检索效率和质量不断提高。综上所述,通过网络教学资源采集模块、教学资源分类模块和教学资源存储规划模块等组件的协同工作,教育机构和教师能够更有效地存储和管理大量网络教学资源。资源的采集、分类和存储过程变得更加清晰和高效,提高了存储和管理效率。采用分布式云存储器和最优负载分配规划,可以轻松扩展存储容量,满足大规模教学资源的存储需求。同时,云存储提供了弹性的存储资源,可以根据需要进行动态调整,提供更好的灵活性和扩展性。通过对教学资源存储数据集进行智能化标注和构建知识图谱,以及利用查询优化模块对教学资源进行语义解释检索,可以提高资源的访问效率和响应速度。用户能够更快地检索到目标教学资源,提高学习效率。教学资源存储方案中的完全同态加密和安全性保障措施,如数据加密、访问控制等,可以提供高级的安全性和完整性保障。这有助于防止网络教学资源的非法访问和篡改,确保资源的安全性和可靠性。
附图说明
通过阅读参照以下附图所作的对非限制性实施所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1示出了一实施例的基于网络教学资源的数据存储方法的步骤流程示意图。
图2示出了一实施例的步骤S3的详细步骤流程示意图。
图3示出了一实施例的步骤S35的详细步骤流程示意图。
图4示出了一实施例的步骤S357的详细步骤流程示意图。
具体实施方式
下面结合附图对本发明专利的技术方法进行清楚、完整的描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域所属的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器方法和/或微控制器方法中实现这些功能实体。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
为实现上述目的,请参阅图1至图4,本发明提供了一种基于网络教学资源的数据存储方法,所述方法包括以下步骤:
步骤S1:通过深度爬虫技术进行网络教学资源深度采集,从而获取教学资源数据集;对教学资源数据集进行格式转换,从而获取规范教学资源数据集;
具体地,例如可以使用爬虫工具和技术,如Python的Scrapy框架,设置合适的爬取策略和规则,遍历网络教学资源网站,自动化地抓取和提取教学资源的相关信息。将通过深度爬虫技术获取的教学资源数据进行整理和组织,形成一个教学资源数据集,包括资源的名称、链接、描述、作者等信息。对教学资源数据集进行格式转换,将其转换为统一的数据格式,如JSON或XML,以确保数据的一致性和可用性。转换后的数据集即为规范教学资源数据集。
步骤S2:对规范教学资源数据集进行主题分类,从而获取分类教学资源数据集;按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集;
具体地,例如可以使用文本挖掘和自然语言处理技术,对规范教学资源数据集中的文本信息进行分析和处理,识别和提取关键词、主题标签等,将教学资源数据集按照主题进行分类,形成分类教学资源数据集。根据教学资源的难易程度,可以根据资源的内容、学习目标等指标进行评估和划分,将分类教学资源数据集按照难度等级进行划分,形成难度等级数据集。利用机器学习和人工智能算法,对难度等级数据集中的教学资源进行自动化标注,为每个资源添加相应的标签或元数据;同时,根据难度等级数据集,生成智能错题,即根据资源的特点和学习者常犯的错误,自动生成相关的错题数据集。
步骤S3:对类内分级教学资源数据集以及对应的智能错题数据集进行完全同态加密,从而获取加密教学资源数据块和加密错题数据块;根据加密教学资源数据块和加密错题数据块对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案;
具体地,例如可以使用Lattice-based完全同态加密算法对类内分级教学资源数据集进行加密,得到加密教学资源数据块。使用同样的加密算法对智能错题数据集进行加密,得到加密错题数据块。分析加密教学资源数据块和加密错题数据块的大小、访问需求等特性。考虑分布式云存储器的可用性和性能指标,如存储容量、处理速度等。利用负载均衡算法,例如最小负载算法或最短响应时间算法,将加密数据块分配到合适的云存储器上,以实现最优负载分配规划。生成教学资源存储方案,记录每个数据块所分配的云存储器。
步骤S4:根据教学资源存储方案将加密教学资源数据块和加密错题数据块传输至对应的云存储器,从而获取教学资源存储数据集以及对应的智能错题存储数据集;对教学资源存储数据集以及对应的智能错题存储数据集进行知识图谱构建,从而获取教学资源关系知识图谱;
具体地,例如可以将加密教学资源数据块和加密错题数据块按照教学资源存储方案,通过加密传输协议(如HTTPS)传输到对应的云存储器。在云存储器上解密数据块,并将解密后的数据存储在存储器中,得到教学资源存储数据集和智能错题存储数据集。对教学资源存储数据集和智能错题存储数据集进行分析和处理,提取其中的关联关系和元数据信息。使用图数据库技术(如Neo4j)或其他方法构建教学资源关系知识图谱。基于数据集中的教学资源之间的关系,建立图谱中的节点和边,并添加相应的属性信息。对知识图谱进行索引和优化,以提高后续查询的效率和响应时间。
步骤S5:获取用户资源请求指令数据;根据用户资源请求指令数据以及教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,并进行查询响应时间监测,从而获取目标教学资源数据以及查询性能时间数据;根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化。
具体地,例如可以接收用户的资源请求指令数据,该数据包含用户的查询意图和相关参数。利用自然语言处理技术,对用户资源请求指令数据进行解析和语义理解。基于教学资源关系知识图谱,将用户资源请求指令数据与图谱中的节点和边进行匹配和解释,找到与用户意图相关的教学资源数据。根据匹配结果,返回目标教学资源数据给用户。在查询过程中,记录查询的开始时间和结束时间,计算查询的响应时间。分析查询性能时间数据,评估当前的索引结构对查询的效率和响应时间的影响。根据评估结果,进行索引结构的自适应优化,例如调整索引类型、优化索引字段、重新组织索引等。通过优化索引结构,提高查询性能和响应时间,以提升系统的整体效率。
本发明通过深度爬虫技术,可以广泛收集网络上的教学资源,包括课程视频、文档、练习题等。这样可以获得更多的教学资源,丰富了数据集的内容。将采集到的教学资源数据集进行格式转换,可以使得数据集的结构统一和规范化。这样可以方便后续的数据处理和管理。对规范教学资源数据集进行主题分类可以将教学资源按照不同的学科或主题进行划分,提高数据的组织和管理效率。将分类教学资源数据集按照难度等级划分,可以根据学习者的不同需求提供不同难度的教学资源,个性化地满足学习者的需求。利用难度等级数据集进行自动化标注和错题生成,可以提高教学资源的质量和多样性,帮助学习者更好地理解和应用知识。对教学资源数据块和错题数据块进行完全同态加密可以保证教学资源和错题数据的安全性和完整性,防止其被非法访问和篡改;并且可以根据加密数据块的特征和需求对分布式云存储器进行最优负载分配规划,使得教学资源和错题数据能够高效地存储在云端,节省存储空间和成本。根据加密数据块对分布式云存储器进行最优负载分配规划,可以提高存储器的利用率和性能,确保教学资源的高效存储和访问。根据存储方案将加密的教学资源数据块和错题数据块传输至云存储器,可以实现教学资源的安全存储和备份,确保数据的可靠性和持久性。并且可以利用知识图谱技术对教学资源和错题数据进行关系建模和语义表示,使得其具有更强的逻辑性和可解释性。根据用户资源请求指令数据和教学资源关系知识图谱进行语义解释检索,可以提供更准确和相关的教学资源结果,提高学习者的满意度和学习效果。对查询响应时间进行监测可以评估系统的性能和效率,及时发现和解决性能瓶颈,提供更快速和高效的教学资源检索体验。根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化,可以提升系统的查询性能和响应速度,优化资源的搜索和访问效率。综上所述,本发明通过采用规范教学资源数据集、主题分类和难度等级划分等技术手段,克服了资源分类不清晰、存储无序等问题。这样,教育机构和教师可以更有效地组织和管理大量的网络教学资源,提高存储和管理效率。通过完全同态加密技术,教学资源数据块得到了安全加密,防止非法访问和篡改。这样,教育机构和教师可以放心将教学资源存储在云存储器中,确保资源的安全性和完整性。通过教学资源关系知识图谱的构建和索引结构的自适应优化,教学资源的语义解释检索和查询响应时间监测变得更加高效。这样,学习者可以更快速地找到目标教学资源,节省搜索时间,提高学习效率。本发明能够实现教学资源存储和管理效率的提升,个性化学习支持的增强,教学资源的安全性和完整性的保障,以及教学资源检索效率的提高。
优选地,步骤S1包括以下步骤:
步骤S11:构建基于神经网络的深度爬虫模型,其中深度爬虫模型包括编码器和解码器模块;
具体地,例如可以设计深度爬虫模型的整体架构,包括编码器和解码器模块。考虑使用深度学习技术,如循环神经网络(RNN)或者卷积神经网络(CNN)作为编码器和解码器的基本模型。设计编码器模块,用于将输入的种子网站教学资源网址数据进行编码,提取关键特征。使用适当的神经网络结构,如卷积神经网络(CNN)或循环神经网络(RNN),来实现编码器的功能。设计解码器模块,用于根据编码器输出的特征生成抓取策略方案。使用适当的神经网络结构,如循环神经网络(RNN)或者注意力机制(Attention),来实现解码器的功能。
步骤S12:获取种子网站教学资源网址数据;将种子网站教学资源网址数据输入至编码器模块,通过解码器模块进行强化学习抓取策略生成,从而获取抓取策略方案;
具体地,例如可以从已知的种子网站或其他可靠来源获取教学资源网址数据,这些网址将作为深度爬虫的起始点。将种子网站教学资源网址数据输入到已构建的编码器模块中。编码器模块将对输入的网址数据进行特征提取和编码,生成对应的特征表示。将编码器模块的输出特征作为输入,通过解码器模块进行抓取策略生成。解码器模块使用强化学习技术,如基于策略梯度的方法或者深度强化学习算法,生成抓取策略方案。
步骤S13:根据抓取策略方案对教学资源网站进行广度和深度爬取,从而获取教学资源数据集;
具体地,例如可以根据生成的抓取策略方案,决定如何选择链接进行爬取,包括广度优先或深度优先的爬取策略。使用爬虫技术,如网络爬虫框架(例如Scrapy)或自定义爬虫程序,根据策略方案对教学资源网站进行爬取。对爬取的网页进行解析,提取目标教学资源相关的信息,如标题、描述、作者、下载链接等。使用适当的工具和技术,如HTML解析库(例如BeautifulSoup)或正则表达式,进行网页解析和数据提取。将提取到的教学资源数据存储到适当的数据结构中,如数据库(如MySQL或MongoDB)或文件系统。
步骤S14:对教学资源数据集进行去重和质量控制,从而获取净化教学资源数据集;
具体地,例如可以对爬取得到的教学资源数据集进行去重处理,以确保数据集中不包含重复的资源。可以使用数据的唯一标识符(如URL或资源ID)进行比较和去重操作。去重操作可以使用传统的数据处理方法,如哈希算法或排序算法,也可以使用机器学习技术进行相似度计算和去重。对教学资源数据集进行质量控制,剔除低质量或无效的资源数据。可以定义一些质量规则或指标来评估资源的质量,如资源的完整性、准确性、可用性等。使用合适的数据处理方法和技术,如数据清洗、异常检测、规则过滤等,对数据集进行质量控制。将经过去重和质量控制处理后的净化教学资源数据集存储到适当的数据结构中,如数据库或文件系统。
步骤S15:对净化教学资源数据集进行统一数据格式转换,从而获取规范教学资源数据集。
具体地,例如可以设计规范的教学资源数据格式,定义资源的字段和属性。考虑资源的基本信息、分类、标签、作者、描述、下载链接等重要属性,并确定合适的数据类型和约束。针对净化的教学资源数据集,将数据转换为统一的数据格式。可以使用脚本或编程语言,如Python,对数据进行遍历和转换,确保每个资源符合规范格式要求。对转换后的规范教学资源数据集进行格式验证,确保所有资源数据都符合规范格式要求。验证数据的字段完整性、数据类型、数据范围等,以确保数据的一致性和规范性。将转换后的规范教学资源数据集存储到适当的数据结构中,以便后续的数据分析和应用。
本发明通过构建基于神经网络的深度爬虫模型,能够提高爬取教学资源的准确性和效率。编码器和解码器模块的设计使得模型能够更好地理解和生成抓取策略,从而提升爬取教学资源的质量。通过获取种子网站教学资源网址数据并输入深度爬虫模型,可以利用编码器和解码器模块生成强化学习抓取策略方案。这样可以优化爬取过程,提高对教学资源的覆盖范围和抓取效果,提供更全面和多样化的教学资源数据集。通过根据抓取策略方案对教学资源网站进行广度和深度爬取,可以高效地获取大量的教学资源数据集。这样可以丰富教学资源库,提供更广泛和多样化的学习资源供学习者选择。通过对教学资源数据集进行去重和质量控制,可以消除重复数据和低质量资源,提高数据集的准确性和可靠性。这样可以确保学习者获取到高质量的教学资源,提升学习效果和学习体验。通过对净化教学资源数据集进行统一数据格式转换,可以使教学资源数据集的格式一致化,便于后续处理和管理。这样能够提高数据的可访问性和可用性,方便学习者和教师快速检索和使用教学资源。
优选地,步骤S2包括以下步骤:
步骤S21:对规范教学资源数据集进行模态识别以及数据流分类,从而获取多模态教学资源数据集,其中多模态教学资源数据集包括教学资源视频数据集以及教学资源文本数据集;
具体地,例如可以使用合适的技术和算法,如机器学习模型或深度学习模型,对规范教学资源数据集进行模态识别。根据教学资源的特征和属性,识别出其中的视频模态和文本模态。将规范教学资源数据集根据模态进行分类,分为教学资源视频数据集和教学资源文本数据集。可以使用标签或文件夹结构来组织不同模态的数据。
步骤S22:对教学资源视频数据集进行视觉语音特征提取,从而获取视频特征数据集;
具体地,例如可以使用计算机视觉技术,如预训练的卷积神经网络(CNN),对教学资源视频数据集进行特征提取。提取视觉特征可以包括帧级别的特征提取或视频级别的特征提取。如果教学资源视频中包含语音内容,可以使用语音处理技术,如语音识别或语音特征提取模型,对语音部分进行特征提取。提取语音特征可以包括声谱图、梅尔频率倒谱系数(MFCC)等。将提取到的视觉和语音特征组合成视频特征数据集,以便后续的分析和应用。
步骤S23:根据视频特征数据集对教学资源视频数据集进行主题分类,从而获取分类视频资源数据集;
具体地,例如可以使用视频特征数据集作为输入,构建一个主题分类模型。可以使用机器学习算法,如支持向量机(SVM)或深度学习模型,如卷积神经网络(CNN)或循环神经网络(RNN),来训练主题分类模型。使用训练好的主题分类模型,对教学资源视频数据集进行主题分类。根据视频内容的特征和主题,将教学资源视频数据集分成不同的主题类别。将分类的教学资源视频按主题进行组织,形成分类视频资源数据集,方便后续的分析和应用。
步骤S24:对教学资源文本数据集进行基于深度学习的词嵌入编码,从而获取文本语义特征数据集;
具体地,例如可以使用教学资源文本数据集,构建一个基于深度学习的词嵌入编码模型。常用的词嵌入模型包括Word2Vec、GloVe或BERT等,选择适合任务的模型进行训练。
使用训练好的词嵌入编码模型,对教学资源文本数据集进行特征提取。提取的文本特征可以是词级别的特征或者句子级别的特征。将提取到的文本特征组成文本语义特征数据集,用于后续的主题分类和分析。
步骤S25:根据文本语义特征数据集对教学资源文本数据集进行主题分类,从而获取分类文本资源数据集;
具体地,例如可以使用文本语义特征数据集作为输入,构建一个主题分类模型。可以使用机器学习算法,如支持向量机(SVM)、朴素贝叶斯(Naive Bayes)或深度学习模型,如卷积神经网络(CNN)或循环神经网络(RNN),来训练主题分类模型。使用训练好的主题分类模型,对教学资源文本数据集进行主题分类。根据文本内容的特征和主题,将教学资源文本数据集分成不同的主题类别。将分类的教学资源文本按主题进行组织,形成分类文本资源数据集,方便后续的分析和应用。
步骤S26:根据分类视频资源数据集以及分类文本资源数据集进行同主题类数据集成,从而获取分类教学资源数据集;
具体地,例如可以将分类视频资源数据集和分类文本资源数据集按照主题进行匹配和整合。确定视频和文本资源之间的关联规则,例如使用资源的标题、标签或其他元数据进行匹配。将匹配的视频资源和文本资源整合在一起,形成分类教学资源数据集。确保每个教学资源都包含对应的视频和文本内容。
步骤S27:按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;
具体地,例如可以根据教学资源的难易程度,例如内容的复杂性、学习目标的深度等,将分类教学资源数据集划分为不同的难度等级。可以使用专家评估、用户反馈或基于算法的方法来确定难度等级。将不同难度等级的教学资源分组,形成难度等级数据集,便于根据学生的能力和需求进行选择和推荐。
步骤S28:利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集。
具体地,例如可以使用难度等级数据集作为标准,对对应类别的教学资源数据集进行自动化标注。可以根据难度等级的不同,为每个教学资源分配相应的标签或元数据。利用教学资源数据集和难度等级数据集,设计算法或模型来自动生成针对不同难度等级的智能错题。根据学习目标和学生的能力,生成适合的错题,帮助学生巩固知识。根据自动化标注和智能错题生成的结果,形成类内分级教学资源数据集和对应智能错题数据集。这些数据集将教学资源按照主题和难度进行分类和分级,同时提供了智能化的错题生成,可以为学生提供个性化的学习材料和挑战。
本发明通过模态识别和数据流分类,可以将规范教学资源数据集中的不同媒体类型进行有效区分和分类,从而获取多模态教学资源数据集。这样可以提供包括视频和文本在内的多种形式的教学资源,满足学习者多样化的学习需求。通过提取教学资源视频数据集中的视觉和语音特征,可以获得视频特征数据集。这样可以更好地理解和分析视频内容,实现视频资源的自动化处理、搜索和推荐等功能。通过对视频特征数据集进行主题分类,可以对教学资源视频数据集进行自动化的主题标注和分类。这样可以方便学习者浏览和筛选与特定主题相关的视频资源,提高学习者对所需主题的定位和获取相关资源的效率。通过基于深度学习的词嵌入编码,对教学资源文本数据集进行语义特征提取,得到文本语义特征数据集。这样可以更好地理解和分析文本内容,实现文本资源的自动化处理、搜索和推荐等功能。通过对文本语义特征数据集进行主题分类,可以对教学资源文本数据集进行自动化的主题标注和分类。这样可以方便学习者浏览和筛选与特定主题相关的文本资源,提高学习者对所需主题的定位和获取相关资源的效率。通过将分类视频资源数据集和分类文本资源数据集进行同主题类数据集成,可以获得分类教学资源数据集。这样可以提供按照主题分类的教学资源集合,方便学习者根据自身需求选择相关主题的资源,提高学习的针对性和效果。通过按照难度对分类教学资源数据集进行等级划分,可以为学习者提供按照难度级别划分的教学资源集合。这样可以根据学习者的能力水平和需求,提供适合不同难度等级的教学资源,帮助学习者逐步提升学习能力。通过利用难度等级数据集,可以对对应类别的教学资源数据集进行自动化标注,将资源按照难度级别进行标记和分类。同时,结合智能错题生成技术,可以根据难度等级和教学资源的特点生成相应的错题数据集,以帮助学习者针对性地练习和巩固知识。这样可以提供个性化的学习资源,促进学习者的巩固和提高。
优选地,步骤S27包括以下步骤:
步骤S271:获取分类教学资源数据集每类教学资源数据对应的学生难度评价数据以及学习总时长数据,从而获取学生难度评价数据集以及学习总时长数据集;
具体地,例如可以根据分类教学资源数据集中不同类别的教学资源数据,例如数学、英语、科学等,每个类别包含多个教学资源。与学生进行调查或实验,收集学生对每个教学资源的难度评价数据以及学习总时长数据。这可以通过问卷调查、学习记录或在线学习平台的数据分析得到。将收集到的学生难度评价数据和学习总时长数据与分类教学资源数据集进行整理和匹配,建立学生难度评价数据集和学习总时长数据集。
步骤S272:通过预设的学习时间阈值根据分类教学资源数据集以及学习总时长数据集对学生难度评价数据集对应的学生进行评价合理性验证并剔除不合理评价,从而获取有效难度评价数据集;
具体地,例如可以根据实际情况和教学目标,设定一个预设的学习时间阈值,例如,学生在规定时间内完成教学资源被认为是合理的。根据分类教学资源数据集和学习总时长数据集,对学生难度评价数据集中的每个评价进行验证。如果学生在预设的学习时间阈值内完成了相应的教学资源,那么认为评价是合理的。将不符合预设学习时间阈值的评价从学生难度评价数据集中剔除,得到有效难度评价数据集。
步骤S273:对有效难度评价数据集对应的学生进行课后习题完成度检测以及验证,从而获取学生习题完成度数据以及习题性能数据;
具体地,例如可以通过线上的形式或辅助教学平台来进行课后习题完成度检测和学生习题性能数据获取。将每个教学资源的课后习题上传至线上教学平台或学习管理系统,确保学生可以在线进行习题答题。通过在线教学平台或学习管理系统记录每个学生对于每个教学资源的习题完成情况。系统可以追踪学生在平台上的操作记录,包括习题的开始时间、结束时间以及提交情况。根据学生习题完成情况,系统可以自动计算每个学生在每个教学资源上的习题性能数据。例如,可以计算学生的习题完成度百分比、平均正确率、平均用时等指标。这些指标可以根据学生的答题记录进行统计和分析。
步骤S274:根据学生习题完成度数据以及习题性能数据对有效难度评价数据集中每个评价进行可信度评估,从而获取可信度评估数据集;根据可信度评估数据集将有效难度评价数据集中低于预设的可信度阈值的评价剔除,从而获取难度评价数据集;
具体地,例如可以根据实际需求,设定一些习题完成度和习题性能的评估指标,如完成度百分比、平均正确率等。根据学生习题完成度数据和习题性能数据,计算每个评价的可信度评估值,例如通过综合习题完成度和习题正确率来评估评价的可信度。根据预设的可信度阈值,将可信度评估值低于阈值的评价从有效难度评价数据集中剔除,得到最终的难度评价数据集。
步骤S275:根据难度评价数据集对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集。
具体地,例如可以根据难度评价数据集中的评价值,设定一些划分标准,例如将评价值分为高、中、低三个难度等级。根据设定的难度等级划分标准,对分类教学资源数据集中的每个教学资源进行难度等级的划分,标记其难度等级。根据划分后的难度等级,构建难度等级数据集,将每个教学资源与其对应的难度等级进行匹配。
本发明通过获取分类教学资源数据集每类教学资源数据对应的学生难度评价数据,可以了解学生对各类教学资源的难度感知情况,为后续的难度评估提供数据基础。获取学习总时长数据可以了解学生在不同教学资源上的学习时长,进一步分析学生的学习习惯和对教学资源的感兴趣程度。通过预设的学习时间阈值,可以对学生难度评价数据集进行合理性验证,筛除那些与学习时间不匹配的评价,提高评价数据的准确性和可靠性。获取有效难度评价数据集可以帮助识别出对应教学资源的学生难度评价,为后续的难度评估和个性化教学提供基础。通过对有效难度评价数据集对应的学生进行课后习题完成度检测,可以了解学生对习题的完成情况,评估学生的学习积极性和习题应用能力。获取学生习题完成度数据和习题性能数据可以为后续的难度评估和个性化教学提供依据。通过对学生习题完成度数据和习题性能数据进行可信度评估,可以确定评价数据的可靠性和准确性,并剔除那些可信度较低的评价,提高评价数据的质量和信任度。获取难度评价数据集可以更精确地反映学生对不同教学资源的难度感知,为难度等级划分和个性化教学提供依据。通过根据难度评价数据集对分类教学资源数据集进行难度等级划分,可以为不同教学资源设置适合不同学生能力水平的难度等级,提供个性化的学习资源选择。难度等级数据集可以为后续的教学资源存储方式提供数据基础。
优选地,步骤S3包括以下步骤:
步骤S31:对类内分级教学资源数据集以及对应的智能错题数据集进行数据集分割,从而获取教学资源数据块和智能错题数据块;
具体地,例如可以假设类内分级教学资源数据集包含了不同难度和类型的教学资源,如视频、文档、图片等,每个教学资源都有一个唯一的标识符。智能错题数据集包含了不同学生在不同教学资源上的错题记录,每个错题记录都有一个唯一的标识符,以及对应的教学资源标识符、学生标识符、题目内容、答案、解析等信息。为了进行数据集分割,可以对教学资源数据集按照教学资源的类型进行分割,例如将视频、文档、图片分别存储在不同的数据块中,每个数据块都包含了该类型的所有教学资源及其标识符。或对智能错题数据集按照错题记录的教学资源标识符进行分割,例如将与同一个教学资源相关的所有错题记录存储在同一个数据块中,每个数据块都包含了该教学资源标识符及其对应的所有错题记录及其标识符。
步骤S32:根据教学资源数据块和智能错题数据块进行同态计算分片方案设计,从而获取同态分片加解密方案;
具体地,例如可以在设计同态计算分片方案时,首先确定教学资源数据块和智能错题数据块的大小。假设教学资源数据块大小为100 MB,智能错题数据块大小为50 MB。根据数据块的大小,可以考虑将每个数据块进行等分或者根据需求进行动态分片。假设选择将每个数据块进行等分,将教学资源数据块和智能错题数据块分为10个分片。这样每个分片的大小为10 MB。接下来,考虑计算任务的复杂度和计算资源的可用性。假设计算任务非常复杂,需要大量的计算资源。我们有多台云服务器可用作计算资源,可以使用负载均衡算法将计算任务分配到不同的计算节点上。根据计算任务的复杂度和计算资源的可用性,决定将每个数据块的分片分配到不同的计算节点上进行计算。
步骤S33:根据同态分片加解密方案对教学资源数据块和智能错题数据块进行完全同态加密,从而获取加密教学资源数据块和加密智能错题数据块;
具体地,例如可以在进行完全同态加密时,可以使用Microsoft SEAL库来实现。首先,根据设计的同态计算分片方案,对教学资源数据块和智能错题数据块进行分片加密。假设使用Paillier加密算法进行同态加密,每个分片使用相同的密钥进行加密。接下来,设计适当的密钥管理方案,包括密钥生成、分发和更新等操作。确保加密数据的安全性,防止密钥泄露和未经授权的访问。
步骤S34:对加密教学资源数据块和加密智能错题数据块进行存储需求评估计算,从而获取存储需求评估数据;
具体地,例如可以在进行存储需求评估计算时,需要考虑加密教学资源数据块和加密智能错题数据块的大小。假设经过分片加密后,每个分片的大小为5 MB。根据分片加密后的大小,可以评估存储需求。同时,需要选择合适的存储格式,如数据库或文件系统,以满足数据的存储和访问需求。考虑数据的冗余度,包括备份和容错机制,以确保数据的可靠性和可用性。还需要评估数据的访问频率,以确定数据的存储位置和访问优化策略。同时,考虑数据的保留期限,确定存储方案中的数据保留和清理策略。
步骤S35:根据类内分级教学资源数据集、对应的智能错题数据集以及存储需求评估数据对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案。
具体地,例如可以在进行最优负载分配规划时,需要考虑类内分级教学资源数据集和智能错题数据集的大小和访问频率。假设类内分级教学资源数据集大小为500 GB,智能错题数据集大小为200 GB。根据数据的大小和访问频率等因素,可以确定数据的存储位置和分布式云存储器的负载分配方案。同时,结合步骤S34中得到的存储需求评估数据,考虑数据的计算需求和计算资源的可用性,进行负载均衡和计算任务分配。根据数据的重要性和可用性要求,设计适当的数据冗余和备份策略,以确保数据的安全性和可靠性。
本发明通过数据集分割,可以将大规模的类内分级教学资源数据集和智能错题数据集划分为更小的数据块,使得数据处理和管理更加高效。这样的数据集分割可以为后续的步骤提供更灵活、可控的数据处理方式,同时减少了数据冗余和处理复杂度。通过同态计算分片方案设计,可以将教学资源数据块和智能错题数据块划分为可处理的分片,以便进行同态计算。同态分片加解密方案的设计使得在加密状态下可以进行计算操作,而不需要解密数据,从而保护数据隐私和安全,同时实现对数据的有效计算和分析。通过完全同态加密,可以对教学资源数据块和智能错题数据块进行高强度的加密,确保数据在存储和传输过程中的安全性和隐私性。加密后的数据仍能进行同态计算,为后续的数据处理和分析提供了安全的基础。通过对加密的教学资源数据块和智能错题数据块进行存储需求评估计算,可以确定存储这些数据所需的存储空间和资源,以便进行后续的存储规划和管理。这样可以有效地规划存储资源,确保数据的可靠存储和高效访问。通过最优负载分配规划,可以根据类内分级教学资源数据集、智能错题数据集和存储需求评估数据,合理地将数据存储在分布式云存储器的不同节点上,以实现最佳的存储性能和资源利用率。这样可以提高数据的访问速度和可扩展性,同时减轻存储器的负载,保证系统的可靠性和稳定性。
优选地,步骤S35包括以下步骤:
步骤S351:对每个分布式云存储器进行剩余存储容量动态监测,从而获取每个云存储器的剩余存储容量数据;获取每个分布式云存储器的总容量数据;
具体地,例如可以在每个分布式云存储器上部署一个监测系统,用于实时监测存储容量。该系统可以定时向云存储器发送查询请求,获取存储容量信息。监测系统定期执行存储容量监测任务,获取每个云存储器的剩余存储容量数据。监测系统可以通过查询操作系统的存储信息或者调用存储器的API来获取数据。在系统配置阶段或者定期监测任务中,记录每个分布式云存储器的总容量数据,以备后续使用。
步骤S352:对类内分级教学资源数据集以及对应的智能错题数据集进行学习兴趣度计算,从而获取兴趣度数据集,其中兴趣度数据集包括每个学生对该类教学资源的兴趣度;
具体地,例如可以通过问卷调查、用户行为分析或者推荐系统收集学生的兴趣度数据。根据收集到的兴趣度反馈数据,使用适当的算法或模型进行兴趣度计算。例如,可以使用机器学习算法训练一个兴趣度预测模型,根据学生的特征和行为数据预测其对教学资源的兴趣度。将计算得到的兴趣度数据与学生的标识信息关联,生成兴趣度数据集,其中包括每个学生对该类教学资源的兴趣度。或可以从线上学习平台的日志或用户行为记录中获取学生观看教学资源的频率、时长、点击率等行为数据。对采集得到的行为数据进行预处理,例如清洗异常数据、去除重复数据等。根据需求和实际情况,从行为数据中提取适当的特征,例如观看频率、观看时长、点击次数等。使用适当的算法或模型,根据提取的特征计算学生对教学资源的兴趣度。可以使用机器学习算法训练一个兴趣度预测模型,将行为特征作为输入,预测学生的兴趣度得分。将计算得到的兴趣度数据与学生的标识信息进行关联,例如学生ID、用户名等,生成兴趣度数据集。兴趣度数据集中包括每个学生对该类教学资源的兴趣度得分。
步骤S353:根据兴趣度数据集获取兴趣度数据大于预设的兴趣度阈值对应的每个学生所在的地理位置数据,从而获取地理位置数据集;
具体地,例如可以根据需求和实际情况,设置一个预设的兴趣度阈值,用于筛选出对教学资源感兴趣的学生。根据兴趣度数据集,筛选出兴趣度大于预设阈值的学生标识信息。通过学生标识信息,获取对应学生的地理位置数据。可以结合学生信息系统或者位置服务接口进行获取。
步骤S354:根据地理位置数据集进行高密度区域范围划分,从而获取高密度地理位置范围数据;
具体地,例如可以使用聚类算法,如K-means算法,对地理位置数据集进行聚类分析。将具有相似地理位置的数据点聚类在一起,形成高密度区域。根据聚类结果,确定每个高密度区域的范围。可以使用聚类中心和聚类半径等方式来表示区域范围。将每个高密度区域的范围信息添加到高密度地理位置范围数据集中,以备后续使用。
步骤S355:对类内分级教学资源数据集以及对应的智能错题数据集进行访问高峰期检测,从而获取高峰期时间段数据;
具体地,例如可以收集类内分级教学资源数据集和智能错题数据集的访问记录数据。可以通过访问日志、网络流量监测等方式获取数据。对访问记录数据进行分析,识别出访问量较高的时间段,即高峰期。可以使用统计方法、时间序列分析等技术来检测高峰期。将检测得到的高峰期时间段信息添加到高峰期时间段数据集中,以备后续使用。
步骤S356:获取高峰期时间段数据对应的历史访问日志数据,根据历史访问日志数据对访问高峰期进行读写性能需求指标计算,从而获取存储读写性能需求数据;
具体地,例如可以根据高峰期时间段数据,获取对应的历史访问日志数据。可以从访问日志存储系统中查询或导出相应的日志数据。对历史访问日志数据进行分析,计算访问高峰期的读写性能需求指标。例如,可以计算平均读取时间、平均写入时间、并发访问量等指标。将计算得到的读写性能需求指标添加到存储读写性能需求数据集中,以备后续使用。
步骤S357:根据高密度地理位置范围数据、高峰期时间段数据、存储读写性能需求数据、每个分布式云存储器的总容量和剩余存储容量数据对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案。
具体地,例如可以基于高密度地理位置范围数据、高峰期时间段数据和存储读写性能需求数据,设计负载分配算法或模型。该算法或模型可以考虑地理位置数据、高峰期需求和存储容量等因素,以实现最优的资源分配。使用负载分配算法或模型,对每个分布式云存储器进行最优负载分配规划。考虑到每个云存储器的总容量和剩余存储容量数据,确保存储资源能够满足教学资源的需求。根据最优负载分配规划的结果,生成教学资源存储方案。该方案包括指定教学资源存储在哪个分布式云存储器上,以及存储的具体位置和方式等信息。
本发明通过动态监测每个分布式云存储器的剩余存储容量,可以及时了解存储器的使用情况,确保存储器不会超出其容量限制。同时,获取每个云存储器的总容量数据有助于后续的负载分配和存储资源规划,确保存储器能够满足教学资源的存储需求。通过学习兴趣度计算,可以了解每个学生对类内分级教学资源的兴趣程度。兴趣度数据集可以帮助确定哪些教学资源更受学生欢迎,从而在存储方案中优先考虑存储这些受欢迎的资源,提高学习效果和用户满意度。通过根据兴趣度数据集获取地理位置数据,可以了解对特定类内分级教学资源感兴趣的学生所在的地理位置分布情况。地理位置数据集可以为后续的负载分配和存储方案提供参考,例如在接近学生所在地区的云存储器上存储相关教学资源,提高数据访问效率。通过对地理位置数据集进行高密度区域范围划分,可以识别出人口密集的地理区域。高密度地理位置范围数据可以为负载分配和存储方案提供重要信息,例如在高密度地区部署更多的云存储器以满足大量用户的需求,提高数据访问速度和响应性。通过访问高峰期检测,可以确定教学资源和智能错题数据在哪些时间段内受到最高访问量的影响。高峰期时间段数据可以帮助优化存储方案,例如在高峰期增加存储资源以满足用户的高并发访问需求,提高系统性能和用户体验。通过历史访问日志数据,可以对访问高峰期的读写性能需求进行计算和评估。存储读写性能需求数据可以帮助确定存储方案中所需的读写吞吐量和延迟要求,以满足用户对教学资源的高效访问需求。通过综合考虑高密度地理位置范围数据、高峰期时间段数据和存储读写性能需求数据,以及每个云存储器的容量情况,可以进行最优负载分配规划。这样可以合理分配教学资源的存储位置,确保高访问量区域和高性能需求区域的资源得到充分利用,提高数据访问效率和系统性能。同时,最优负载分配规划还可以考虑剩余存储容量,避免存储器超载,保证系统的可靠性和稳定性。
优选地,步骤S357包括以下步骤:
步骤S3571:对每个分布式云存储器进行负载性能检测,从而获取云存储器性能数据集;
具体地,例如可以选择一个分布式云存储器节点作为起始节点。向起始节点发送性能测试请求,并记录请求的开始时间。起始节点接收到请求后,开始执行一系列负载性能测试任务,例如读取文件、写入文件、计算吞吐量等。在每个测试任务完成后,记录测试任务的执行时间、吞吐量、延迟等性能指标。将记录的性能指标存储为云存储器性能数据集的一部分。
重复以上步骤,对其他分布式云存储器节点进行负载性能检测,直到所有节点都完成了测试任务。
步骤S3572:根据存储读写性能需求数据以及云存储器性能数据集对分布式云存储器进行性能保证契约,从而获取候选云存储器数据集;
具体地,例如可以根据存储读写性能需求数据,包括读取文件的速度要求、写入文件的速度要求等。从云存储器性能数据集中选择性能指标符合需求的存储器节点作为候选云存储器。根据存储需求数据和候选云存储器的性能指标,制定性能保证契约,包括读写速度、延迟等指标。将性能保证契约与候选云存储器的标识信息关联,生成候选云存储器数据集。
步骤S3573:对候选云存储器数据集对应的云存储器进行网络拓扑扫描,从而获取云存储器拓扑结构数据;
具体地,例如可以针对候选云存储器数据集中的每个云存储器节点,执行网络拓扑扫描操作。使用网络扫描工具,发送探测包或查询请求,以获取与该节点相连的其他云存储器节点的信息。记录每个节点的连接关系、网络距离等拓扑结构数据。将拓扑结构数据与候选云存储器的标识信息关联,生成云存储器拓扑结构数据集。
步骤S3574:根据高密度地理位置范围数据、选云存储器数据集以及云存储器拓扑结构数据对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案。
具体地,例如可以根据高密度地理位置范围数据,即教学资源的使用地域范围,筛选选云存储器数据集中与该地域范围相匹配的存储器节点作为候选节点。结合云存储器拓扑结构数据,进行最优负载分配规划,以实现教学资源的高效存储和访问。考虑节点之间的网络距离、负载情况等因素,将教学资源合理地分配到候选节点上,以达到负载均衡和性能优化的目标。生成教学资源存储方案,其中包括分布式云存储器节点的分配情况、存储资源的使用情况、网络拓扑结构等信息。
本发明通过对每个分布式云存储器进行负载性能检测,可以获得关于存储器性能的详细数据集。这些性能数据包括读写吞吐量、延迟、响应时间等指标,可以用于评估存储器的性能状况,提供基础数据用于后续的性能保证和负载分配规划。根据存储读写性能需求数据和云存储器性能数据集,可以制定性能保证契约,确保选取的云存储器能够满足存储读写性能需求。候选云存储器数据集包含了那些符合性能要求的云存储器,为后续的负载分配规划提供了可选的存储器资源。通过进行网络拓扑扫描,可以了解候选云存储器之间的连接关系和拓扑结构。云存储器拓扑结构数据提供了存储器之间的网络距离、带宽等信息,有助于确定存储器之间的通信性能和延迟,为负载分配规划提供参考。根据高密度地理位置范围数据、选云存储器数据集以及云存储器拓扑结构数据,进行最优负载分配规划。这样可以根据地理位置、性能需求和网络拓扑等因素来选择合适的云存储器,实现教学资源的最佳存储方案。通过最优负载分配规划,可以合理地分配网络教学资源到不同的云存储器上,避免资源过度集中或分散,提高存储资源的利用效率。教育机构和教师可以更高效地存储和管理大量网络教学资源,提升教学资源的可用性和访问速度,从而提高教学效率。分布式云存储器的最优负载分配规划考虑了高密度地理位置范围数据、选云存储器数据集以及云存储器拓扑结构数据等因素,可以根据需求动态调整存储资源的分配和配置。这使得教育机构在面对不断增长的网络教学资源时具有良好的可扩展性,能够灵活地适应资源规模的变化。在最优负载分配规划过程中,可以考虑网络教学资源的安全性和完整性要求。合理分配资源到不同的云存储器上可以增加数据的冗余备份,减少数据丢失的风险。同时,云存储器的安全措施和数据加密技术能够提供更高的数据安全保障,防止资源的非法访问和篡改,保护教学资源的机密性和完整性。最优负载分配规划考虑了云存储器的拓扑结构数据,可以在存储器之间实现负载均衡和容错机制,提高系统的弹性和容错性。当某个云存储器出现故障或网络中断时,系统可以自动将负载转移到其他可用的存储器上,保证教学资源的可用性和连续性。
优选地,步骤S352中通过教学资源兴趣度公式进行学习兴趣度计算,从而获取兴趣度数据集,其中,教学资源兴趣度公式如下所示:
式中,为学生对教学资源的兴趣度,/>自然对数的底数,/>为学生与教学资源的距离,/>为距离的标准差,/>为学生浏览教学资源的频率,/>为所有学生浏览教学资源的平均频率,/>为学生浏览教学资源的时长,/>为所有学生浏览教学资源的平均时长,/>为学生对教学资源的评分,/>为圆周率,/>为第/>个智能错题的难度系数,/>为智能错题的序号,/>为智能错题的总数。
本发明构建了一个教学资源兴趣度公式,该公式可以综合考虑学生与教学资源的相似度、关注度、投入度、满意度和智能错题的难度系数,从而更准确地反映学生对教学资源的兴趣度;通过可以将距离/>映射到一个介于0和1之间的数值,表示学生与教学资源的相似度,相似度越高,兴趣度越高。这个函数可以使得距离对兴趣度的影响更加平滑,避免了距离过大或过小时兴趣度出现剧烈波动的情况;通过/>可以将频率/>映射到一个介于0和1之间的数值,表示学生对教学资源的关注度,关注度越高,兴趣度越高。这个函数可以使得频率对兴趣度的影响更加合理,避免了频率过高或过低时兴趣度出现过分偏离的情况;通过/>可以将时长/>映射到一个介于0和1之间的数值,表示学生对教学资源的投入度,投入度越高,兴趣度越高。这个函数可以使得时长对兴趣度的影响更加合理,避免了时长过高或过低时兴趣度出现过分偏离的情况;通过/>可以将评分/>映射到一个介于0和0.5之间的数值,表示学生对教学资源的满意度,满意度越高,兴趣度越高。这个函数可以使得评分对兴趣度的影响更加符合实际,避免了评分过高或过低时兴趣度出现不真实的情况;通过/>可以将智能错题的难度系数/>映射到一个介于0和1之间的数值,表示智能错题对教学资源的增益度,增益度越高,兴趣度越高。这个函数可以使得智能错题的难度系数对兴趣度的影响更加全面,避免了智能错题的难度系数过高或过低时兴趣度出现不平衡的情况。其中,/>表示学生与教学资源的距离,是一个抽象的概念,不是指学生和教学资源在物理空间上的距离,而是指学生和教学资源在内容、风格、难度等方面的相似度或相关度。距离越小,表示学生和教学资源越匹配,距离越大,表示学生和教学资源越不匹配。这个概念可以用不同的方式计算,例如欧氏距离、曼哈顿距离、余弦相似度等,具体取决于教学资源的特征和表示方式。这个概念可以帮助评估学生对教学资源的兴趣度,因为一般来说,学生对与自己更相似或更相关的教学资源会更感兴趣。当然,这个概念也可以用其他的词语来描述,例如相似度、相关度、匹配度等,只要能够表达出学生和教学资源之间的关系就可以。该公式综合考虑学生与教学资源的相似度、关注度、投入度、满意度和智能错题的难度系数,从而更准确地反映学生对教学资源的兴趣度;
优选地,步骤S4包括以下步骤:
步骤S41:对加密教学资源数据块和加密错题数据块进行自适应压缩编码,从而获取压缩教学资源数据包以及压缩错题数据包;
具体地,例如可以使用合适的压缩算法,例如Lempel-Ziv-Welch(LZW)算法或Deflate算法,对数据进行压缩。对压缩后的教学资源数据块和错题数据块进行打包,生成压缩教学资源数据包和压缩错题数据包。
步骤S42:根据教学资源存储方案将压缩教学资源数据包以及压缩错题数据包传输至对应的云存储器,并对压缩教学资源数据包以及压缩错题数据包进行数据解码和验证,从而获取教学资源存储数据集以及对应的智能错题存储数据集;
具体地,例如可以通过网络连接将压缩教学资源数据包和压缩错题数据包传输至云存储器节点。在云存储器节点上进行数据解码和验证,确保数据的完整性和正确性。这可以涉及使用相应的解压缩算法对数据进行解压缩,以及校验和算法对数据进行验证。解码后的数据可以存储为教学资源存储数据集和智能错题存储数据集,可以存储在云存储器节点的文件系统或数据库中,以供后续访问和分析使用。
步骤S43:对教学资源存储数据集以及对应的智能错题存储数据集进行访问频次分析,从而获取高频访问资源数据;
具体地,例如可以在网络层面收集并记录教学资源存储数据集和智能错题存储数据集的访问日志,包括每个资源的访问时间、访问者等信息。网络设备或服务器可以记录每个请求的相关信息,包括请求的时间、来源IP地址等。对访问日志数据进行统计分析,计算每个教学资源和智能错题的访问频次。根据访问频次对资源进行排序,确定高频访问资源数据,即被频繁访问的教学资源和智能错题数据。
步骤S44:将高频访问资源数据对应的教学资源存放于云存储器的高速缓存存储中;
具体地,例如可以根据之前的访问频次分析结果,选择被频繁访问的教学资源数据作为高频访问资源数据。这些资源可能包括课件、视频、文档等教学材料。根据系统需求和资源特点,制定缓存策略。缓存策略可以包括缓存的容量限制、缓存替换算法等。例如,可以采用最近最少使用(LRU)算法来替换缓存中的数据。在云存储器中创建一个专门用于高速缓存的存储区域。这个存储区域应具备高速读取和写入的能力,以提高访问效率和响应速度。将之前确定的高频访问资源数据从教学资源存储中复制或迁移至高速缓存存储区域。这可以通过调用云存储器提供的API或使用管理界面进行操作。为了保持高速缓存的数据与教学资源存储的同步,需要设置缓存更新机制。当教学资源存储中的数据发生变化时,需要及时更新对应的缓存数据。可以采用定时任务、事件触发或监听机制来实现缓存的更新。
步骤S45:获取教学资源存储数据集以及对应的智能错题存储数据集的全量访问日志数据;对全量访问日志数进行访问次数统计分析并排序,从而获取全量访问频谱数据;
具体地,例如可以获取教学资源存储数据集以及对应的智能错题存储数据集的全量访问日志数据,包括每个资源的访问时间、访问者等信息。对全量访问日志数据进行访问次数的统计分析,计算每个教学资源和智能错题的访问次数。对访问次数进行排序,生成全量访问频谱数据,即按照访问次数从高到低排列的教学资源和智能错题数据列表。
步骤S46:根据全量访问频谱数据对教学资源存储数据集以及对应的智能错题存储数据集进行分层树形知识图谱构建,从而获取教学资源关系知识图谱。
具体地,例如可以根据全量访问频谱数据,按照访问次数从高到低的顺序遍历教学资源和智能错题数据。根据数据之间的关联性和相似性,构建教学资源存储数据集和智能错题存储数据集的分层树形知识图谱。可以使用图数据库或其他图形处理工具来构建和管理知识图谱。根据数据之间的关系和属性,将教学资源和智能错题按照知识图谱的结构进行组织和连接。可以使用节点表示资源和错题,边表示它们之间的关系。知识图谱的构建可以基于不同的标准和算法,如相似度计算、关联规则挖掘等,以捕捉教学资源之间的关联关系和特征。构建完成后,可以通过对知识图谱进行查询和分析,来获取教学资源之间的关系、推荐相关资源等功能。
本发明通过自适应压缩编码算法对加密的教学资源数据块进行压缩,减少存储空间的占用。这有助于降低存储成本,提高存储效率。对加密的错题数据块进行压缩编码,减少数据包的大小,节省存储空间,并提高数据传输的效率。根据教学资源存储方案,将压缩的教学资源数据包和错题数据包传输到相应的云存储器,确保数据的正确存放和管理。对压缩的教学资源数据包和错题数据包进行解码和验证,确保数据的完整性和正确性。这有助于避免教学资源在传输和存储过程中出现错误或损坏。通过对教学资源存储数据集和智能错题存储数据集进行访问频次的统计和分析,识别出被用户频繁访问的资源数据。这有助于了解用户的学习需求和偏好,并优先处理高频访问资源,提高系统响应速度和用户体验。根据高频访问资源数据的分析结果,将这些资源数据存放在云存储器的高速缓存存储中。这样可以减少资源的访问延迟,提高数据的读取速度和响应效率,优化用户的学习体验。获取教学资源存储数据集和智能错题存储数据集的全量访问日志数据,记录用户对资源的访问行为和频次信息。对全量访问日志数据进行访问次数的统计和分析,识别出资源的访问热度和冷门程度,形成全量访问频谱数据。这有助于了解资源的受欢迎程度和使用情况,为后续的优化和决策提供依据。基于全量访问频谱数据,将教学资源存储数据集和智能错题存储数据集进行分层组织,构建一种树形结构的知识图谱。这种图谱可以展示资源之间的关系和层级结构,帮助用户更好地浏览和理解教学资源。通过分层树形知识图谱的构建,获取教学资源之间的关系知识图谱。这个知识图谱可以展示资源之间的相关性、依赖性和组织结构,帮助用户更好地发现和利用资源之间的关联关系,提高学习效果和效率。综上所述,本发明可以实现教学资源数据的压缩、传输、存储优化和资源关系的可视化,从而提高存储和管理效率、加快数据访问速度、提供个性化学习推荐等有益效果。
优选地,本发明还提供了一种基于网络教学资源的数据存储系统,用于执行如上所述的一种基于网络教学资源的数据存储方法,该基于网络教学资源的数据存储系统包括:
网络教学资源采集模块,用于通过深度爬虫技术进行网络教学资源深度采集,从而获取教学资源数据集;对教学资源数据集进行格式转换,从而获取规范教学资源数据集;
教学资源分类模块,用于对规范教学资源数据集进行主题分类,从而获取分类教学资源数据集;按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集;
教学资源存储规划模块,用于对类内分级教学资源数据集以及对应的智能错题数据集进行完全同态加密,从而获取加密教学资源数据块和加密错题数据块;根据加密教学资源数据块和加密错题数据块对分布式云存储器进行 最优负载分配规划,从而获取教学资源存储方案;
存储部署模块,用于根据教学资源存储方案将加密教学资源数据块和加密错题数据块传输至对应的云存储器,从而获取教学资源存储数据集以及对应的智能错题存储数据集;对教学资源存储数据集以及对应的智能错题存储数据集进行知识图谱构建,从而获取教学资源关系知识图谱;
资源检索和查询优化模块,用于获取用户资源请求指令数据;根据用户资源请求指令数据以及教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,并进行查询响应时间监测,从而获取目标教学资源数据以及查询性能时间数据;根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化。
本发明中,网络教学资源采集模块可以从网络上收集到大量丰富多样的教学资源,满足不同学科和不同层次的教学需求;并且可以将不同格式的教学资源数据统一为规范的格式,便于后续的处理和存储。教学资源分类模块可以将规范教学资源数据集按照主题进行分类,使得教学资源具有清晰的结构和层次;并且可以根据难度对教学资源进行等级划分,使得教学资源能够适应不同水平的学习者;同时,可以利用难度等级数据集对教学资源进行自动化标注和自动错题生成,使得教学资源具有更高的价值和效果。教学资源存储规划模块可以保证教学资源和错题数据的安全性和完整性,防止其被非法访问和篡改;并且可以根据加密数据块的特征和需求对分布式云存储器进行最优负载分配规划,使得教学资源和错题数据能够高效地存储在云端,节省存储空间和成本。存储部署模块可以实现教学资源和错题数据的云端存储,提高其可用性和可靠性;并且可以利用知识图谱技术对教学资源和错题数据进行关系建模和语义表示,使得其具有更强的逻辑性和可解释性。资源检索和查询优化模块可以根据用户的资源请求指令数据,利用教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,使得用户能够快速准确地获取到所需的教学资源和错题数据;并且可以根据查询响应时间监测和查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化,使得教学资源和错题数据的检索效率和质量不断提高。综上所述,通过网络教学资源采集模块、教学资源分类模块和教学资源存储规划模块等组件的协同工作,教育机构和教师能够更有效地存储和管理大量网络教学资源。资源的采集、分类和存储过程变得更加清晰和高效,提高了存储和管理效率。采用分布式云存储器和最优负载分配规划,可以轻松扩展存储容量,满足大规模教学资源的存储需求。同时,云存储提供了弹性的存储资源,可以根据需要进行动态调整,提供更好的灵活性和扩展性。通过对教学资源存储数据集进行智能化标注和构建知识图谱,以及利用查询优化模块对教学资源进行语义解释检索,可以提高资源的访问效率和响应速度。用户能够更快地检索到目标教学资源,提高学习效率。教学资源存储方案中的完全同态加密和安全性保障措施,如数据加密、访问控制等,可以提供高级的安全性和完整性保障。这有助于防止网络教学资源的非法访问和篡改,确保资源的安全性和可靠性。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在申请文件的等同要件的含义和范围内的所有变化涵括在本发明内。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于网络教学资源的数据存储方法,其特征在于,包括以下步骤:
步骤S1:通过深度爬虫技术进行网络教学资源深度采集,从而获取教学资源数据集;对教学资源数据集进行格式转换,从而获取规范教学资源数据集;
步骤S2:对规范教学资源数据集进行主题分类,从而获取分类教学资源数据集;按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集;
步骤S3:对类内分级教学资源数据集以及对应的智能错题数据集进行完全同态加密,从而获取加密教学资源数据块和加密错题数据块;根据加密教学资源数据块和加密错题数据块对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案;
步骤S4:根据教学资源存储方案将加密教学资源数据块和加密错题数据块传输至对应的云存储器,从而获取教学资源存储数据集以及对应的智能错题存储数据集;对教学资源存储数据集以及对应的智能错题存储数据集进行知识图谱构建,从而获取教学资源关系知识图谱;
步骤S5:获取用户资源请求指令数据;根据用户资源请求指令数据以及教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,并进行查询响应时间监测,从而获取目标教学资源数据以及查询性能时间数据;根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化。
2.根据权利要求1所述的基于网络教学资源的数据存储方法,其特征在于,步骤S1包括以下步骤:
步骤S11:构建基于神经网络的深度爬虫模型,其中深度爬虫模型包括编码器和解码器模块;
步骤S12:获取种子网站教学资源网址数据;将种子网站教学资源网址数据输入至编码器模块,通过解码器模块进行强化学习抓取策略生成,从而获取抓取策略方案;
步骤S13:根据抓取策略方案对教学资源网站进行广度和深度爬取,从而获取教学资源数据集;
步骤S14:对教学资源数据集进行去重和质量控制,从而获取净化教学资源数据集;
步骤S15:对净化教学资源数据集进行统一数据格式转换,从而获取规范教学资源数据集。
3.根据权利要求1所述的基于网络教学资源的数据存储方法,其特征在于,步骤S2包括以下步骤:
步骤S21:对规范教学资源数据集进行模态识别以及数据流分类,从而获取多模态教学资源数据集,其中多模态教学资源数据集包括教学资源视频数据集以及教学资源文本数据集;
步骤S22:对教学资源视频数据集进行视觉语音特征提取,从而获取视频特征数据集;
步骤S23:根据视频特征数据集对教学资源视频数据集进行主题分类,从而获取分类视频资源数据集;
步骤S24:对教学资源文本数据集进行基于深度学习的词嵌入编码,从而获取文本语义特征数据集;
步骤S25:根据文本语义特征数据集对教学资源文本数据集进行主题分类,从而获取分类文本资源数据集;
步骤S26:根据分类视频资源数据集以及分类文本资源数据集进行同主题类数据集成,从而获取分类教学资源数据集;
步骤S27:按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;
步骤S28:利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集。
4.根据权利要求3所述的基于网络教学资源的数据存储方法,其特征在于,步骤S27包括以下步骤:
步骤S271:获取分类教学资源数据集每类教学资源数据对应的学生难度评价数据以及学习总时长数据,从而获取学生难度评价数据集以及学习总时长数据集;
步骤S272:通过预设的学习时间阈值根据分类教学资源数据集以及学习总时长数据集对学生难度评价数据集对应的学生进行评价合理性验证并剔除不合理评价,从而获取有效难度评价数据集;
步骤S273:对有效难度评价数据集对应的学生进行课后习题完成度检测以及验证,从而获取学生习题完成度数据以及习题性能数据;
步骤S274:根据学生习题完成度数据以及习题性能数据对有效难度评价数据集中每个评价进行可信度评估,从而获取可信度评估数据集;根据可信度评估数据集将有效难度评价数据集中低于预设的可信度阈值的评价剔除,从而获取难度评价数据集;
步骤S275:根据难度评价数据集对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集。
5.根据权利要求1所述的基于网络教学资源的数据存储方法,其特征在于,步骤S3包括以下步骤:
步骤S31:对类内分级教学资源数据集以及对应的智能错题数据集进行数据集分割,从而获取教学资源数据块和智能错题数据块;
步骤S32:根据教学资源数据块和智能错题数据块进行同态计算分片方案设计,从而获取同态分片加解密方案;
步骤S33:根据同态分片加解密方案对教学资源数据块和智能错题数据块进行完全同态加密,从而获取加密教学资源数据块和加密智能错题数据块;
步骤S34:对加密教学资源数据块和加密智能错题数据块进行存储需求评估计算,从而获取存储需求评估数据;
步骤S35:根据类内分级教学资源数据集、对应的智能错题数据集以及存储需求评估数据对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案。
6.根据权利要求5所述的基于网络教学资源的数据存储方法,其特征在于,步骤S35包括以下步骤:
步骤S351:对每个分布式云存储器进行剩余存储容量动态监测,从而获取每个云存储器的剩余存储容量数据;获取每个分布式云存储器的总容量数据;
步骤S352:对类内分级教学资源数据集以及对应的智能错题数据集进行学习兴趣度计算,从而获取兴趣度数据集,其中兴趣度数据集包括每个学生对该类教学资源的兴趣度;
步骤S353:根据兴趣度数据集获取兴趣度数据大于预设的兴趣度阈值对应的每个学生所在的地理位置数据,从而获取地理位置数据集;
步骤S354:根据地理位置数据集进行高密度区域范围划分,从而获取高密度地理位置范围数据;
步骤S355:对类内分级教学资源数据集以及对应的智能错题数据集进行访问高峰期检测,从而获取高峰期时间段数据;
步骤S356:获取高峰期时间段数据对应的历史访问日志数据,根据历史访问日志数据对访问高峰期进行读写性能需求指标计算,从而获取存储读写性能需求数据;
步骤S357:根据高密度地理位置范围数据、高峰期时间段数据、存储读写性能需求数据、每个分布式云存储器的总容量和剩余存储容量数据对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案。
7.根据权利要求6所述的基于网络教学资源的数据存储方法,其特征在于,步骤S357包括以下步骤:
步骤S3571:对每个分布式云存储器进行负载性能检测,从而获取云存储器性能数据集;
步骤S3572:根据存储读写性能需求数据以及云存储器性能数据集对分布式云存储器进行性能保证契约,从而获取候选云存储器数据集;
步骤S3573:对候选云存储器数据集对应的云存储器进行网络拓扑扫描,从而获取云存储器拓扑结构数据;
步骤S3574:根据高密度地理位置范围数据、选云存储器数据集以及云存储器拓扑结构数据对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案。
8.根据权利要求6所述的基于网络教学资源的数据存储方法,其特征在于,步骤S352中通过教学资源兴趣度公式进行学习兴趣度计算,从而获取兴趣度数据集,其中,教学资源兴趣度公式如下所示:
式中,为学生对教学资源的兴趣度,/>自然对数的底数,/>为学生与教学资源的距离,/>为距离的标准差,/>为学生浏览教学资源的频率,/>为所有学生浏览教学资源的平均频率,/>为学生浏览教学资源的时长,/>为所有学生浏览教学资源的平均时长,/>为学生对教学资源的评分,/>为圆周率,/>为第/>个智能错题的难度系数,/>为智能错题的序号,/>为智能错题的总数。
9.根据权利要求1所述的基于网络教学资源的数据存储方法,其特征在于,步骤S4包括以下步骤:
步骤S41:对加密教学资源数据块和加密错题数据块进行自适应压缩编码,从而获取压缩教学资源数据包以及压缩错题数据包;
步骤S42:根据教学资源存储方案将压缩教学资源数据包以及压缩错题数据包传输至对应的云存储器,并对压缩教学资源数据包以及压缩错题数据包进行数据解码和验证,从而获取教学资源存储数据集以及对应的智能错题存储数据集;
步骤S43:对教学资源存储数据集以及对应的智能错题存储数据集进行访问频次分析,从而获取高频访问资源数据;
步骤S44:将高频访问资源数据对应的教学资源存放于云存储器的高速缓存存储中;
步骤S45:获取教学资源存储数据集以及对应的智能错题存储数据集的全量访问日志数据;对全量访问日志数进行访问次数统计分析并排序,从而获取全量访问频谱数据;
步骤S46:根据全量访问频谱数据对教学资源存储数据集以及对应的智能错题存储数据集进行分层树形知识图谱构建,从而获取教学资源关系知识图谱。
10.一种基于网络教学资源的数据存储系统,其特征在于,用于执行如权利要求1所述的一种基于网络教学资源的数据存储方法,该基于网络教学资源的数据存储系统包括:
网络教学资源采集模块,用于通过深度爬虫技术进行网络教学资源深度采集,从而获取教学资源数据集;对教学资源数据集进行格式转换,从而获取规范教学资源数据集;
教学资源分类模块,用于对规范教学资源数据集进行主题分类,从而获取分类教学资源数据集;按照难度对分类教学资源数据集进行难度等级划分,从而获取难度等级数据集;利用难度等级数据集对对应类别的教学资源数据集进行自动化标注以及自动错题生成,从而获取类内分级教学资源数据集以及对应的智能错题数据集;
教学资源存储规划模块,用于对类内分级教学资源数据集以及对应的智能错题数据集进行完全同态加密,从而获取加密教学资源数据块和加密错题数据块;根据加密教学资源数据块和加密错题数据块对分布式云存储器进行最优负载分配规划,从而获取教学资源存储方案;
存储部署模块,用于根据教学资源存储方案将加密教学资源数据块和加密错题数据块传输至对应的云存储器,从而获取教学资源存储数据集以及对应的智能错题存储数据集;对教学资源存储数据集以及对应的智能错题存储数据集进行知识图谱构建,从而获取教学资源关系知识图谱;
资源检索和查询优化模块,用于获取用户资源请求指令数据;根据用户资源请求指令数据以及教学资源关系知识图谱对教学资源存储数据集进行语义解释检索,并进行查询响应时间监测,从而获取目标教学资源数据以及查询性能时间数据;根据查询性能时间数据对教学资源关系知识图谱进行索引结构自适应优化。
CN202311512465.0A 2023-11-14 2023-11-14 一种基于网络教学资源的数据存储方法及系统 Active CN117235187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311512465.0A CN117235187B (zh) 2023-11-14 2023-11-14 一种基于网络教学资源的数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311512465.0A CN117235187B (zh) 2023-11-14 2023-11-14 一种基于网络教学资源的数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN117235187A true CN117235187A (zh) 2023-12-15
CN117235187B CN117235187B (zh) 2024-03-22

Family

ID=89084612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311512465.0A Active CN117235187B (zh) 2023-11-14 2023-11-14 一种基于网络教学资源的数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN117235187B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869091A (zh) * 2016-05-12 2016-08-17 深圳市时尚德源文化传播有限公司 一种互联网教学方法及系统
CN111930925A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于在线教学平台的试题推荐方法及系统
CN112150331A (zh) * 2020-09-28 2020-12-29 河南财政金融学院 面向教育目标进行层级分配的教育资源远程共享系统
CN112579796A (zh) * 2020-12-30 2021-03-30 南京云起网络科技有限公司 一种在线教育课堂教学资源的知识图谱构建方法
CN115952299A (zh) * 2022-12-27 2023-04-11 北京万维高科科技有限责任公司 一种智能化模拟考试推荐系统及方法
CN116150404A (zh) * 2023-03-03 2023-05-23 成都康赛信息技术有限公司 一种基于联合学习的教育资源多模态知识图谱构建方法
CN116595188A (zh) * 2023-05-10 2023-08-15 北京贝湾教育科技有限公司 一种基于人工智能和大数据的教育知识图谱系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869091A (zh) * 2016-05-12 2016-08-17 深圳市时尚德源文化传播有限公司 一种互联网教学方法及系统
CN111930925A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于在线教学平台的试题推荐方法及系统
CN112150331A (zh) * 2020-09-28 2020-12-29 河南财政金融学院 面向教育目标进行层级分配的教育资源远程共享系统
CN112579796A (zh) * 2020-12-30 2021-03-30 南京云起网络科技有限公司 一种在线教育课堂教学资源的知识图谱构建方法
CN115952299A (zh) * 2022-12-27 2023-04-11 北京万维高科科技有限责任公司 一种智能化模拟考试推荐系统及方法
CN116150404A (zh) * 2023-03-03 2023-05-23 成都康赛信息技术有限公司 一种基于联合学习的教育资源多模态知识图谱构建方法
CN116595188A (zh) * 2023-05-10 2023-08-15 北京贝湾教育科技有限公司 一种基于人工智能和大数据的教育知识图谱系统

Also Published As

Publication number Publication date
CN117235187B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
US11182223B2 (en) Dataset connector and crawler to identify data lineage and segment data
US10997244B2 (en) Method and system for identifying and discovering relationships between disparate datasets from multiple sources
JP4750456B2 (ja) エンハンストドキュメント取り出しのためのコンテンツ伝播
Fang et al. Entity linking on microblogs with spatial and temporal signals
Ou et al. Comparing apples to oranges: a scalable solution with heterogeneous hashing
Hadgu et al. Identifying and analyzing researchers on twitter
KR20120030389A (ko) 검색 결과 통합
Liu et al. Has this bug been reported?
Boratto et al. Consumer fairness in recommender systems: Contextualizing definitions and mitigations
Alghanmi et al. Machine learning approaches for anomaly detection in IoT: an overview and future research directions
Lyu et al. Weighted multi-information constrained matrix factorization for personalized travel location recommendation based on geo-tagged photos
Zhou et al. Predicting high-risk students using Internet access logs
CN113239173B (zh) 问答数据的处理方法、装置、存储介质与电子设备
Makhabel et al. R: Mining spatial, text, web, and social media data
CN115687647A (zh) 公证文书生成方法、装置、电子设备及存储介质
Srisopha et al. Learning features that predict developer responses for ios app store reviews
US20160321345A1 (en) Chain understanding in search
CN117235187B (zh) 一种基于网络教学资源的数据存储方法及系统
Shu et al. Automatic extraction of web page text information based on network topology coincidence degree
Lei [Retracted] Association Rule Mining Algorithm in College Students’ Quality Evaluation System
Tang et al. FSbrain: An intelligent I/O performance tuning system
Xu et al. Generating risk maps for evolution analysis of societal risk events
Wang et al. Text mining for educational literature on big data with Hadoop
Chen A high-quality digital library supporting computing education: The ensemble approach
Bansal et al. Literature review of finding duplicate bugs in open source systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant