CN112395324B - 一种在线教育平台用大数据存储系统 - Google Patents

一种在线教育平台用大数据存储系统 Download PDF

Info

Publication number
CN112395324B
CN112395324B CN202011241914.9A CN202011241914A CN112395324B CN 112395324 B CN112395324 B CN 112395324B CN 202011241914 A CN202011241914 A CN 202011241914A CN 112395324 B CN112395324 B CN 112395324B
Authority
CN
China
Prior art keywords
learning
module
data
retrieval
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011241914.9A
Other languages
English (en)
Other versions
CN112395324A (zh
Inventor
罗丽娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cainiao Wuyou Education Technology Co ltd
Original Assignee
Addison Education Technology Development Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Addison Education Technology Development Guangzhou Co ltd filed Critical Addison Education Technology Development Guangzhou Co ltd
Priority to CN202011241914.9A priority Critical patent/CN112395324B/zh
Publication of CN112395324A publication Critical patent/CN112395324A/zh
Application granted granted Critical
Publication of CN112395324B publication Critical patent/CN112395324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2372—Updates performed during offline database operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种在线教育平台用大数据存储系统，包括数据采集模块、数据输入模块、数据分析模块、数据分类模块、数据存储模块、服务器、数据转存模块以及检索模块；本发明通过数据分析模块结合数据输入模块输入的学习资源需求信息进行分析和处理，使得用户能够参考推送值从海量的学习资源中找到合适的学习资源，从而有选择的进行下载，避免盲目下载造成的存储压力，同时提高学习效率；通过设置离线存储模块和数据转存模块，当离线存储模块中对应的学习资源的存储时间到达转存时间时，则数据转存模块将离线存储模块中对应的学习资源转移至对应的内存数据库中，将学习资源按照存储时间分类存储，减轻了存储压力。

Description

一种在线教育平台用大数据存储系统
技术领域
本发明涉及数据存储领域，特别涉及一种在线教育平台用大数据存储系统。
背景技术
随着生活节奏的加快，越来越多的人忙于工作和家庭，无法抽出时间学习，而在线教育随着互联网的快速发展而迅速的崛起，学习时间的灵活性以及学习地点的不限制性使得越来越多的上班族或学生加入了在线学习的大军中。
教学中需要的学习资源，包括教学课件、教学设计、教学素材、教学习题等资源；随着计算机和互联网的不断发展，教育信息不断向数字化学习资源发展，数字化学习资源由于传送和保存的方便性，出现数字化学习资源数量的极速增长，在管理中，如果没有进行分类，将会严重影响学习资源的使用，并且学生和老师无法从海量的学习资源中找到合适的学习资源；且现有技术中，在学习资源存储方面，往往只是学习资源无差别的存储，安全性较差，在检索时，效率较低，同时学习资源在存储过程中，不具备学习资源的转存功能和学习资源剔除功能。
发明内容
针对现有技术存在的不足，本发明目的是提供一种在线教育平台用大数据存储系统。本发明通过数据分析模块结合数据输入模块输入的学习资源需求信息进行分析和处理，计算得到若干个学习资源的推送值，使得用户能够参考推送值从海量的学习资源中找到合适的学习资源，从而有选择的进行下载，避免盲目下载造成的存储压力，同时提高学习效率；
本发明通过数据转存模块将离线存储模块中的学习资源转存至内存数据库中；当离线存储模块中对应的学习资源的存储时间到达转存时间时，则数据转存模块将离线存储模块中对应的学习资源转移至对应的内存数据库中；通过设置离线存储模块和数据转存模块，将学习资源按照存储时间分类存储，减轻了存储压力；
本发明通过对关键词在各个学科类别出现的比例以及对应检索账号常用的检索学科类别进行跟踪记录，并据此计算得到单次检索在不同学科类别的检索优先值，根据检索优先值的大小依次对对应学科类别所处内存数据库中的学习资源进行检索，能够避免信息在大存储量的数据存储模块中进行同步交互，降低数据存储模块的数据检索压力，提升检索效率，避免检索资源浪费。
本发明的目的可以通过以下技术方案实现：
一种在线教育平台用大数据存储系统，包括数据采集模块、数据输入模块、数据分析模块、数据分类模块、数据存储模块、服务器、数据转存模块以及检索模块；
数据采集模块用于采集教育平台的学习资源信息并将学习资源信息传输至数据分析模块；数据输入模块用于用户发布学习资源需求信息，学习资源需求信息包括学科类别、应用知识体系类别和技能类别；并将学习资源需求信息发送至服务器；
数据分析模块接收数据采集模块采集的学习资源信息并结合数据输入模块输入的学习资源需求信息进行分析和处理，具体处理步骤如下：
步骤一：获取符合学习资源需求信息中学科类别、应用知识体系类别和技能类别的若干个学习资源并标记为Ni，i＝1，……，n；
步骤二：获取预设时间内若干个学习资源的浏览次数，并标记为Ci，获取若干个学习资源的浏览时间，并标记为Ti，获取若干个学习资源的下载次数，并标记为SCi，i＝1，……，n；
步骤三：利用公式计算得出若干个学习资源的关注值GZi，具体计算公式如下：
Figure BDA0002768699450000031
其中a1、a2、a3和a4均为预设系数，且a1+a2+a3+a4＝1；
步骤四：获取若干个学习资源的丰富度值，并标记为GFi；
步骤五：利用公式计算得出若干个学习资源的推送值TSi，具体计算公式如下：
Figure BDA0002768699450000032
其中b1、b2和b3均为预设比例系数，且b1+b2+b3＝1，β为均衡因子，取值0.65564321；
步骤六：获取推送值最大的学习资源为选中学习资源，而后将选中学习资源经服务器传输到资源下载模块，资源下载模块用于下载学习资源并将下载的学习资源传输至离线存储模块进行存储；
数据转存模块用于将离线存储模块中的学习资源转存至内存数据库中；数据转存模块的具体工作过程如下：
SS1：获取离线存储模块中存储的若干个学习资源；
SS2：将每个学习资源的下载时间记为存储开始时间CTi；
SS3：设定学习资源暂存的时间阈值，并将时间阈值标记为CTs；
SS4：利用公式CT1i＝CTi+CTs即可得到每个学习资源的转存时间CT1i；
SS5：当离线存储模块中对应的学习资源的存储时间到达转存时间CT1i时，则数据转存模块将离线存储模块中对应的学习资源转移至对应的内存数据库中。
进一步地，步骤四中学习资源的丰富度值的获取步骤为：
S41：学习资源包含文本信息、图片信息、视频信息以及音频信息；将文本信息中的字数标记为Ws；
将图片信息中的图片数量标记为Ps、图片的文件大小标记为Pd；若Ps＞1时，则图片的文件大小为各图片的文件大小之和；
将视频信息中的视频长度标记为Vs、视频大小标记为Vd；
将音频信息中的音频长度标记为Ys、音频大小标记为Yd；
S42：根据公式
Figure BDA0002768699450000041
计算得到丰富度值F，其中d1、d2、d3、d4、d5、d6和d7均为预设的比例系数，α为预设的参数值；
当Ps≥P1时，则在计算丰富度值F时，令Ps＝P1，当Pd≥P2时，则在计算丰富度值F时，令Pd＝P2，当Vs≥V1时，则在计算丰富度值F时，令Vs＝V1，当Vd≥V2时，则在计算丰富度值F时，令Vd＝V2，当Ws≥W1时，则在计算丰富度值F时，令Ws＝W1；当Ys≥Y1时，则在计算丰富度值F时，令Ys＝Y1，当Yd≥Y2时，则在计算丰富度值F时，令Yd＝Y2；其中P1、P2、V1、V2、Y1和Y2为对应的预设上限值。
进一步地，数据分类模块用于对下载的学习资源按学科类别进行分类处理，分为N类学习资源信息，N≥2；
数据存储模块包括N个内存数据库，各内存数据库与各类学习资源信息一一对应，各内存数据库用于存储对应类的学习资源信息；
数据存储模块还包括N个磁盘数据库，各磁盘数据库与各类学习资源信息一一对应；磁盘数据库用于存储对应类的学习资源信息。
进一步地，对于任意一个学习资源，该学习资源存储至内存数据库中，内存数据库存储的学习资源为第一学习资源，且同时备份至对应的磁盘数据库中，磁盘数据库存储的学习资源为第二学习资源。
进一步地，检索模块用于用户登录，输入关键词对学习资源进行检索；
离线存储模块、内存数据库与磁盘数据库中的信息检索步骤为：
第一步：当检索模块输入关键词对学习资源进行检索时，服务器首先对离线存储模块中存储的学习资源进行检索，若在离线存储模块中并未检索到目标学习资源，则检索模块向服务器反馈进一步检索信息，进入下一步骤；
第二步：对检索模块的登录账号进行跟踪，对其检索记录进行统计；获取每条检索记录的目标学习资源，按照学科类别将同一学科类别的检索次数累加形成类别频次，将类别频次标记为F1i；
按照学科类别将同一学科类别的目标学习资源的浏览时间累加形成类别总时间，将类别总时间标记为F2i；类别总时间F2i与类别频次F1i一一对应；
对类别总时间和类别频次进行权重分配，将类别频次的权重标记为Z1，将类别总时间的权重标记为Z2；其中Z1+Z2＝1；
利用公式Qi＝F1i×Z1+F2i×Z2分别计算每一种学科类别的检索吸引值Qi；
第三步：对关键词进行划分，对常用关键词进行记录，获取根据关键词反馈的所有检索结果；根据检索结果所属的学科类别得到该关键词在各个学科类别出现的比例并标记为类别占比Bi；其中Bi与Qi一一对应；
第四步：根据公式
Figure BDA0002768699450000051
计算得到单次检索在不同学科类别的检索优先值，k为单次检索所用关键词的数量，c1与c2为预设比例系数；
第五步：根据检索优先值Ji值的大小依次对对应学科类别所处内存数据库中的学习资源进行检索；
第六步：若在内存数据库中并未检索到目标学习资源，则根据检索优先值Ji值的大小依次对对应学科类别所处磁盘数据库中的学习资源进行检索，直至检索到目标学习资源，从而完成对目标学习资源的检索。
本发明的有益效果是：
1、本发明通过数据分析模块结合数据输入模块输入的学习资源需求信息进行分析和处理；获取预设时间内若干个学习资源的浏览次数、浏览时间以及下载次数，利用公式计算得出若干个学习资源的关注值；获取若干个学习资源的丰富度值，利用公式
Figure BDA0002768699450000061
计算得出若干个学习资源的推送值，获取推送值最大的学习资源为选中学习资源，本发明使得用户能够参考推送值从海量的学习资源中找到合适的学习资源，从而有选择的进行下载，避免盲目下载造成的存储压力，同时提高学习效率；
2、本发明通过数据转存模块将离线存储模块中的学习资源转存至内存数据库中；当离线存储模块中对应的学习资源的存储时间到达转存时间时，则数据转存模块将离线存储模块中对应的学习资源转移至对应的内存数据库中；通过设置离线存储模块和数据转存模块，将学习资源按照存储时间分类存储，减轻了存储压力；
3、本发明在用户输入关键词对学习资源进行检索时，首先对离线存储模块中存储的学习资源进行检索，再通过对关键词在各个学科类别出现的比例以及对应检索账号常用的检索学科类别进行跟踪记录，并据此计算得到单次检索在不同学科类别的检索优先值，根据检索优先值的大小依次对对应学科类别所处内存数据库中的学习资源进行检索，能够避免信息在大存储量的数据存储模块中进行同步交互，降低数据存储模块的数据检索压力，提升检索效率，避免检索资源浪费。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种在线教育平台用大数据存储系统，包括数据采集模块、数据输入模块、数据分析模块、数据分类模块、数据存储模块、服务器、数据转存模块以及检索模块；
数据采集模块用于采集教育平台的学习资源信息并将学习资源信息传输至数据分析模块；数据输入模块用于用户发布学习资源需求信息，学习资源需求信息包括学科类别、应用知识体系类别和技能类别；并将学习资源需求信息发送至服务器；
数据分析模块接收数据采集模块采集的学习资源信息并结合数据输入模块输入的学习资源需求信息进行分析和处理，具体处理步骤如下：
步骤一：获取符合学习资源需求信息中学科类别、应用知识体系类别和技能类别的若干个学习资源并标记为Ni，i＝1，……，n；
步骤二：获取预设时间内若干个学习资源的浏览次数，并标记为Ci，获取若干个学习资源的浏览时间，并标记为Ti，获取若干个学习资源的下载次数，并标记为SCi，i＝1，……，n；
步骤三：利用公式计算得出若干个学习资源的关注值GZi，具体计算公式如下：
Figure BDA0002768699450000081
其中a1、a2、a3和a4均为预设系数，且a1+a2+a3+a4＝1；
步骤四：获取若干个学习资源的丰富度值，并标记为GFi；
步骤五：利用公式计算得出若干个学习资源的推送值TSi，具体计算公式如下：
Figure BDA0002768699450000082
其中b1、b2和b3均为预设比例系数，且b1+b2+b3＝1，β为均衡因子，取值0.65564321；
步骤六：获取推送值最大的学习资源为选中学习资源，而后将选中学习资源经服务器传输到资源下载模块，资源下载模块用于下载学习资源并将下载的学习资源传输至离线存储模块进行存储；
本发明通过数据分析模块结合数据输入模块输入的学习资源需求信息进行分析和处理，计算得到若干个学习资源的推送值TSi，使得用户能够参考推送值从海量的学习资源中找到合适的学习资源，从而有选择的进行下载，避免盲目下载造成的存储压力，同时提高学习效率；
步骤四中学习资源的丰富度值的获取步骤为：
S41：学习资源包含文本信息、图片信息、视频信息以及音频信息；将文本信息中的字数标记为Ws；
将图片信息中的图片数量标记为Ps、图片的文件大小标记为Pd；若Ps＞1时，则图片的文件大小为各图片的文件大小之和；
将视频信息中的视频长度标记为Vs、视频大小标记为Vd；
将音频信息中的音频长度标记为Ys、音频大小标记为Yd；
S42：根据公式
Figure BDA0002768699450000091
计算得到丰富度值F，其中d1、d2、d3、d4、d5、d6和d7均为预设的比例系数，α为预设的参数值；
当Ps≥P1时，则在计算丰富度值F时，令Ps＝P1，当Pd≥P2时，则在计算丰富度值F时，令Pd＝P2，当Vs≥V1时，则在计算丰富度值F时，令Vs＝V1，当Vd≥V2时，则在计算丰富度值F时，令Vd＝V2，当Ws≥W1时，则在计算丰富度值F时，令Ws＝W1；当Ys≥Y1时，则在计算丰富度值F时，令Ys＝Y1，当Yd≥Y2时，则在计算丰富度值F时，令Yd＝Y2；其中P1、P2、V1、V2、Y1和Y2为对应的预设上限值；
数据分类模块用于对下载的学习资源按学科类别进行分类处理，分为N类学习资源信息，N≥2；
数据存储模块包括N个内存数据库，各内存数据库与各类学习资源信息一一对应，各内存数据库用于存储对应类的学习资源信息；
数据存储模块还包括N个磁盘数据库，各磁盘数据库与各类学习资源信息一一对应；磁盘数据库用于存储对应类的学习资源信息；
数据转存模块用于将离线存储模块中的学习资源转存至内存数据库中；数据转存模块的具体工作过程如下：
SS1：获取离线存储模块中存储的若干个学习资源；
SS2：将每个学习资源的下载时间记为存储开始时间CTi；
SS3：设定学习资源暂存的时间阈值，并将时间阈值标记为CTs；
SS4：利用公式CT1i＝CTi+CTs即可得到每个学习资源的转存时间CT1i；
SS5：当离线存储模块中对应的学习资源的存储时间到达转存时间CT1i时，则数据转存模块将离线存储模块中对应的学习资源转移至对应的内存数据库中；
对于任意一个学习资源，该学习资源存储至内存数据库中，内存数据库存储的学习资源为第一学习资源，且同时备份至对应的磁盘数据库中，磁盘数据库存储的学习资源为第二学习资源；
检索模块用于用户登录，输入关键词对学习资源进行检索；
离线存储模块、内存数据库与磁盘数据库中的信息检索步骤为：
第一步：当检索模块输入关键词对学习资源进行检索时，服务器首先对离线存储模块中存储的学习资源进行检索，若在离线存储模块中并未检索到目标学习资源，则检索模块向服务器反馈进一步检索信息，进入下一步骤；
第二步：对检索模块的登录账号进行跟踪，对其检索记录进行统计；获取每条检索记录的目标学习资源，按照学科类别将同一学科类别的检索次数累加形成类别频次，将类别频次标记为F1i；
按照学科类别将同一学科类别的目标学习资源的浏览时间累加形成类别总时间，将类别总时间标记为F2i；类别总时间F2i与类别频次F1i一一对应；
对类别总时间和类别频次进行权重分配，将类别频次的权重标记为Z1，将类别总时间的权重标记为Z2；其中Z1+Z2＝1；
利用公式Qi＝F1i×Z1+F2i×Z2分别计算每一种学科类别的检索吸引值Qi；
第三步：对关键词进行划分，对常用关键词进行记录，获取根据关键词反馈的所有检索结果；根据检索结果所属的学科类别得到该关键词在各个学科类别出现的比例并标记为类别占比Bi；其中Bi与Qi一一对应；
第四步：根据公式
Figure BDA0002768699450000101
计算得到单次检索在不同学科类别的检索优先值，k为单次检索所用关键词的数量，c1与c2为预设比例系数；
第五步：根据检索优先值Ji值的大小依次对对应学科类别所处内存数据库中的学习资源进行检索；
第六步：若在内存数据库中并未检索到目标学习资源，则根据检索优先值Ji值的大小依次对对应学科类别所处磁盘数据库中的学习资源进行检索，直至检索到目标学习资源，从而完成对目标学习资源的检索；
本发明通过对关键词在各个学科类别出现的比例以及对应检索账号常用的检索学科类别进行跟踪记录，并据此计算得到在单次检索在不同学科类别的检索优先值，根据检索优先值Ji值的大小依次对对应学科类别所处内存数据库中的学习资源进行检索，能够避免信息在大存储量的数据存储模块中进行同步交互，降低数据存储模块的数据检索压力，提升检索效率，避免检索资源浪费；
数据存储模块还包括存储控制单元，存储控制单元用于比较内存数据库中存储的第一学习资源的活跃值与预设阈值，当第一学习资源的活跃值小于预设阈值时，存储控制单元将内存数据库中的第一学习资源删除；
存储控制单元的具体工作步骤为：
H1：获取预设时间内，内存数据库中存储的第一学习资源的检索数据，检索数据包括检索次数、检索时间以及浏览时长；
H2：将每个第一学习资源的检索次数标记为CS，将检索时间标记为JTi，i＝1，…，CS；i表示第i次检索；
将浏览时长标记为LTi，其中JTi与LTi一一对应；
将系统当前时间标记为DT；
H3：将检索时间与系统当前时间进行时间差计算得到间隔时长GTi，GTi＝DT-JTi；将GTi按照从大到小的顺序排列，获取GTi的最小值，并将其标记为缓冲时长HT；
H4：将缓冲时长HT与预设时间阈值进行比较；
若HT大于等于预设时间阈值，则存储控制单元将内存数据库中对应的第一学习资源删除；
若HT小于预设时间阈值，则执行步骤H5；
H5：利用公式
Figure BDA0002768699450000121
得到每次检索的单次值Gi，其中σ为预设系数；
H6：利用公式
Figure BDA0002768699450000122
得到第一学习资源的活跃值；其中A1、A2均为比例系数；
H7：将活跃值HYi与预设阈值进行比较；
若HYi小于预设阈值时，则存储控制单元将内存数据库中对应的第一学习资源删除；
本发明将学习资源存储至内存数据库中，同时备份至磁盘数据库，将学习资源同时存储至两个不同的数据库中，能够提升数据存储的可靠性，降低数据丢失的风险；内存数据库的读写性能较高，将学习资源存储至内存数据库，能够有效提高存储效率以及存储可靠性，降低数据丢失的风险，磁盘数据库的读写性能相对较低，但是存储容量通常较大，因此，判断学习资源的活跃值，若活跃值小于预设阈值，则将内存数据库中对应的第一学习资源删除，降低内存数据库中的存储量，进而提升内存数据库的存储性能，而保留磁盘数据库中的第二学习资源，磁盘数据库能够满足存储容量的需求，即便删除内存数据库中的第一学习资源，也不会造成数据丢失，实现大数据存储的可靠性和安全性。
一种在线教育平台用大数据存储系统，在工作时，首先用户通过数据输入模块发布学习资源需求信息，数据采集模块采集教育平台的学习资源信息并将学习资源信息传输至数据分析模块，数据分析模块结合数据输入模块输入的学习资源需求信息进行分析和处理；获取预设时间内若干个学习资源的浏览次数、浏览时间以及下载次数，利用公式计算得出若干个学习资源的关注值；获取若干个学习资源的丰富度值，利用公式
Figure BDA0002768699450000131
计算得出若干个学习资源的推送值，获取推送值最大的学习资源为选中学习资源，资源下载模块用于下载选中学习资源并将下载的选中学习资源传输至离线存储模块进行存储；本发明使得用户能够参考推送值从海量的学习资源中找到合适的学习资源，从而有选择的进行下载，避免盲目下载造成的存储压力，同时提高学习效率；
数据转存模块用于将离线存储模块中的学习资源转存至内存数据库中；获取离线存储模块中存储的若干个学习资源；当离线存储模块中对应的学习资源的存储时间到达转存时间CT1i时，则数据转存模块将离线存储模块中对应的学习资源转移至对应的内存数据库中；通过设置离线存储模块和数据转存模块，将学习资源按照存储时间分类存储，减轻了存储压力；
检索模块用于用户登录，输入关键词对学习资源进行检索；首先对离线存储模块中存储的学习资源进行检索，若在离线存储模块中并未检索到目标学习资源，则检索模块向服务器反馈进一步检索信息；通过对关键词在各个学科类别出现的比例以及对应检索账号常用的检索学科类别进行跟踪记录，并据此计算得到在单次检索在不同学科类别的检索优先值，根据检索优先值Ji值的大小依次对对应学科类别所处内存数据库中的学习资源进行检索，能够避免信息在大存储量的数据存储模块中进行同步交互，降低数据存储模块的数据检索压力，提升检索效率，避免检索资源浪费；
数据存储模块还包括存储控制单元，存储控制单元用于比较内存数据库中存储的第一学习资源的活跃值与预设阈值，当第一学习资源的活跃值小于预设阈值时，存储控制单元将内存数据库中的第一学习资源删除；降低内存数据库中的存储量，进而提升内存数据库的存储性能，而保留磁盘数据库中的第二学习资源，磁盘数据库能够满足存储容量的需求，即便删除内存数据库中的第一学习资源，也不会造成数据丢失，实现大数据存储的可靠性和安全性。
上述公式均是由采集大量数据进行软件模拟及相应专家进行参数设置处理，得到与真实结果符合的公式。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.一种在线教育平台用大数据存储系统，其特征在于，包括数据采集模块、数据输入模块、数据分析模块、数据分类模块、数据存储模块、服务器、数据转存模块以及检索模块；
所述数据采集模块用于采集教育平台的学习资源信息并将学习资源信息传输至数据分析模块；所述数据输入模块用于用户发布学习资源需求信息，所述学习资源需求信息包括学科类别、应用知识体系类别和技能类别；并将学习资源需求信息发送至服务器；
所述数据分析模块接收数据采集模块采集的学习资源信息并结合数据输入模块输入的学习资源需求信息进行分析和处理，具体处理步骤如下：
步骤一：获取符合学习资源需求信息中学科类别、应用知识体系类别和技能类别的若干个学习资源并标记为Ni，i＝1，……，n；
步骤二：获取预设时间内若干个学习资源的浏览次数，并标记为Ci，获取若干个学习资源的浏览时间，并标记为Ti，获取若干个学习资源的下载次数，并标记为SCi，i＝1，……，n；
步骤三：利用公式计算得出若干个学习资源的关注值GZi，具体计算公式如下：
Figure FDA0003033685690000011
其中a1、a2、a3和a4均为预设系数，且a1+a2+a3+a4＝1；
步骤四：获取若干个学习资源的丰富度值，并标记为GFi；所述丰富度值的获取步骤为：
S41：所述学习资源包含文本信息、图片信息、视频信息以及音频信息；将文本信息中的字数标记为Ws；
将图片信息中的图片数量标记为Ps、图片的文件大小标记为Pd；若Ps＞1时，则图片的文件大小为各图片的文件大小之和；
将视频信息中的视频长度标记为Vs、视频大小标记为Vd；
将音频信息中的音频长度标记为Ys、音频大小标记为Yd；
S42：根据公式
Figure FDA0003033685690000021
计算得到丰富度值F，其中d1、d2、d3、d4、d5、d6和d7均为预设的比例系数，α为预设的参数值；
当Ps≥P1时，则在计算丰富度值F时，令Ps＝P1，当Pd≥P2时，则在计算丰富度值F时，令Pd＝P2，当Vs≥V1时，则在计算丰富度值F时，令Vs＝V1，当Vd≥V2时，则在计算丰富度值F时，令Vd＝V2，当Ws≥W1时，则在计算丰富度值F时，令Ws＝W1；当Ys≥Y1时，则在计算丰富度值F时，令Ys＝Y1，当Yd≥Y2时，则在计算丰富度值F时，令Yd＝Y2；其中P1、P2、V1、V2、Y1和Y2为对应的预设上限值；
步骤五：利用公式计算得出若干个学习资源的推送值TSi，具体计算公式如下：
Figure FDA0003033685690000022
其中b1、b2和b3均为预设比例系数，且b1+b2+b3＝1，β为均衡因子，取值0.65564321；
步骤六：获取推送值最大的学习资源为选中学习资源，而后将选中学习资源经服务器传输到资源下载模块，所述资源下载模块用于下载学习资源并将下载的学习资源传输至离线存储模块进行存储；
所述数据转存模块用于将离线存储模块中的学习资源转存至内存数据库中；所述数据转存模块的具体工作过程如下：
SS1：获取离线存储模块中存储的若干个学习资源；
SS2：将每个学习资源的下载时间记为存储开始时间CTi；
SS3：设定学习资源暂存的时间阈值，并将时间阈值标记为CTs；
SS4：利用公式CT1i＝CTi+CTs即可得到每个学习资源的转存时间CT1i；
SS5：当离线存储模块中对应的学习资源的存储时间到达转存时间CT1i时，则数据转存模块将离线存储模块中对应的学习资源转移至对应的内存数据库中。
2.根据权利要求1所述的一种在线教育平台用大数据存储系统，其特征在于，所述数据分类模块用于对下载的学习资源按学科类别进行分类处理，分为N类学习资源信息，所述N≥2；
所述数据存储模块包括N个内存数据库，各内存数据库与各类学习资源信息一一对应，各内存数据库用于存储对应类的学习资源信息；
所述数据存储模块还包括N个磁盘数据库，各磁盘数据库与各类学习资源信息一一对应；所述磁盘数据库用于存储对应类的学习资源信息。
3.根据权利要求2所述的一种在线教育平台用大数据存储系统，其特征在于，对于任意一个学习资源，该学习资源存储至内存数据库中，内存数据库存储的学习资源为第一学习资源，且同时备份至对应的磁盘数据库中，磁盘数据库存储的学习资源为第二学习资源。
4.根据权利要求1所述的一种在线教育平台用大数据存储系统，其特征在于，所述检索模块用于用户登录，输入关键词对学习资源进行检索；
离线存储模块、内存数据库与磁盘数据库中的信息检索步骤为：
第一步：当检索模块输入关键词对学习资源进行检索时，服务器首先对离线存储模块中存储的学习资源进行检索，若在离线存储模块中并未检索到目标学习资源，则检索模块向服务器反馈进一步检索信息，进入下一步骤；
第二步：对检索模块的登录账号进行跟踪，对其检索记录进行统计；获取每条检索记录的目标学习资源，按照学科类别将同一学科类别的检索次数累加形成类别频次，将类别频次标记为F1i；
按照学科类别将同一学科类别的目标学习资源的浏览时间累加形成类别总时间，将类别总时间标记为F2i；类别总时间F2i与类别频次F1i一一对应；
对类别总时间和类别频次进行权重分配，将类别频次的权重标记为Z1，将类别总时间的权重标记为Z2；其中Z1+Z2＝1；
利用公式Qi＝F1i×Z1+F2i×Z2分别计算每一种学科类别的检索吸引值Qi；
第三步：对关键词进行划分，对常用关键词进行记录，获取根据关键词反馈的所有检索结果；根据检索结果所属的学科类别得到该关键词在各个学科类别出现的比例并标记为类别占比Bi；其中Bi与Qi一一对应；
第四步：根据公式
Figure FDA0003033685690000041
计算得到单次检索在不同学科类别的检索优先值，k为单次检索所用关键词的数量，c1与c2为预设比例系数；
第五步：根据检索优先值Ji值的大小依次对对应学科类别所处内存数据库中的学习资源进行检索；
第六步：若在内存数据库中并未检索到目标学习资源，则根据检索优先值Ji值的大小依次对对应学科类别所处磁盘数据库中的学习资源进行检索，直至检索到目标学习资源，从而完成对目标学习资源的检索。
CN202011241914.9A 2020-11-09 2020-11-09 一种在线教育平台用大数据存储系统 Active CN112395324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011241914.9A CN112395324B (zh) 2020-11-09 2020-11-09 一种在线教育平台用大数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011241914.9A CN112395324B (zh) 2020-11-09 2020-11-09 一种在线教育平台用大数据存储系统

Publications (2)

Publication Number Publication Date
CN112395324A CN112395324A (zh) 2021-02-23
CN112395324B true CN112395324B (zh) 2021-05-25

Family

ID=74599247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011241914.9A Active CN112395324B (zh) 2020-11-09 2020-11-09 一种在线教育平台用大数据存储系统

Country Status (1)

Country Link
CN (1) CN112395324B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076379A (ja) * 2001-08-31 2003-03-14 Daiichikosho Co Ltd カラオケ装置における背景映像選択システム
CN104991905A (zh) * 2015-06-17 2015-10-21 河北大学 一种基于层次索引的数学表达式检索方法
CN105631007A (zh) * 2015-12-29 2016-06-01 云南电网有限责任公司电力科学研究院 一种行业技术信息搜集方法及系统
CN109784615A (zh) * 2018-12-04 2019-05-21 华东师范大学 一种数字化学习资源应用成效的计算方法
CN110162598A (zh) * 2019-04-12 2019-08-23 北京搜狗科技发展有限公司 一种数据处理方法和装置、一种用于数据处理的装置
CN110798636A (zh) * 2019-10-18 2020-02-14 腾讯数码（天津）有限公司 字幕生成方法及装置、电子设备
CN111291083A (zh) * 2020-01-22 2020-06-16 奇安信科技集团股份有限公司 网页源码数据处理方法、装置及计算机设备
CN111597797A (zh) * 2020-04-30 2020-08-28 腾讯科技（深圳）有限公司 社交圈消息的编辑方法、装置、设备及介质
CN111861655A (zh) * 2020-07-14 2020-10-30 深圳市安科讯电子制造有限公司 一种数据中心能源产品智能化加工系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100191616A1 (en) * 2007-07-19 2010-07-29 Gary Charles Berkowitz Software method and system to enable automatic, real-time extraction of item price and availability from a supplier catalog during a buyer's electronic procurement shopping process
CN107451152B (zh) * 2016-05-31 2021-06-11 阿里巴巴集团控股有限公司 计算设备、数据缓存和查找的方法及装置
CN106528693B (zh) * 2016-10-25 2019-07-30 广东科海信息科技股份有限公司 面向个性化学习的教育资源推荐方法及系统
CN111667337A (zh) * 2020-04-28 2020-09-15 苏宁云计算有限公司 一种商品评价的排序方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076379A (ja) * 2001-08-31 2003-03-14 Daiichikosho Co Ltd カラオケ装置における背景映像選択システム
CN104991905A (zh) * 2015-06-17 2015-10-21 河北大学 一种基于层次索引的数学表达式检索方法
CN105631007A (zh) * 2015-12-29 2016-06-01 云南电网有限责任公司电力科学研究院 一种行业技术信息搜集方法及系统
CN109784615A (zh) * 2018-12-04 2019-05-21 华东师范大学 一种数字化学习资源应用成效的计算方法
CN110162598A (zh) * 2019-04-12 2019-08-23 北京搜狗科技发展有限公司 一种数据处理方法和装置、一种用于数据处理的装置
CN110798636A (zh) * 2019-10-18 2020-02-14 腾讯数码（天津）有限公司 字幕生成方法及装置、电子设备
CN111291083A (zh) * 2020-01-22 2020-06-16 奇安信科技集团股份有限公司 网页源码数据处理方法、装置及计算机设备
CN111597797A (zh) * 2020-04-30 2020-08-28 腾讯科技（深圳）有限公司 社交圈消息的编辑方法、装置、设备及介质
CN111861655A (zh) * 2020-07-14 2020-10-30 深圳市安科讯电子制造有限公司 一种数据中心能源产品智能化加工系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Study and implementation of personalized searching system based on user"s interest model;Xue Li 等;《2012 IEEE 2nd International Conference on Cloud Computing and Intelligence Systems》;20131114;1-5 *
中国文化在视频自媒体的传播效果及其影响因素分析——基于YouTube的样本挖掘与实证研究;徐翔;《北京邮电大学学报(社会科学版)》;20161031;第18卷(第5期);1-7 *

Also Published As

Publication number Publication date
CN112395324A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN110322738B (zh) 一种课程优化方法、装置和系统
US7739304B2 (en) Context-based community-driven suggestions for media annotation
US8055655B1 (en) User interaction based related digital content items
US20110191336A1 (en) Contextual image search
CN105095187A (zh) 一种搜索意图识别方法及装置
CN106021362A (zh) 查询式的图片特征表示的生成、图片搜索方法和装置
WO2014056369A1 (zh) 一种用于对搜索的网络视频进行排序的方法和系统
CN113868235A (zh) 一种基于大数据的信息检索分析系统
CN103235796B (zh) 一种基于用户点击行为的搜索方法及系统
CN111061954B (zh) 搜索结果排序方法、装置及存储介质
CN112131459B (zh) 基于大数据的知识产权信息检索软件管理系统及方法
US20100239084A1 (en) Memorable Telephone Number Identification
CN104809252A (zh) 互联网数据提取系统
CN111723256A (zh) 一种基于信息资源库的政务用户画像构建方法及其系统
CN112052396A (zh) 课程匹配方法、系统、计算机设备和存储介质
CN103688256A (zh) 基于评论信息确定视频质量参数的方法、装置和系统
CN104834739A (zh) 互联网信息存储系统
CN114817575B (zh) 基于扩展模型的大规模电力事理图谱处理方法
CN111177282A (zh) 一种融入注意力机制的预测方法
CN110929169A (zh) 基于改进Canopy聚类协同过滤算法的职位推荐方法
CN112395324B (zh) 一种在线教育平台用大数据存储系统
CN107025567A (zh) 一种数据处理方法和装置
CN107133321B (zh) 页面的搜索特性的分析方法和分析装置
CN112115281A (zh) 数据检索方法、装置及存储介质
CN108520012B (zh) 基于机器学习的移动互联网用户评论挖掘方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231120

Address after: 1102, 10th Floor, Building 1, No. 113 Zhichun Road, Haidian District, Beijing, 100080

Patentee after: Beijing Cainiao Wuyou Education Technology Co.,Ltd.

Address before: 510000 room 603, building 5, jinshangu garden, No.26 Dongyi Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: Addison education technology development (Guangzhou) Co.,Ltd.

TR01 Transfer of patent right