CN111898865B - 一种智慧校园数据动态管理方法 - Google Patents

一种智慧校园数据动态管理方法 Download PDF

Info

Publication number
CN111898865B
CN111898865B CN202010634318.0A CN202010634318A CN111898865B CN 111898865 B CN111898865 B CN 111898865B CN 202010634318 A CN202010634318 A CN 202010634318A CN 111898865 B CN111898865 B CN 111898865B
Authority
CN
China
Prior art keywords
task
data
execution
computing
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010634318.0A
Other languages
English (en)
Other versions
CN111898865A (zh
Inventor
孙志琴
丁彩艳
刘清
丁慧萍
李静燕
王珂
王劼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Second Peoples Hospital
Original Assignee
Changzhou Second Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Second Peoples Hospital filed Critical Changzhou Second Peoples Hospital
Priority to CN202010634318.0A priority Critical patent/CN111898865B/zh
Publication of CN111898865A publication Critical patent/CN111898865A/zh
Application granted granted Critical
Publication of CN111898865B publication Critical patent/CN111898865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种智慧校园数据动态管理方法，所述方法包括：步骤S1：分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数；步骤S2：通过执行函数的预测和计算模块的监测确定触发条件是否满足；步骤S3：确定触发条件满足时，监测当前的数据布局情况，根据当前的数据布局情况进行数据的预加载。本发明能够充分利用封闭校园环境的软硬件资源，提高了校园用户体验。

Description

一种智慧校园数据动态管理方法
【技术领域】
本发明属于大数据技术领域，尤其涉及一种智慧校园数据动态管理方法。
【背景技术】
智慧校园指的是以物联网为基础的智慧化的校园工作、学习和生活一体化环境，这个一体化环境以各种应用服务系统为载体，将教学、科研、管理和校园生活进行充分融合。智慧校园的建设是教育信息化的重要组成部分，也是衡量教育现代化程度的重要标志，近年来智慧校园建设已经得到了人们的极大关注。智慧校园为广大师生提供一个全面的智能感知环境和综合信息服务平台，提供基于角色的个性化定制服务；能够将基于计算机网络的信息服务融入学校的各个应用与服务领域，实现互联和协作；通过智能感知环境和综合信息服务平台，为学校与外部世界提供一个相互交流和相互感知的接口。例如：学生通过客户端进行在大数据处理中心进行注册，然后在上述餐厅预约系统预约设定时间的饮食，并通过上述餐厅预定系统进行支付。随着校园信息化建设的不断推进，信息服务在学校管理中的作用越来越大。一方面，智慧校园的发展非常的繁荣，使得校园数据非常复杂，事务类型也非常的复杂；校园数据的访问因为学生的生活习惯相同，也经常会出现突发性的访问和产生；另一方面，智慧校园的软硬件资源还相当有限，这两者共同作用会降低智慧校园数据的稳定性，无法满足不同身高的老师的使用需求。本发明能够：(1)在校园环境封闭的前提下，提出了通过计算任务的预测进行数据布局改变的方式，大大的加快了任务执行时间；(2)通过任务类型的细粒度区分，满足了主要任务类型以及主要数据型任务的数据需求；(3)针对不同计算模块量化任务数量和任务执行时间，预测开销小，预测所需参数范围少，预测精度高，基于该量化参数提供了任务调度，数据迁移等策略进化基础；提供了任务执行时间和任务数量双维度的预测和判断方法；(4)提出了基于数据通信范围的数据迁移方法，改变了数据流向的随意性，通过围绕计算模块数据预测，引导了数据的流向；(5)充分利用封闭校园环境的软硬件资源，提高了校园用户体验。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种智慧校园数据动态管理方法，所述方法包含：
步骤S1：分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数；
步骤S2：通过执行函数的预测和计算模块的监测确定触发条件是否满足；
步骤S3：确定触发条件满足时，监测当前的数据布局情况，根据当前的数据布局情况进行数据的预加载。
进一步的，不同类型的任务执行时间是不同的。
进一步的，相同类型的任务在同样的计算模块上执行的时间是不同的。
进一步的，计算模块为一个或多个。
进一步的，数据布局在存储模块上，存储模块为一个或多个。
进一步的，根据总的任务执行时间来判断触发条件是否满足。
进一步的，根据当前各种类型任务的响应时间或者各种类型任务的执行时间来进行判断。
进一步的，触发条件为基于大数据变化情况的确定的触发条件。
进一步的，步骤S3具体为：对于每个计算模块，确定第一通信范围内存储空间中数据加载量，根据下一时刻的任务数量的预测值确定预测数据加载量，根据所述预测数据加载量和数据加载量之间的关系来进行数据加载；通过加所有任务类型的任务数量就能够得到当前计算模块的任务数量。
一种实现上述智慧校园数据动态管理方法的智慧校园数据动态管理系统，其特征在于，所述系统包括存储平台、计算平台，所述存储平台和计算平台连接外部大数据中心，其中存储平台和计算平台服务于智慧校园；一个或者多个计算模块之间共享存储模块，计算模块和不同存储模块之间的通信开销是不同的。
本发明的有益效果包括：(1)在校园环境封闭的前提下，提出了通过计算任务的预测进行数据布局改变的方式，大大的加快了任务执行时间；(2)通过任务类型的细粒度区分，满足了主要任务类型以及主要数据型任务的数据需求；(3)针对不同计算模块量化任务数量和任务执行时间，预测开销小，预测所需参数范围少，预测精度高，基于该量化参数提供了任务调度，数据迁移等策略进化基础；提供了任务执行时间和任务数量双维度的预测和判断方法；(4)提出了基于数据通信范围的数据迁移方法，改变了数据流向的随意性，通过围绕计算模块数据预测，引导了数据的流向；(5)充分利用封闭校园环境的软硬件资源，提高了校园用户体验。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1为本发明的智慧校园数据动态管理方法示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
所述智慧校园数据动态管理方法所应用的智慧校园数据动态管理系统中，所述系统包括存储平台、计算平台，所述存储平台和计算平台连接外部大数据中心，其中存储平台和计算平台服务于智慧校园；
优选的：所述存储平台和计算平台设置于校园内；校园是一个相对封闭的环境，存储平台和计算平台一般设置于校园内作为校园的私产而存在；存储平台为虚拟存储平台，通过存储平台对多个存储模块进行管理，实现从虚拟存储到物理存储之间的映射；所述计算平台为虚拟计算平台，通过计算平台对多个计算模块进行管理，进行计算任务、用户请求的分配；对于智慧校园来说，因为固有的计算特性、历史部署、物理特性等原因，计算任务的分配主要考虑固有分配模式搭配有限动态的任务分配；因此，为了提高响应速度在不增加硬件设置的情况下，通过有效的数据管理能够解决该问题；
一个或者多个计算模块之间共享存储模块，计算模块和不同存储模块之间的通信开销是不同的，例如：计算模块A1直接和存储模块B1连接，存储模块B1通过通信网络和存储模块B2之间连接，那么计算模块A1和存储模块B1之间的通信开销小于和存储模块B2之间的通信开销；存储模块B1相对于计算模块A1来说在其较小的通信范围内；计算模块可以为独立的存储服务器或者是处理器、内核等；
本发明所述的智慧校园数据动态管理方法，包含如下步骤：
步骤S1：分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数；具体的：执行函数包含第一执行函数和第二执行函数；分析历史数据以确定不同类型的任务在计算模块之间随时间的分配情况；通过分析日志确定计算模块的不同类型任务执行时间随时间的变化情况；通过函数拟合得到指示不同任务类型在不同计算模块上的执行时间随时间变化情况的第一执行函数，TIMEmi,aj＝f(t)；指示不同任务类型在不同计算模块上的分配数量随时间变化的第二执行函数，NUMmi,aj＝g(t)；其中，mi是计算模块编号，aj是任务类型编号；
上述分配情况和执行情况如下表所示：
Figure BDA0002567403870000041
其中:Ta1(1s)表示任务类型a1的执行时间是1s，2*a1(2s,5s)表示2件a1类型任务的执行时间分别是2s和5s；
相同类型的任务在同样的计算模块上执行的时间也是不同的，这是因为不同的任务所需要的数据，任执行的时间，任务之间的相互争夺资源情况等多重因素都有关系，正式如此，很难简单的对单个的任务单个的量化分析，但是通过校园数据的整体分析和函数拟合，能够相对准确的进行任务执行情况的描述和预测；从而才有可能进行有效的数据管理；
步骤S2：通过执行函数的预测和计算模块的监测确定触发条件是否满足；具体的：对于每个计算模块mi，监测计算模块的执行情况以获取任务类型aj的当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj；从缓存空间中获取上一时刻的任务数量B_NUMmi,aj和任务执行时间B_TIMEmi,aj；通过第一执行函数和第二执行函数获取下一时刻的任务执行时间和任务数量的函数预测值f(t+1)和g(t+1)；基于上述参数，修正函数预测值以获取下一时刻的任务数量和任务执行时间的预测值；基于下一时刻的任务数量和任务执行时间的预测值确定触发条件是否满足，如果满足则进入步骤S3，否则，进行持续监测；其中：所述下一时刻和上一时刻是相对与当前时刻来说的；三者分别相隔一定的时间间隔；
优选的：通过下式修正函数预测值以获取下一时刻任务类型aj的任务执行数量的预测值P_NUMEmi,aj和任务执行时间的预测值P_TIMEmi,aj；
P_TIMEmi,aj＝f(t+1)+((C_TIMEmi,aj-B_TIMEmi,aj)/(f(t+1)-f(t))*(C_TIMEmi,aj-f(t)))；
P_NUMEmi,aj＝g(t+1)+((C_NUMEmi,aj-B_NUMmi,aj)/(g(t+1)-g(t))*(C_NUMEmi,aj-g(t)))；
优选的：在存储空间中保存连续两个时刻的任务数量和任务执行时间的监测值，在到达下一时刻时，丢弃上一时刻的数据而只保存下一时刻和当前时刻的数据值；
优选的：通过计算平台执行上述步骤S2；
优选的：计算模块执行上述步骤和步骤S3的布局情况确定，计算模块将步骤S2计算得到的数据发送给计算平台，由计算平台根据上述计算结果和布局情况的确定，发送指令指示存储平台执行数据的预加载以改变不同计算模块的数据布局；
所述基于下一时刻的任务数量和任务执行时间的预测值确定触发条件是否满足，具体为：对于每种类型的任务aj，确定任务执行时间超过所述类型的任务执行时间阈值的任务数量之和占总任务数量的占比PT，确定所有任务总执行时间TALL，根据总的任务数量P_NUM_ALL，占比PT，总执行时间TALL确定触发条件是否满足；
较为简单的，直接根据任务总执行时间TALL、总的任务数量P_NUM_ALL或占比PT是否超过预设值来判断触发条件是否满足；
可替换的：判断下一时刻总的任务执行时间预测值和当前时刻的预测值的差值是否大于第一预设值，如果是，则直接根据任务总执行时间TALL或占比PT是否超过粗预设值来判断触发条件是否满足；否则，进一步的根据每种类型任务的数量P_NUM和任务执行时间的预测值来判断触发条件是否满足；可以根据任务类型确定任务的优先级，高优先级任务具有高权重，反之亦然，计算任务执行时间的加权值，判断加权值是否满超过细预设值来判断触发条件是否满足；当数据变化较快时通过快速判断加快监测速度，通过粗细粒度结合的方式提高了监测准确性的同时减低了计算复杂度；
可替换的，判断特定任务类型的任务数量是否超过预设值且任务执行时间是否超过预设值，如果是，则判断触发条件满足；
现有技术中往往是根据总执行时间来进行判断，甚至直接根据当前任务的响应或者任务的执行时间来进行判断，但是这样的预测粒度很粗，不同任务的重要不同，对于多个小的非重要任务执行时间都满足，但是实质重要任务却超时的情况无法正确预测，因此，必须要提高判断的粒度，提高准确性；
优选的：所述下一时刻是进行预测计算的下一时刻，该下一时刻的跨度值随f(t)和/或g(t)值的变化而变化；f(t)和/或g(t)值或者值的变化越大则跨度值越小，反之已然；通过这样的方式能够大大的降低监测开销；可替换的，根据f(t)和/或g(t)值在当前时刻的斜率来设置跨度值；斜率计算基于跨度值；
优选的：触发条件为基于大数据变化情况的确定的触发条件；
优选的：针对每个计算模块依次执行上述步骤，因为不同计算模块当前的状况不同，因此，有些就直接进行简单判断，就进行复杂的判断，通过上面的方法允许了这种适应性；
步骤S3：确定触发条件满足时，监测当前的数据布局情况，根据当前的数据布局情况进行数据的预加载；具体的：对于每个计算模块，确定第一通信范围内存储空间中数据加载量，根据下一时刻的任务数量的预测值确定预测数据加载量，根据所述预测数据加载量和数据加载量之间的关系来进行数据加载；其中：存储空间是建立在存储平台对存储模块的统一管理和地址映射的基础上的；通过加所有任务类型的任务数量就能够得到当前计算模块的任务数量；
优选的：所述第一通信范围为和当前计算模块之间的通信开销在预设开销内的通信距离范围；
所述根据下一时刻的任务执行数量的预测值确定预测数据加载量，具体为：根据当前任务数量和数据加载量之间的关系，基于下一时刻的任务数量的预测值线性推定预测数据加载量；例如：当前任务数量为N1，数据加载量为X1，下一时刻的任务数量的预测值为N2，那么推定下一时刻的预测数据加载量为X2＝(N2/N1)*X1；
可替换的：记录计算模块在特定任务数量时所对应的数据加载量，将和任务执行数量的预测值之间最结晶的特定任务数量对应的数据加载量作为所述预测数据加载量；
所述根据所述预测数据加载量和数据加载量之间的关系来进行数据加载，具体为：根据所述预测数据加载量和数据加载量之间的差值来进行数据加载，将所需数据从第一范围外提前加载到第一通信范围内的存储空间；例如：根据计算模块所执行的任务类型确定和所述任务类型对应的所需数据，加载的数据量为所述差值，将差值数量的所需数据从第一范围外提前加载到第一通信范围内的存储空间；计算模块通常执行多种任务类型，此时，根据基于任务对数据的需求量和任务数量，进行主成分分析以获取主要任务类型，对所述主要任务类型进行所需数据加载；也就是说：将数据需求量大的，任务数量多的任务类型所需要的数据提前从第一范围外提前加载到第一通信范围内的存储空间；
可替换的：根据任务数量的预测值确定下一时刻的主要的任务类型，将所述任务类型对应的所需数据提前加载到第一通信范围内；
优选的：提前加载的数据不同于已经处于第一通信范围内数据；
优选的：所述提前加载是基于个性化数据分析的提前加载；计算平台分析历史数据以获取和所述下一时刻的各类型任务所对应用户集合，所述提前加载的数据为和所述用户集合对应的数据；
优选的：当所述第一通信范围内的存储空间不能容纳所需数据时，提前将所需数据加载到第二通信范围内；其中：第二通信范围大于第一通信范围；也就是说第二通信范围内的存储模块相对于所述计算模块的通信开销大于所述第一通信范围内的存储模块；例如：将个性化用户集合对应的数据加载到第一通信范围内，而将其他所需数据加载到第二通行范围内；
优选的：所述第一通信范围外包括数大数据中心所在存储空间；
通过上述方式实现了基于量化值的数据提前加载，因此，在下一时刻到来时，所需要的数据很容易获取从而大大的加快了任务执行速度，减少了响应时间；数据本身的迁移情况往往是很难预测的，通过上述大数据评估方法，对大量数据实现提前迁移，改变了数据的布局状况，支持了不断增加的智慧校园数据的需求所带来的数据访问困难以及峰值时刻的体验下降；
优选的：在进行数据加载时，判断换出数据的写入时间，当写入时间在有效期内时，不进行所述数据的换出；
优选的：计算平台在进行任务分配时，根据任务类型将任务分配到和所述任务类型匹配的计算模块中；计算模块根据其接收到服务请求不同，根据其部署的服务应用不同，其能够接收的任务类型是相对集中的，这一点和历史部署情况密切相关；
优选的：通过存储平台进行数据的加载，存储平台接收到数据加载请求后，根据数据加载请求将数据从第一通信范围外的存储空间转移到第一通信范围内的存储空间，并响应的修改地址映射表；
软件环境可以分为两类，包括在一个或多个硬件环境上执行的系统软件和应用软件。在一个实施例中，在此公开的方法和过程可以实现为系统软件、应用软件或它们的组合。系统软件可以包括诸如操作系统(OS)和信息管理系统之类的控制程序，它们指示硬件环境中的一个或多个处理器(例如微处理器)如何运行和处理信息。应用软件可以包括但不限于程序代码、数据结构、固件、驻留软件、微代码，或者可以由处理器读取、分析或执行的任何其它形式的信息或例程。
换言之，应用软件可以实现为程序代码，其以机器可用或计算机可读存储介质的形式嵌入在计算机程序产品中，计算机程序产品提供程序代码以便由机器、计算机或任何指令执行系统使用或者与其结合使用。此外，应用软件可以包括一个或多个计算机程序，这些计算机程序在从存储介质加载到本地存储器之后，在系统软件之上执行。在客户端-服务器体系结构中，应用软件可以包括客户端软件和服务器软件。例如，在一个实施例中，客户端软件可以在客户端计算系统上执行，该客户端计算系统不同于并且独立于执行服务器软件的服务器计算系统。
软件环境还可以包括浏览器软件以便访问通过本地或远程计算网络提供的数据。进一步，软件环境可以包括用户接口(例如图形用户接口(GUI))以便接收用户命令和数据。有必要重申，上面描述的硬件和软件体系结构和环境用于实例目的。因此，可以在任何类型的系统体系结构、功能或逻辑平台或处理环境上实现一个或多个实施例。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.一种智慧校园数据动态管理方法，其特征在于，所述方法包含：
步骤S1：分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数；
执行函数包含第一执行函数和第二执行函数；分析历史数据以确定不同类型的任务在计算模块之间随时间的分配情况；通过分析日志确定计算模块的不同类型任务执行时间随时间的变化情况；通过函数拟合得到指示不同任务类型在不同计算模块上的执行时间随时间变化情况的第一执行函数，TIMEmi,aj＝f(t)；指示不同任务类型在不同计算模块上的分配数量随时间变化的第二执行函数，NUMmi,aj＝g(t)；其中，mi是计算模块编号，aj是任务类型编号；
其中：对多个计算模块进行管理的计算平台设置于校园内，服务于智慧校园；
步骤S2：通过执行函数的预测和计算模块的监测确定触发条件是否满足；
对于每个计算模块mi，监测计算模块的执行情况以获取任务类型aj的当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj；从缓存空间中获取上一时刻的任务数量B_NUMmi,aj和任务执行时间B_TIMEmi,aj；通过第一执行函数和第二执行函数获取下一时刻的任务执行时间和任务数量的函数预测值f(t+1)和g(t+1)；基于下一时刻的任务执行时间和任务数量的函数预测值f(t+1)和g(t+1)、当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj、上一时刻的任务数量B_NUMmi,aj和任务执行时间B_TIMEmi,aj、当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj、当前时刻的任务执行时间和任务数量的函数预测值f(t)和g(t)，修正函数预测值以获取下一时刻的任务数量和任务执行时间的预测值；基于下一时刻的任务数量和任务执行时间的预测值确定触发条件是否满足，如果满足则进入步骤S3，否则，进行持续监测；其中：所述下一时刻和上一时刻是相对于当前时刻来说的；三者分别相隔一定的时间间隔；
步骤S3：确定触发条件满足时，监测当前的数据布局情况，根据当前的数据布局情况进行数据的预加载；
对于每个计算模块，确定第一通信范围内存储空间中数据加载量，根据下一时刻的任务数量的预测值确定预测数据加载量，根据所述预测数据加载量和数据加载量之间的关系来进行数据加载；其中：存储空间是建立在存储平台对存储模块的统一管理和地址映射的基础上的；通过加所有任务类型的任务数量就能够得到当前计算模块的任务数量。
2.根据权利要求1所述的智慧校园数据动态管理方法，其特征在于，不同类型的任务执行时间是不同的。
3.根据权利要求2所述的智慧校园数据动态管理方法，其特征在于，相同类型的任务在同样的计算模块上执行的时间是不同的。
4.根据权利要求3所述的智慧校园数据动态管理方法，其特征在于，计算模块为一个或多个。
5.根据权利要求4所述的智慧校园数据动态管理方法，其特征在于，数据布局在存储模块上，存储模块为一个或多个。
6.根据权利要求5所述的智慧校园数据动态管理方法，其特征在于，根据总的任务执行时间来判断触发条件是否满足。
7.根据权利要求6所述的智慧校园数据动态管理方法，其特征在于，根据当前各种类型任务的响应时间或者各种类型任务的执行时间来进行判断。
8.根据权利要求7所述的智慧校园数据动态管理方法，其特征在于，触发条件为基于大数据变化情况的确定的触发条件。
9.一种实现权利要求1-8中任一项所述的智慧校园数据动态管理方法的智慧校园数据动态管理系统，其特征在于，所述系统包括存储平台、计算平台，所述存储平台和计算平台连接外部大数据中心，其中存储平台和计算平台服务于智慧校园；一个或者多个计算模块之间共享存储模块，计算模块和不同存储模块之间的通信开销是不同的。
CN202010634318.0A 2020-07-02 2020-07-02 一种智慧校园数据动态管理方法 Active CN111898865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010634318.0A CN111898865B (zh) 2020-07-02 2020-07-02 一种智慧校园数据动态管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010634318.0A CN111898865B (zh) 2020-07-02 2020-07-02 一种智慧校园数据动态管理方法

Publications (2)

Publication Number Publication Date
CN111898865A CN111898865A (zh) 2020-11-06
CN111898865B true CN111898865B (zh) 2022-03-18

Family

ID=73191474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010634318.0A Active CN111898865B (zh) 2020-07-02 2020-07-02 一种智慧校园数据动态管理方法

Country Status (1)

Country Link
CN (1) CN111898865B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469327B (zh) * 2021-06-24 2024-04-05 上海寒武纪信息科技有限公司 执行转数提前的集成电路装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621979A (zh) * 2017-10-27 2018-01-23 郑金林 一种学生发展档案大数据算法与分析系统
CN107665388A (zh) * 2016-07-27 2018-02-06 山东师范大学 一种智慧校园管理系统
CN109299095A (zh) * 2018-09-21 2019-02-01 深圳安视信息技术有限公司 一种智慧校园信息管理系统
CN111027085A (zh) * 2019-12-16 2020-04-17 南京工业大学 高性能计算平台与智慧校园融合系统及实现方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699440B (zh) * 2012-09-27 2017-05-24 北京搜狐新媒体信息技术有限公司 一种云计算平台系统为任务分配资源的方法和装置
CN103412792B (zh) * 2013-07-18 2015-06-10 成都国科海博信息技术股份有限公司 一种云计算平台环境下的动态任务调度方法及装置
CN106355350A (zh) * 2016-09-23 2017-01-25 重庆多创电子技术有限公司 智慧校园系统
CN107025141B (zh) * 2017-05-18 2020-09-01 成都海天数联科技有限公司 一种基于大数据混合作业模型的调度方法
CN108564507A (zh) * 2018-04-25 2018-09-21 河南聚合科技有限公司 一种基于云平台的智慧校园协同管理系统
CN108647277B (zh) * 2018-05-03 2021-01-08 山东师范大学 一种移动校园综合服务平台及其工作方法
US11087614B2 (en) * 2018-11-21 2021-08-10 Hemal B. Kurani Methods and systems of smart campus security shield
CN109508962A (zh) * 2018-12-12 2019-03-22 长治医学院 EDU云DaaS与云校一体的校园信息化架构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665388A (zh) * 2016-07-27 2018-02-06 山东师范大学 一种智慧校园管理系统
CN107621979A (zh) * 2017-10-27 2018-01-23 郑金林 一种学生发展档案大数据算法与分析系统
CN109299095A (zh) * 2018-09-21 2019-02-01 深圳安视信息技术有限公司 一种智慧校园信息管理系统
CN111027085A (zh) * 2019-12-16 2020-04-17 南京工业大学 高性能计算平台与智慧校园融合系统及实现方法

Also Published As

Publication number Publication date
CN111898865A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
Donyanavard et al. SPARTA: Runtime task allocation for energy efficient heterogeneous many-cores
CN106776005B (zh) 一种面向容器化应用的资源管理系统及方法
CN110737529B (zh) 一种面向短时多变大数据作业集群调度自适应性配置方法
US9575810B2 (en) Load balancing using improved component capacity estimation
US9195506B2 (en) Processor provisioning by a middleware processing system for a plurality of logical processor partitions
Yeung et al. Horus: Interference-aware and prediction-based scheduling in deep learning systems
US9037880B2 (en) Method and system for automated application layer power management solution for serverside applications
Singh et al. The journey of QoS-aware autonomic cloud computing
US20100318827A1 (en) Energy use profiling for workload transfer
US8375228B2 (en) Multiple-node system power utilization management
CN111597048B (zh) 基于服务质量的微服务调度方法、系统及电子设备
US8161493B2 (en) Weighted-region cycle accounting for multi-threaded processor cores
Ju et al. Symphoney: A coordinated sensing flow execution engine for concurrent mobile sensing applications
CN112835698A (zh) 一种基于异构集群的请求分类处理的动态负载均衡方法
Hao et al. An adaptive algorithm for scheduling parallel jobs in meteorological Cloud
CN111898865B (zh) 一种智慧校园数据动态管理方法
Ghazali et al. A classification of Hadoop job schedulers based on performance optimization approaches
Horstmann et al. A framework to design and implement real-time multicore schedulers using machine learning
Songara et al. MRA-VC: multiple resources aware virtual machine consolidation using particle swarm optimization
Li et al. An adaptive cpu-gpu governing framework for mobile games on big. little architectures
CN106844175B (zh) 一种基于机器学习的云平台容量规划方法
Shih et al. Fairness scheduler for virtual machines on heterogonous multi-core platforms
Kundan et al. Online frequency-based performance and power estimation for clustered multi-processor systems
CN112346863B (zh) 一种计算资源动态调整数据处理方法及系统
CN112114967B (zh) 一种基于服务优先级的gpu资源预留方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant