大数据平台的数据资源管理方法及系统、服务器及介质
技术领域
本发明涉及数据管理技术,尤其是涉及一种大数据平台的数据资源管理方法及系统、服务器及存储介质。
背景技术
目前,大数据平台的数据资源管理较为粗放,其未对数据资源进行针对性的分配,使得每个访问大数据平台的用户的数据资源占有率高,不用于提高用户对数据资源的访问速率,进而影响了用户对大数据平台的体验。
发明内容
本发明的目的在于克服上述技术不足,提出一种大数据平台的数据资源管理方法及系统、服务器及存储介质。
为达到上述技术目的,本发明的技术方案第一方面提供一种大数据平台的数据资源管理方法,包括如下步骤:
获取用户对大数据平台的当前访问申请,提取当前访问申请中的数据特征,获取大数据平台中与所述数据特征相对应的数据资源;
调用该用户过去设定时间段内的既往访问申请,获取既往访问申请中处理的数据量;
判断与所述数据特征相对应的数据资源的数据量是否不低于既往访问申请中处理的数据量,是则将与所述数据特征相对应的数据资源分配给所述当前访问申请。
本发明第二方面提供一种大数据平台的数据资源管理系统,包括:
数据资源获取模块,其用于获取用户对大数据平台的当前访问申请,提取当前访问申请中的数据特征,获取大数据平台中与所述数据特征相对应的数据资源;
既往数据量获取模块,其用于调用该用户过去设定时间段内的既往访问申请,获取既往访问申请中处理的数据量;
判断管理模块,其用于判断与所述数据特征相对应的数据资源的数据量是否不低于既往访问申请中处理的数据量,是则将与所述数据特征相对应的数据资源分配给所述当前访问申请。
本发明第三方面提供一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述大数据平台的数据资源管理方法的步骤。
本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述大数据平台的数据资源管理方法的步骤。
与现有技术相比,本发明通过赋予大数据平台的当前访问申请以与数据资源相对应的数据特征,并通过该客户的既往数据获取量判断该数据资源是否能够满足该客户的需求,并在满足客户需求时分配当前访问申请中的数据特征相对应的数据资源,其可实现针对客户需求对应分配数据资源,降低了客户对数据资源的占有率。
附图说明
图1是本发明实施例大数据平台的数据资源管理方法的流程图;
图2是本发明实施例大数据平台的数据资源管理系统的模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明的实施例提供了一种大数据平台的数据资源管理方法,包括如下步骤:
S1、获取用户对大数据平台的当前访问申请,提取当前访问申请中的数据特征,获取大数据平台中与所述数据特征相对应的数据资源;
本实施例用户在进行当前访问申请前,应该登录大数据平台,故其应该具有对应的用户名及账号,也即,本实施例的当前访问申请至少包括用户的用户名、需要访问的数据资源所对应的数据特征,数据特征可以与数据资源相对应的关键词、编号、分类号或其他自定义标识数据,以能够标识不同的数据资源即可。
实际应用中,为了控制不同用户对数据资源的占用率,并同时满足不同用户的高需求,本实施例所述数据资源管理方法还包括对用户采用不同的优先等级,并根据客户的优先等级限定其当前访问申请中数据特征的数据量,例如可设置普通用户、VIP用户,普通用户的当前访问申请中仅限于一个数据特征,而VIP用户的当前访问申请中则可设置三个或多个数据特征,也可根据实际需求设置更多的优先等级,例如一级客户、二级客户、三级客户、四级客户、五级客户,不同等级的客户的当前访问申请中则可设置不同数量的数据特征。
本实施例不同的数据特征对应的数据资源分别存储于不同的数据服务器或分别存储于不同的数据库内,以实现不同访问申请分别访问不同的数据服务器或数据库,其有利于数据资源的均衡性式访问。
S2、调用该用户过去设定时间段内的既往访问申请,获取既往访问申请中处理的数据量;
本实施例过去设定时间段指的是离当前访问申请最近的设定时间段,例如离当前访问申请最近的三个月内;本实施例中处理的数据量至少包括访问、上传、下载、提交的数据量总和。
具体来说,本实施例可通过调用该用户在过去设定时间段内的每一次既往访问申请,以获得每一次既往访问申请中处理的数据量,由于上述数据量中必然存在重复处理的数据,故需要删除既往访问申请中重复处理的数据量,即得既往访问申请中处理的数据量。需要指出的是,本实施例中重复处理的数据指的是同一处理方式重复处理的数据,例如某一数据访问了三次,则应该删除其中重复访问的两次,若某一数据访问了一次后又下载了一次,则不应该作用重复处理的数据,对应的也不应该删除。
S3、判断与所述数据特征相对应的数据资源的数据量是否不低于既往访问申请中处理的数据量,是则将与所述数据特征相对应的数据资源分配给所述当前访问申请,否则对与所述数据特征相对应的数据资源进行修正,并按修正后的数据资源分配给当前访问申请。
本实施例通过将既往访问申请中处理的数据量与数据特征相对应的数据资源的数据量进行对比,以判断当前访问申请所需求的数据资源是否能够满足用户的实际需求,当能够满足时则直接将数据特征相对应的数据资源分配给当前访问申请,若不能满足则进行修正,并将修正后的数据资源分配给当前访问申请。
其中,若所述数据特征相对应的数据资源的数据量低于既往访问申请中处理的数据量,则对与所述数据特征相对应的数据资源进行修正,并按修正后的数据资源分配给当前访问申请,本实施中对与所述数据特征相对应的数据资源进行修正包括:
获取与当前访问申请的数据特征相对应的关联数据特征,获取大数据平台中与所述关联数据特征相对应的关联数据资源;
将所述数据特征相对应的数据资源与所述关联数据特征相对应的关联数据资源合并,并形成修正后的数据资源。
本实施例通过对每个当前访问申请的数据特征设置若干个关联数据特征,若当前访问申请的数据特征所对应的数据资源不足以满足用户需求时,则可合并关联数据特征相对应的关联数据资源,以将与当前访问申请的数据特征对应的数据资源及与其关联的关联数据资源同时分配给当前访问申请,以满足当前访问申请的数据资源需求。
本发明通过赋予大数据平台的当前访问申请以与数据资源相对应的数据特征,并通过该客户的既往数据获取量判断该数据资源是否能够满足该客户的需求,并在满足客户需求时分配当前访问申请中的数据特征相对应的数据资源,其可实现针对客户需求对应分配数据资源,降低了客户对数据资源的占有率。
如图2所示,本发明实施例还公开了一种大数据平台的数据资源管理系统,包括:
数据资源获取模块10,其用于获取用户对大数据平台的当前访问申请,提取当前访问申请中的数据特征,获取大数据平台中与所述数据特征相对应的数据资源;
既往数据量获取模块20,其用于调用该用户过去设定时间段内的既往访问申请,获取既往访问申请中处理的数据量;
判断管理模块30,其用于判断与所述数据特征相对应的数据资源的数据量是否不低于既往访问申请中处理的数据量,是则将与所述数据特征相对应的数据资源分配给所述当前访问申请。
本实施例大数据平台的数据资源管理系统的执行方式与上述大数据平台的数据资源管理方法基本相同,故不作详细赘述。
本实施例服务器为提供计算服务的设备,通常指具有较高计算能力,通过网络提供给多个客户使用的计算机。该实施例的服务器包括:存储器、处理器以及系统总线,所述存储器包括存储其上的可运行的程序,本领域技术人员可以理解,本实施例的终端设备结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在存储器上包含大数据平台的数据资源管理方法的可运行程序,所述可运行程序可以被分割成一个或多个模块/单元,所述一个或多个模块/单元被存储在所述存储器中,并由处理器执行,以完成信息的获取及实现过程,所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述服务器中的执行过程。例如,所述计算机程序可以被分割为数据资源获取模块、既往数据量获取模块及判断管理模块。
处理器是服务器的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。可选的,处理器可包括一个或多个处理单元;优选的,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
系统总线是用来连接计算机内部各功能部件,可以传送数据信息、地址信息、控制信息,其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器的指令通过总线传递至存储器,存储器反馈数据给处理器,系统总线负责处理器与存储器之间的数据、指令交互。当然系统总线还可以接入其他设备,例如网络接口、显示设备等。
所述服务器应至少包括CPU、芯片组、内存、磁盘系统等,其他构成部件在此不再赘述。
在本发明实施例中,该终端所包括的处理器执行的可运行程序具体为:一种大数据平台的数据资源管理方法,其包括如下步骤:
获取用户对大数据平台的当前访问申请,提取当前访问申请中的数据特征,获取大数据平台中与所述数据特征相对应的数据资源;
调用该用户过去设定时间段内的既往访问申请,获取既往访问申请中处理的数据量;
判断与所述数据特征相对应的数据资源的数据量是否不低于既往访问申请中处理的数据量,是则将与所述数据特征相对应的数据资源分配给所述当前访问申请。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。