CN112558880A - 一种适用于云平台大数据的辅助决策方法及系统 - Google Patents
一种适用于云平台大数据的辅助决策方法及系统 Download PDFInfo
- Publication number
- CN112558880A CN112558880A CN202011495579.5A CN202011495579A CN112558880A CN 112558880 A CN112558880 A CN 112558880A CN 202011495579 A CN202011495579 A CN 202011495579A CN 112558880 A CN112558880 A CN 112558880A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud platform
- decision
- module
- installation package
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种适用于云平台大数据的辅助决策方法及系统,包括,利用数据流分块策略预处理云平台存储的数据集,得到数据基元;基于二进制序列化策略将所述数据基元转化为二维表结构并进行混合编码和压缩;根据最小二乘支持向量机构建辅助分析模型,对压缩处理后的所述数据基元进行求解,输出最终的决策。本发明结合分析模型剔除多余重复的数据,节省了内存空间和不必要的传输,大大提高了传输效率,节约流量,节省空间,因此在进行云数据存储和传输时,消除了延时缓慢的问题。
Description
技术领域
本发明涉及云数据计算分析的技术领域,尤其涉及一种适用于云平台大数据的辅助决策方法及系统。
背景技术
云存储是一种网上在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上,现有的云存储技术,是通过将数据库架设在云端,向用户提供数据或图片文件的存储服务,例如在云端搭建一个文件系统服务,提供给用户存储文件。
传统的云存储技术只能实现一些单一数据类型的数据存储能力,比如只存储结构化数据、只存储音视频文件,用户若想要使用检索功能,就需要再购买一台具备检索能力的服务器,需要自己做额外搭建服务实现存储数据库和检索数据库的数据同步等问题,此外传统的云存储技术开发上复杂,学习成本高,需要用户单独学习多种存储数据库,增加了用户的工作量。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题,提出了本发明。
因此,本发明提供了一种适用于云平台大数据的辅助决策方法及系统,能够解决云数据存储、传输存在的延时缓慢而影响用户体验的问题。
为解决上述技术问题,本发明提供如下技术方案:包括,利用数据流分块策略预处理云平台存储的数据集,得到数据基元;基于二进制序列化策略将所述数据基元转化为二维表结构并进行混合编码和压缩;根据最小二乘支持向量机构建辅助分析模型,对压缩处理后的所述数据基元进行求解,输出最终的决策。
作为本发明所述的适用于云平台大数据的辅助决策方法的一种优选方案,其中:构建所述辅助分析模型包括,选取径向基函数作为LSSVM的目标函数,如下
其中,x={x1;x2;…;x14}:所述数据基元中影响决策因素的历史数据幅频特性向量组成的特性矩阵,y:所述数据基元中影响决策因素的幅频特性向量,σ:目标向量,即所述数据基元的分布或范围特性。
作为本发明所述的适用于云平台大数据的辅助决策方法的一种优选方案,其中:所述辅助分析模型需提前进行训练,包括,初始化惩罚参数和所述目标向量,利用所述数据基元对LSSVM进行训练并进行测试;若所述辅助分析模型未达到精度阈值要求,则根据误差对所述惩罚参数和所述目标向量进行赋值优化;直至满足所述精度阈值要求,输出所述辅助分析模型。
作为本发明所述的适用于云平台大数据的辅助决策方法的一种优选方案,其中:得到所述数据基元包括,基于四元信息系统描述原则进行如下计算,
其中,Gbi为特征bi的值集,W为数据系统中所有个体的全集,是非空有限集,b为个体的特征,Ga为特征b的值域。
作为本发明所述的适用于云平台大数据的辅助决策方法的一种优选方案,其中:还包括,利用数据操作矩阵映射到数据全集上,定义W={d1,d2…dn}、b={MS1,MS2…MSq}、Ga=OPr为特征b的值域,即Ga=∪1≤i≤n,1≤j≤qOPrij;将映射函数f定义为计划任务序列中的任务对数据集合W中的di有变更操作的函数输出为A,无变更操作的输出为N;对数据系统中任意一个个体的特征子集,则在U×U空间上定义一个不可区分的关系R(b)={(u,u′)∈U×U:有f(u,b)=f(u′,b)};在U上按不可区分关系R(b),得到数据分块U/R(b)记为[u]b,定义为所述数据基元。
作为本发明所述的适用于云平台大数据的辅助决策方法的一种优选方案,其中:转化为所述二维表结构包括,根据网管设备的说明文档统计所述数据基元的数据文件;定义二维表的第一行为其对应的所述数据文件的数据对象名称集合,一个所述对象名称为一列;设置任意一个所述数据文件中包含的数据对象名称总数为N个,则所述数据文件对应的二维表为N列;依次遍历所述数据文件并找到每一个数据对象名称标识,存入其所属的数据对象列中。
作为本发明所述的适用于云平台大数据的辅助决策方法的一种优选方案,其中:所述混合编码、压缩包括,利用ASCII码定义数据信息中的字母、符合;将整数、浮点数的数据由string型转化为int型;利用二进制策略融合处理转化后的数据,压缩传输数据量。
作为本发明所述的适用于云平台大数据的辅助决策方法的一种优选方案,其中:所述决策包括,下载Mongodb安装包并上传至服务器上;解压所述Mongodb安装包,定义配置文件config.conf,设定配置文件中的参数:bind_ip=0.0.0.0port=21000fork=true执行启动命令mongod-f./conf/config.conf,完成数据存储服务的搭建;基于Minio搭建对象存储服务;下载Minio安装包并上传至所述服务器上,解压所述Minio安装包;更改文件权限,赋予可执行权限chmod+x minio;启动服务./minio server/data,完成对象存储服务的搭建;基于ElasticSearch搭建检索服务;下载ElasticSearch安装包并上传至所述服务器上,解压所述ElasticSearch安装包;启动服务,运行bin/elasticsearch。
作为本发明所述的适用于云平台大数据的辅助决策系统的一种优选方案,其中:包括,采样模块,用于采集云平台存储及接收的数据,对其进行预处理以划分数据基元,便于数据处理中心模块的计算;所述数据处理中心模块连接设置于所述采样模块的下表面,其用于接收、存储所述采样模块收集的数据并进行计算,所述数据中心模块包括运算单元、数据库和输入输出管理单元,所述运算单元与所述采集模块相连接,用于接收所述采样模块获取的数据信息以进行运算处理,计算所述特征幅值、求解分析输出决策,所述数据库连接于各个模块,用于存储接收的所有数据信息,为所述数据处理中心模块提供调配供应服务,所述输入输出管理单元用于接收各个模块的信息并输出所述运算单元的运算结果;分析模块与所述数据处理中心模块相连接,其用于统计、分析、对比、管理所述云平台数据信息,得到各自的使用情况。
本发明的有益效果:本发明通过数据流分块策略划分数据基元,并利用二进制序列化压缩策略减少了数据传输量和传输数据的大小,同时,结合分析模型剔除多余重复的数据,节省了内存空间和不必要的传输,大大提高了传输效率,节约流量,节省空间,因此在进行云数据存储和传输时,消除了延时缓慢的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明第一个实施例所述的适用于云平台大数据的辅助决策方法的流程示意图;
图2为本发明第一个实施例所述的适用于云平台大数据的辅助决策方法的实验对比曲线输出示意图;
图3为本发明第二个实施例所述的适用于云平台大数据的辅助决策系统的模块结构分布示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1和图2,为本发明的第一个实施例,提高了一种适用于云平台大数据的辅助决策方法,包括:
S1:利用数据流分块策略预处理云平台存储的数据集,得到数据基元。其中需要说明的是,数据基元包括:
基于四元信息系统描述原则进行如下计算,
其中,Gbi为特征bi的值集,W为数据系统中所有个体的全集,是非空有限集,b为个体的特征,Ga为特征b的值域;
利用数据操作矩阵映射到数据全集上,定义W={d1,d2…dn}、b={MS1,MS2…MSq}、Ga=OPr为特征b的值域,即Ga=∪1≤i≤n,1≤j≤qOPrij;
将映射函数f定义为计划任务序列中的任务对数据集合W中的di有变更操作的函数输出为A,无变更操作的输出为N;
对数据系统中任意一个个体的特征子集,则在U×U空间上定义一个不可区分的关系R(b)={(u,u′)∈U×U:有f(u,b)=f(u′,b)};
在U上按不可区分关系R(b),得到数据分块U/R(b)记为[u]b,定义为数据基元。
S2:基于二进制序列化策略将数据基元转化为二维表结构并进行混合编码和压缩。本步骤需要说明的是,转化为二维表结构包括:
根据网管设备的说明文档统计数据基元的数据文件;
定义二维表的第一行为其对应的数据文件的数据对象名称集合,一个对象名称为一列;
设置任意一个数据文件中包含的数据对象名称总数为N个,则数据文件对应的二维表为N列;
依次遍历数据文件并找到每一个数据对象名称标识,存入其所属的数据对象列中。
进一步的,混合编码、压缩包括:
利用ASCII码定义数据信息中的字母、符合;
将整数、浮点数的数据由string型转化为int型;
利用二进制策略融合处理转化后的数据,压缩传输数据量。
S3:根据最小二乘支持向量机构建辅助分析模型,对压缩处理后的数据基元进行求解,输出最终的决策。其中还需要说明的是,构建辅助分析模型包括:
选取径向基函数作为LSSVM的目标函数,如下
其中,x={x1;x2;…;x14}:数据基元中影响决策因素的历史数据幅频特性向量组成的特性矩阵,y:数据基元中影响决策因素的幅频特性向量,σ:目标向量,即数据基元的分布或范围特性。
具体的,辅助分析模型需提前进行训练,包括:
初始化惩罚参数和目标向量,利用数据基元对LSSVM进行训练并进行测试;
若辅助分析模型未达到精度阈值要求,则根据误差对惩罚参数和目标向量进行赋值优化;
直至满足精度阈值要求,输出辅助分析模型。
进一步的,决策包括:
下载Mongodb安装包并上传至服务器上;
解压Mongodb安装包,定义配置文件config.conf,设定配置文件中的参数:
bind_ip=0.0.0.0
port=21000
fork=true
执行启动命令mongod-f./conf/config.conf,完成数据存储服务的搭建;
基于Minio搭建对象存储服务;
下载Minio安装包并上传至服务器上,解压Minio安装包;
更改文件权限,赋予可执行权限chmod+x minio;
启动服务./minio server/data,完成对象存储服务的搭建;
基于ElasticSearch搭建检索服务;
下载ElasticSearch安装包并上传至服务器上,解压ElasticSearch安装包;
启动服务,运行bin/elasticsearch。
本实施例中的连接采用golang语言,通过监听负载均衡信息模块上节点的node_100,从而动态实时的获取到数据处理中心模块200的服务信息,部分代码示意如下:
监听node_100节点:
Option:=zk.WithEventCallback(callbackFunction)
其中,callbackFunction是一个自定义Function函数,用于接收节点信息变更并对变更做出处理的功能函数。
查看决策启动状态curl-X GET http://localhost:9200/,返回如下的信息即为决策启动成功:
为了更好地对本发明方法中采用的技术效果加以验证说明,本实施例中选择传统的云数据处理方法与本发明方法进行对比测试,以科学论证的手段对比试验结果,验证本发明方法所具有的真实效果。
传统的云数据处理方法以小时序片段进行分段处理,无法提高云数据的存储空间和数据传输能力,因而在用户使用时影响体验感觉,为验证本发明方法相对于传统方法具有较高的数据传输效率和更广的数据存储空间,本实施例中将采用传统方法和本发明方法分别对仿真平台的数据存储和传输进行实时测量对比。
测试环境:将云平台运行在仿真软件内模拟运行并模拟数据库存储及数据收发场景,采用双十一物联网男女性购物消费数据作为测试样本,分别利用传统方法的小时序片段处理进行传输测试并获得测试结果数据,采用本发明方法,则导入辅助分析模型程序并运用MATLB实现本发明方法的仿真测试,根据实验结果得到仿真数据,每种方法各测试100组数据,计算获得每组数据的时间,与仿真模拟输入的实际预测值进行对比误差计算。
参照图2,实线为本发明方法输出的曲线,虚线为传统方法输出的曲线,根据图2的示意,能够直观的看出,实线与虚线随着时间的增加,呈现不同的走势,实线相较于虚线,在前期一直呈稳定的上升趋势,虽然后期有所下滑,但是波动不大,且一直在虚线的上方,并保持一定的距离,而虚线则呈现较大的波动趋势,不稳定,由此,实线的效率一直大于虚线,即验证了本发明方法所具有的真实效果。
实施例2
参照图3,为本发明的第二个实施例,该实施例不同于第一个实施例的是,提供了一种适用于云平台大数据的辅助决策系统,包括:
采样模块100,用于采集云平台存储及接收的数据,对其进行预处理以划分数据基元,便于数据处理中心模块200的计算。
数据处理中心模块200连接设置于采样模块100的下表面,其用于接收、存储采样模块100收集的数据并进行计算,数据中心模块200包括运算单元201、数据库202和输入输出管理单元203,运算单元201与采集模块100相连接,用于接收采样模块100获取的数据信息以进行运算处理,计算特征幅值、求解分析输出决策,数据库202连接于各个模块,用于存储接收的所有数据信息,为数据处理中心模块200提供调配供应服务,输入输出管理单元203用于接收各个模块的信息并输出运算单元201的运算结果。
分析模块300与数据处理中心模块200相连接,其用于统计、分析、对比、管理云平台数据信息,得到各自的使用情况。
优选的,还需要说明的是,数据处理中心模块200主要分为三个层次,包括控制层、运算层及存储层,控制层是数据处理中心模块200的指挥控制中心,由指令寄存器IR、指令译码器ID和操作控制器OC组成,控制层能够根据用户预先编好的程序,依次从存储器中取出各条指令,放在指令寄存器IR中,通过指令译码器分析确定,通知操作控制器OC进行操作,按照确定的时序向相应的部件发出微操作控制信号;运算层是数据处理中心模块200的核心,能够执行算术运算(如加减乘除及其附加运算)和逻辑运算(如移位、逻辑测试或两个值比较),其连接于控制层,通过接受控制层的控制信号进行运算操作;存储层是数据处理中心模块200的数据库,能够存放数据(待处理及已经处理过的数据)。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的,术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,组件可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种适用于云平台大数据的辅助决策方法,其特征在于:包括,
利用数据流分块策略预处理云平台存储的数据集,得到数据基元;
基于二进制序列化策略将所述数据基元转化为二维表结构并进行混合编码和压缩;
根据最小二乘支持向量机构建辅助分析模型,对压缩处理后的所述数据基元进行求解,输出最终的决策。
3.根据权利要求1或2所述的适用于云平台大数据的辅助决策方法,其特征在于:所述辅助分析模型需提前进行训练,包括,
初始化惩罚参数和所述目标向量,利用所述数据基元对LSSVM进行训练并进行测试;
若所述辅助分析模型未达到精度阈值要求,则根据误差对所述惩罚参数和所述目标向量进行赋值优化;
直至满足所述精度阈值要求,输出所述辅助分析模型。
5.根据权利要求4所述的适用于云平台大数据的辅助决策方法,其特征在于:还包括,
利用数据操作矩阵映射到数据全集上,定义W={d1,d2…dn}、b={MS1,MS2…MSq}、Ga=OPr为特征b的值域,即Ga=∪1≤i≤n,1≤j≤qOPrij;
将映射函数f定义为计划任务序列中的任务对数据集合W中的di有变更操作的函数输出为A,无变更操作的输出为N;
对数据系统中任意一个个体的特征子集,则在U×U空间上定义一个不可区分的关系R(b)={(u,u′)∈U×U:有f(u,b)=f(u′,b)};
在U上按不可区分关系R(b),得到数据分块U/R(b)记为[u]b,定义为所述数据基元。
6.根据权利要求5所述的适用于云平台大数据的辅助决策方法,其特征在于:转化为所述二维表结构包括,
根据网管设备的说明文档统计所述数据基元的数据文件;
定义二维表的第一行为其对应的所述数据文件的数据对象名称集合,一个所述对象名称为一列;
设置任意一个所述数据文件中包含的数据对象名称总数为N个,则所述数据文件对应的二维表为N列;
依次遍历所述数据文件并找到每一个数据对象名称标识,存入其所属的数据对象列中。
7.根据权利要求6所述的适用于云平台大数据的辅助决策方法,其特征在于:所述混合编码、压缩包括,
利用ASCII码定义数据信息中的字母、符合;
将整数、浮点数的数据由string型转化为int型;
利用二进制策略融合处理转化后的数据,压缩传输数据量。
8.根据权利要求7所述的适用于云平台大数据的辅助决策方法,其特征在于:所述决策包括,
下载Mongodb安装包并上传至服务器上;
解压所述Mongodb安装包,定义配置文件config.conf,设定配置文件中的参数:
bind_ip=0.0.0.0
port=21000
fork=true
执行启动命令mongod-f./conf/config.conf,完成数据存储服务的搭建;
基于Minio搭建对象存储服务;
下载Minio安装包并上传至所述服务器上,解压所述Minio安装包;
更改文件权限,赋予可执行权限chmod+x minio;
启动服务./minio server/data,完成对象存储服务的搭建;
基于ElasticSearch搭建检索服务;
下载ElasticSearch安装包并上传至所述服务器上,解压所述ElasticSearch安装包;
启动服务,运行bin/elasticsearch。
9.一种适用于云平台大数据的辅助决策系统,其特征在于:包括,
采样模块(100),用于采集云平台存储及接收的数据,对其进行预处理以划分数据基元,便于数据处理中心模块(200)的计算;
所述数据处理中心模块(200)连接设置于所述采样模块(100)的下表面,其用于接收、存储所述采样模块(100)收集的数据并进行计算,所述数据中心模块(200)包括运算单元(201)、数据库(202)和输入输出管理单元(203),所述运算单元(201)与所述采集模块(100)相连接,用于接收所述采样模块(100)获取的数据信息以进行运算处理,计算所述特征幅值、求解分析输出决策,所述数据库(202)连接于各个模块,用于存储接收的所有数据信息,为所述数据处理中心模块(200)提供调配供应服务,所述输入输出管理单元(203)用于接收各个模块的信息并输出所述运算单元(201)的运算结果;
分析模块(300)与所述数据处理中心模块(200)相连接,其用于统计、分析、对比、管理所述云平台数据信息,得到各自的使用情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011495579.5A CN112558880A (zh) | 2020-12-17 | 2020-12-17 | 一种适用于云平台大数据的辅助决策方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011495579.5A CN112558880A (zh) | 2020-12-17 | 2020-12-17 | 一种适用于云平台大数据的辅助决策方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112558880A true CN112558880A (zh) | 2021-03-26 |
Family
ID=75064557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011495579.5A Withdrawn CN112558880A (zh) | 2020-12-17 | 2020-12-17 | 一种适用于云平台大数据的辅助决策方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112558880A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110704192A (zh) * | 2019-09-30 | 2020-01-17 | 的卢技术有限公司 | 一种多元化数据云存储方法及系统 |
CN111881115A (zh) * | 2020-08-01 | 2020-11-03 | 江苏哩咕信息科技有限公司 | 一种基于大数据动态规划的数据库协调优化方法 |
-
2020
- 2020-12-17 CN CN202011495579.5A patent/CN112558880A/zh not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110704192A (zh) * | 2019-09-30 | 2020-01-17 | 的卢技术有限公司 | 一种多元化数据云存储方法及系统 |
CN111881115A (zh) * | 2020-08-01 | 2020-11-03 | 江苏哩咕信息科技有限公司 | 一种基于大数据动态规划的数据库协调优化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934265A (zh) | 一种常驻地址的确定方法和装置 | |
CN112948951B (zh) | 建筑模型创建方法与装置、处理服务器 | |
Choi et al. | Coupling exascale multiphysics applications: Methods and lessons learned | |
CN113312563B (zh) | 信息推荐方法、装置、设备及存储介质 | |
CN108833302A (zh) | 云环境下基于模糊聚类及严格双边匹配的资源分配方法 | |
CN106227881A (zh) | 一种信息处理方法及服务器 | |
CN112379985A (zh) | 一种云边缘计算环境下的计算任务分配方法及装置 | |
CN115081613A (zh) | 生成深度学习模型的方法、装置、电子设备及存储介质 | |
CN114172819B (zh) | Nfv网元的需求资源预测方法、系统、电子设备和存储介质 | |
CN114064834A (zh) | 目标地点确定方法及装置、存储介质和电子设备 | |
CN117458699B (zh) | 一种自适应场景的电力参数控制方法及系统 | |
CN113704565A (zh) | 基于全局区间误差的学习型时空索引方法、装置及介质 | |
CN112558880A (zh) | 一种适用于云平台大数据的辅助决策方法及系统 | |
CN116796083B (zh) | 一种空间数据划分方法及系统 | |
CN112214928A (zh) | 一种低压配电网多源数据处理与融合方法及系统 | |
CN107908696A (zh) | 一种并行高效的基于网格与密度的多维空间数据聚类算法griden | |
CN110019593A (zh) | 地图数据获取方法、装置及系统、服务器、存储介质 | |
CN111881115A (zh) | 一种基于大数据动态规划的数据库协调优化方法 | |
CN110163298A (zh) | 一种融合子集采样和模型选择的模型拟合方法 | |
CN115391226A (zh) | 两两组合测试用例覆盖冗余的评价方法及其相关组件 | |
CN115203557A (zh) | 内容推荐模型的生成方法、装置、设备、存储介质及产品 | |
CN109271303B (zh) | 一种软件配置推荐方法 | |
CN113873031A (zh) | 一种并行分布式大数据架构构建方法及系统 | |
CN117422426B (zh) | 基于水运工程bim模型的信息优化方法及系统 | |
CN117876156B (zh) | 基于多任务电力物联终端监测方法、电力物联终端及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210326 |