工业互联网大数据元需求服务提供方法与系统
技术领域
本专利申请一般地涉及工业互联网技术,更具体地涉及一种工业互联网大数据元需求服务提供方法与系统。
背景技术
通信服务具有独特的经济特征,通信服务产业是建立在完整的通信网络的基础上,通信网络的建设往往需要耗费大量的投资,这使通信产业处是固定成本很高,而一次通信服务增加的边际成本却很低,这就要求通信服务企业的规模要大,才能实现规模经济、降低成本。
网络服务是指一些在网络上运行的、面向服务的、基于分布式程序的软件模块,网络服务采用HTTP和XML(标准通用标记语言的子集)等互联网通用标准,使人们可以在不同的地方通过不同的终端设备访问WEB上的数据,如网上订票,查看订座情况。网络服务在电子商务、电子政务、公司业务流程电子化等应用领域有广泛的应用。
在工业领域中合理地运用大数据技术能有效促进企业信息化发展,提升企业生产运行效率、加速生产信息在制造过程中的流动、助力企业升级转型并形成全新的智能制造模式。
由于超低成本的传感器、连接与数据存储等新基础设施的出现,叠加物联网、大数据、人工智能,云计算,5G,芯片技术等新技术的发展,应用和升级,工业部门的服务与商业模式也逐渐进化,工业物联网是整个科技,工业进步背景下的必然结晶。
工业互联网是新一代信息通信技术与现代工业技术深度融合的产物,是制造业数字化、网络化、智能化的重要载体,也是全球新一轮产业竞争的制高点。工业互联网通过构建连接机器、物料、人、信息系统的基础网络,实现工业数据的全面感知、动态传输、实时分析,形成科学决策与智能控制,提高制造资源配置效率,正成为领军企业竞争的新赛道、全球产业布局的新方向、制造大国竞争的新焦点。作为工业互联网三大要素,工业互联网平台是工业全要素链接的枢纽,是工业资源配置的核心,对于振兴我国实体经济、推动制造业向中高端迈进具有重要意义。工业互联网平台是面向制造业数字化、网络化、智能化需求,构建基于海量数据采集、汇聚、分析的服务体系,支撑制造资源泛在连接、弹性供给、高效配置的工业云平台。其本质是通过构建精准、实时、高效的数据采集互联体系,建立面向工业大数据存储、集成、访问、分析、管理的开发环境,实现工业技术、经验、知识的模型化、标准化、软件化、复用化,不断优化研发设计、生产制造、运营管理等资源配置效率,形成资源富集、多方参与、合作共赢、协同演进的制造业新生态。
工业互联网平台已成为企业智能化转型重要抓手。即可帮助企业实现智能化生产和管理。通过对生产现场“人机料法环”各类数据的全面采集和深度分析,能够发现导致生产瓶颈与产品缺陷的深层次原因,不断提高生产效率及产品质量。基于现场数据与企业计划资源、运营管理等数据的综合分析,能够实现更精准的供应链管理和财务管理,降低企业运营成本。又能帮助企业实现生产方式和商业模式创新。企业通过平台可以实现对产品售后使用环节的数据打通,提供设备健康管理、产品增值服务等新型业务模式,实现从卖产品到卖服务的转变,实现价值提升。基于平台还可以与用户进行更加充分的交互,了解用户个性化需求,并有效组织生产资源,依靠个性化产品实现更高利润水平。此外,不同企业还可以基于平台开展信息交互,实现跨企业、跨区域、跨行业的资源和能力集聚,打造更高效的协同设计、协同制造,协同服务体系。
但工业互联网的服务提供中,对不同类型的服务需求,以及所服务的不同类型应用,现有技术中抑或是采用分别的线程对这些应用进行服务部署,抑或是使用负载均衡设备,通过一系列的服务器进行服务任务部署的负载均衡。如何细化工业互联网大数据系统中服务提供的粒度,将服务精确到应用中的不同类别任务之内,并以一定的服务分类方式,将服务进行同一组别的分类处理,用以提高服务处理的效率,优化部署和实施的流程,成为了现有技术亟待解决的问题。
发明内容
本申请涉及一种工业互联网大数据元需求服务提供系统,包括以系统用户元需求为依据,将服务分离为元需求映射集,并根据元需求映射表对分离出的元需求映射集进行部署,完成工业互联网大数据服务;所述系统包括数据聚合解析层,完成数据采集对象编组、采集器编组、匹配采集、聚合与解析;数据处理映像指标层,完成数据与文件的快速处理与吞吐;结果集层,进行大数据处理结果集抽取与应用,并提供对使用部署的计费规则;其中:
数据聚合解析层包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器,中心控制部件为被采集设备进行6位采集ID设置,分配采集ID至平台系统中的各个被采集设备,依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组;所述中心控制部件将具有相同采集ID的多个被采集设备编为一组,分配与其编组相适配的数据采集器,组成采集组集合,以精细化采集数据,防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误,数据聚合部件,聚合各个采集组集合的采集数据,采用特定格式的数据报头对数据进行封装处理,组成统一的聚合数据格式,发往数据解析部件;数据解析部件,对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置,并进行数据解析,获得分析对象数据。
数据处理映像指标层,包含第一数据映像指标生成部件,用以在数据处理映像指标层处理并存储数据时建立数据存储网格,并同时建立数据映像指标网格,其中,数据映像指标网格与数据存储网格结构一一对应,在平台底层存储介质生成数据存储网格结构时,映像指标网格也在生成;第一数据映像指标操作部件,用于根据用户操作获取对应的处理任务,根据处理任务数据获取相应映像指标网格节点,从而依据映像指标网格与数据存储网格的对应关系获取相应数据存储网格结构节点,并对任务分片,交由相应存储网格结构节点处理并返回处理结果数据;
结果集层,包含第一数据抽取部件,所述第一数据抽取部件包含处理结果探测装置,探测由存储网格结构节点处理完成的结果数据集,并依据存储网格结构对结果数据集进行分类;第一服务提供部件,用于以服务部署方式,将所述第一数据抽取部件抽取出的结果数据集依据其分类,经负载均衡后分发给第二服务提供部件;
元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表;
第二服务提供部件;用以根据元需求释义部件的解析结果,接收第一服务提供部件提供的分类结果数据集,将服务分离为元需求映射集,并据此对分离出的元需求映射集进行部署;
第一计费服务部件,用于以服务时间(S)*服务单元(U)*服务权重系数方式对服务被提供方进行计费,其中服务权重系数由采集组集合相同的采集ID经加权计算而得。
其中所述元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表,具体为:
解析用户功能,将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经而级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求,对解析后的元需求进行分类,更新元需求映射表。
所述将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经二级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求具体为:
对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一类业务功能;
对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解;
按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求。
所述对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一种业务功能具体为:
按照应用功能不同,将其进行一级分解为:
用户功能,表征与基本用户有关的功能;
转移功能,表征数据流转有关的功能;
交互功能,表征应用的交互设计方式;
辅助功能,应用主业务之外的其它辅助功能。
对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解具体为:
所述用户功能至少包含:
用户角色判别,表征业务中的可用用户角色类型;
用户信息管理,用以管理用户的基本信息;
用户行为,用以确定用户行为;
所述转移功能至少包含:
数据信息管理,用以管理待转移数据的基本信息;
转移管理,用以管理数据转移过程;
同步与更新,用以完成数据转移后的处理;
所述交互功能至少包含:
用户间交互,用以处理用户间的非应用主业务交互(因应用主业务交互已被转移功能所处理);
界面交互,用以确定和限制界面交互方式。
所述按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求具体为:
将经二级分解后的功能逻辑按照参数类型化、数据库关联与存储、基本数据传输、特殊数据传输、数据更改、可视化、其它元需求的上述元需求类型进行三级分解。
在另一方面,本申请提供了一种工业互联网大数据服务提供方法,包括以相应系统用户元需求为依据,将服务分离为元需求映射集,并根据元需求映射表对分离出的元需求映射集进行部署,完成工业互联网大数据服务;
所述方法包括使用系统的数据聚合解析层,完成数据采集对象编组、采集器编组、匹配采集、聚合与解析;使用系统的数据处理映像指标层,完成数据与文件的快速处理与吞吐;使用系统的结果集层,进行大数据处理结果集抽取与应用,并提供对使用部署的计费规则;其中:
数据聚合解析层包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器,使用中心控制部件为被采集设备进行6位采集ID设置,分配采集ID至平台系统中的各个被采集设备,依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组;所述中心控制部件将具有相同采集ID的多个被采集设备编为一组,分配与其编组相适配的数据采集器,组成采集组集合,以精细化采集数据,防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误,使用数据聚合部件,聚合各个采集组集合的采集数据,采用特定格式的数据报头对数据进行封装处理,组成统一的聚合数据格式,发往数据解析部件;使用数据解析部件,对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置,并进行数据解析,获得分析对象数据。
使用系统数据处理映像指标层,包含第一数据映像指标生成部件,用以在数据处理映像指标层处理并存储数据时建立数据存储网格,并同时建立数据映像指标网格,其中,数据映像指标网格与数据存储网格结构一一对应,在平台底层存储介质生成数据存储网格结构时,映像指标网格也在生成;第一数据映像指标操作部件,用于根据用户操作获取对应的处理任务,根据处理任务数据获取相应映像指标网格节点,从而依据映像指标网格与数据存储网格的对应关系获取相应数据存储网格结构节点,并对任务分片,交由相应存储网格结构节点处理并返回处理结果数据;
使用系统结果集层,包含第一数据抽取部件,所述第一数据抽取部件包含处理结果探测装置,探测由存储网格结构节点处理完成的结果数据集,并依据存储网格结构对结果数据集进行分类;第一服务提供部件,用于以服务部署方式,将所述第一数据抽取部件抽取出的结果数据集依据其分类,经负载均衡后分发给第二服务提供部件;
使用元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表;
使用第二服务提供部件;用以根据元需求释义部件的解析结果,接收第一服务提供部件提供的分类结果数据集,将服务分离为元需求映射集,并据此对分离出的元需求映射集进行部署;
使用第一计费服务部件,用于以服务时间(S)*服务单元(U)*服务权重系数方式对服务被提供方进行计费,其中服务权重系数由采集组集合相同的采集ID经加权计算而得。
其中所述元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表,具体为:解析用户功能,将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经而级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求,对解析后的元需求进行分类,更新元需求映射表。
所述将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经二级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求具体为:
对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一类业务功能;
对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解;
按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求。
其中所述对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一种业务功能具体为:
按照应用功能不同,将其进行一级分解为:
用户功能,表征与基本用户有关的功能;
转移功能,表征数据流转有关的功能;
交互功能,表征应用的交互设计方式;
辅助功能,应用主业务之外的其它辅助功能。
所述对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解具体为:
所述用户功能至少包含:
用户角色判别,表征业务中的可用用户角色类型;
用户信息管理,用以管理用户的基本信息;
用户行为,用以确定用户行为;
所述转移功能至少包含:
数据信息管理,用以管理待转移数据的基本信息;
转移管理,用以管理数据转移过程;
同步与更新,用以完成数据转移后的处理;
所述交互功能至少包含:
用户间交互,用以处理用户间的非应用主业务交互(因应用主业务交互已被转移功能所处理);
界面交互,用以确定和限制界面交互方式。
所述按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求具体为:
将经二级分解后的功能逻辑按照参数类型化、数据库关联与存储、基本数据传输、特殊数据传输、数据更改、可视化、其它元需求的上述元需求类型进行三级分解。
本发明所提供的工业互联网大数据元需求服务提供方法与系统,创新地,对工业互联网大数据服务平台中的对象应用进行功能上的三级分解,以用户的元需求为依托,将服务分解到与元需求一一对应,再使用具体的元需求对应处理模块,进行服务部署和处理,从而能够方便、有效地进行大数据多用户多应用的服务部署、服务响应和服务解决,服务拓扑得到了进一步的提升,因其层次化的服务架构使得服务系统和服务之间的关联清晰,层次结构明确,管理方便,能够有效管理工业互联网大数据服务提供平台。
附图说明
图1示出了工业互联网大数据元需求服务提供系统中以用户应用为例对用户功能进行到元需求服务分解的示意图。
图2示出了工业互联网大数据元需求服务提供系统中以用户应用为例对转移功能进行到元需求服务分解的示意图。
图3示出了工业互联网大数据元需求服务提供系统中以用户应用为例对交互功能进行到元需求服务分解的示意图。
图4示出了工业互联网大数据元需求服务提供系统中以用户功能为例的元需求映射表示意图。
图5示出了工业互联网大数据元需求服务提供系统中以转移功能为例的元需求映射表示意图。
具体实施例描述
为使本发明的上述目的、特征和优点更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明:
现在详细说明本专利申请关于工业互联网大数据元需求服务提供方法及系统的优选实施例,还在以下描述中提供了多个示例。虽然详细描述了本专利申请公开的系统和方法,但是为了清楚起见,显然,对于本领域技术人员理解该系统和方法非特别重要的一些功能部件可能不被示出。
此外,应该理解的是,本专利申请中公开的系统和方法不限于如下描述的确切实施例,其可以由本领域技术人员在不脱离其精神或请求保护范围的情况下实现各种改变和修改。例如,在本公开的范围内,不同的示例性实施例的元件和/或功能部件可以彼此结合和/或相互替换。
图1示出了根据本专利申请的一种工业互联网大数据元需求服务提供系统中以用户应用为例对用户功能进行到元需求服务分解的示意图。图2示出了工业互联网大数据元需求服务提供系统中以用户应用为例对转移功能进行到元需求服务分解的示意图。图3示出了工业互联网大数据元需求服务提供系统中以用户应用为例对交互功能进行到元需求服务分解的示意图。
该工业互联网大数据元需求服务提供系统,以系统用户元需求为依据,将服务分离为元需求映射集,并根据元需求映射表对分离出的元需求映射集进行部署,完成工业互联网大数据服务;所述系统包括数据聚合解析层,完成数据采集对象编组、采集器编组、匹配采集、聚合与解析;数据处理映像指标层,完成数据与文件的快速处理与吞吐;结果集层,进行大数据处理结果集抽取与应用,并提供对使用部署的计费规则;其中:数据聚合解析层包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器,中心控制部件为被采集设备进行6位采集ID设置,分配采集ID至平台系统中的各个被采集设备,依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组;所述中心控制部件将具有相同采集ID的多个被采集设备编为一组,分配与其编组相适配的数据采集器,组成采集组集合,以精细化采集数据,防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误,数据聚合部件,聚合各个采集组集合的采集数据,采用特定格式的数据报头对数据进行封装处理,组成统一的聚合数据格式,发往数据解析部件;数据解析部件,对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置,并进行数据解析,获得分析对象数据。数据处理映像指标层,包含第一数据映像指标生成部件,用以在数据处理映像指标层处理并存储数据时建立数据存储网格,并同时建立数据映像指标网格,其中,数据映像指标网格与数据存储网格结构一一对应,在平台底层存储介质生成数据存储网格结构时,映像指标网格也在生成;第一数据映像指标操作部件,用于根据用户操作获取对应的处理任务,根据处理任务数据获取相应映像指标网格节点,从而依据映像指标网格与数据存储网格的对应关系获取相应数据存储网格结构节点,并对任务分片,交由相应存储网格结构节点处理并返回处理结果数据;结果集层,包含第一数据抽取部件,所述第一数据抽取部件包含处理结果探测装置,探测由存储网格结构节点处理完成的结果数据集,并依据存储网格结构对结果数据集进行分类;第一服务提供部件,用于以服务部署方式,将所述第一数据抽取部件抽取出的结果数据集依据其分类,经负载均衡后分发给第二服务提供部件;
元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表;
第二服务提供部件;用以根据元需求释义部件的解析结果,接收第一服务提供部件提供的分类结果数据集,将服务分离为元需求映射集,并据此对分离出的元需求映射集进行部署;
第一计费服务部件,用于以服务时间(S)*服务单元(U)*服务权重系数方式对服务被提供方进行计费,其中服务权重系数由采集组集合相同的采集ID经加权计算而得。
在一个实施例中,优选的,所述元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表,具体为解析用户功能,将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经二级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求,对解析后的元需求进行分类,更新元需求映射表。
在另一个实施例中,优选的,所述将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经二级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求具体为:对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一类业务功能;对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解;按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求。
在另一个实施例中,例如,其中所述对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一种业务功能具体为:按照应用功能不同,将其进行一级分解为:用户功能,表征与基本用户有关的功能;转移功能,表征数据流转有关的功能;交互功能,表征应用的交互设计方式;辅助功能,应用主业务之外的其它辅助功能。
在另一个实施例中,优选的,所述对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解具体为:所述用户功能至少包含:用户角色判别,表征业务中的可用用户角色类型;用户信息管理,用以管理用户的基本信息;用户行为,用以确定用户行为;所述转移功能至少包含:数据信息管理,用以管理待转移数据的基本信息;转移管理,用以管理数据转移过程;同步与更新,用以完成数据转移后的处理;所述交互功能至少包含:用户间交互,用以处理用户间的非应用主业务交互(因应用主业务交互已被转移功能所处理);界面交互,用以确定和限制界面交互方式。
在另一个实施例中,优选的,所述按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求具体为:将经二级分解后的功能逻辑按照参数类型化、数据库关联与存储、基本数据传输、特殊数据传输、数据更改、可视化、其它元需求的上述元需求类型进行三级分解。
请注意,参照说明书附图4-5,在实施例中,优选的,将经二级分解后的功能逻辑按照参数类型化、数据库关联与存储、基本数据传输、特殊数据传输、数据更改、可视化、其它元需求的上述元需求类型进行三级分解,具体步骤如下:
步骤101,将功能逻辑进行元分解(metadivision),确定该功能逻辑对应的元需求类型。
例如参见说明书附图4-5,其中,用户角色判别服务功能逻辑,包含对用户角色的预先存储以及预先设置,该功能在系统中属于数据库关联与存储元需求服务;同时,用户角色判别服务功能逻辑需要对用户进行类型化,也即,判定用户的角色类型。例如在工业互联网大数据服务提供系统处理共享租车应用时,用户的角色类型可为呼叫车辆用户、系统客服、被叫车主用户等等。因此,该服务功能逻辑也包含参数类型化元需求服务。当然,其也可能包含一定数据量的数据传输(也即转移服务),此处未示出。
步骤102,依据某一功能逻辑所确定的对应分解元需求集,在元需求映射表中按行给出功能逻辑与其分解为元需求的对应关系,在每一行中,元需求映射表左列给出功能逻辑名称,右侧列给出其被分解为的元需求中的一个且不重复。
例如参照说明书附图4,用户行为功能逻辑至少包含两个元需求服务类型,也即参数类型化、数据库关联与存储,因此,按行给出用户行为功能逻辑与其分解为元需求的对应关系,在每一行中,元需求映射表左列给出用户行为功能逻辑名称,右侧列给出其被分解为的元需求中的一个(参数类型化、数据库关联与存储)且不重复,总计在元需求映射表中占两行。
步骤103,依据负载均衡结果,在元需求映射表中每一行中添加相应元需求处理单元的名称。
每一服务元需求均包含多个对应的元需求处理单元,且这些单元依照一定的负载均衡策略为具有相同元需求的服务任务进行处理,并依据处理单元的空闲程度,更新元需求映射表。例如通过负载均衡,在第一空闲时间内,仅有数据库存储与关联处理单元3空闲或负载较小,则使用该处理单元3进行处理用户行为功能逻辑数据库关联与存储元需求服务,并将该处理单元3添加到元需求映射表对应行右侧第三列中。
步骤104,在元需求映射表分配完毕后,依据各个元需求分配的处理单元对经三级分解后的应用进行服务部署的处理,处理完毕后,返回处理结果至用户。
在另一个实施例中,还公开了一种工业互联网大数据服务提供方法,该方法与上文的一种工业互联网大数据服务提供系统相应;以相应系统用户元需求为依据,将服务分离为元需求映射集,并根据元需求映射表对分离出的元需求映射集进行部署,完成工业互联网大数据服务;所述方法包括使用系统的数据聚合解析层,完成数据采集对象编组、采集器编组、匹配采集、聚合与解析;使用系统的数据处理映像指标层,完成数据与文件的快速处理与吞吐;使用系统的结果集层,进行大数据处理结果集抽取与应用,并提供对使用部署的计费规则;其中:数据聚合解析层包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器,使用中心控制部件为被采集设备进行6位采集ID设置,分配采集ID至平台系统中的各个被采集设备,依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组;所述中心控制部件将具有相同采集ID的多个被采集设备编为一组,分配与其编组相适配的数据采集器,组成采集组集合,以精细化采集数据,防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误,使用数据聚合部件,聚合各个采集组集合的采集数据,采用特定格式的数据报头对数据进行封装处理,组成统一的聚合数据格式,发往数据解析部件;使用数据解析部件,对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置,并进行数据解析,获得分析对象数据。使用系统数据处理映像指标层,包含第一数据映像指标生成部件,用以在数据处理映像指标层处理并存储数据时建立数据存储网格,并同时建立数据映像指标网格,其中,数据映像指标网格与数据存储网格结构一一对应,在平台底层存储介质生成数据存储网格结构时,映像指标网格也在生成;第一数据映像指标操作部件,用于根据用户操作获取对应的处理任务,根据处理任务数据获取相应映像指标网格节点,从而依据映像指标网格与数据存储网格的对应关系获取相应数据存储网格结构节点,并对任务分片,交由相应存储网格结构节点处理并返回处理结果数据;使用系统结果集层,包含第一数据抽取部件,所述第一数据抽取部件包含处理结果探测装置,探测由存储网格结构节点处理完成的结果数据集,并依据存储网格结构对结果数据集进行分类;第一服务提供部件,用于以服务部署方式,将所述第一数据抽取部件抽取出的结果数据集依据其分类,经负载均衡后分发给第二服务提供部件;使用元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表;使用第二服务提供部件;用以根据元需求释义部件的解析结果,接收第一服务提供部件提供的分类结果数据集,将服务分离为元需求映射集,并据此对分离出的元需求映射集进行部署;使用第一计费服务部件,用于以服务时间(S)*服务单元(U)*服务权重系数方式对服务被提供方进行计费,其中服务权重系数由采集组集合相同的采集ID经加权计算而得。
优选的,所述元需求释义部件,用以解析用户功能,获得元需求,对解析后的元需求进行分类,更新元需求映射表,具体为:解析用户功能,将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经二级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求,对解析后的元需求进行分类,更新元需求映射表。
优选的,所述将用户应用展开,按照功能模块对其进行一级分解,将经一级分解后的功能模块按照功能逻辑进行二级分解,再将经二级分解后的功能逻辑按照元需求方式进行三级分解,获得元需求具体为:对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一类业务功能;对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解;按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求。
优选的,其中所述对用户应用依据其应用功能进行一级分解,按照应用中的业务功能将其拆分为多个功能模块,每个功能模块对应于一种业务功能具体为:按照应用功能不同,将其进行一级分解为:用户功能,表征与基本用户有关的功能;转移功能,表征数据流转有关的功能;交互功能,表征应用的交互设计方式;辅助功能,应用主业务之外的其它辅助功能。
优选的,所述对每一类业务功能模块按照其中所包含的业务逻辑进行二级分解具体为:所述用户功能至少包含:用户角色判别,表征业务中的可用用户角色类型;用户信息管理,用以管理用户的基本信息;用户行为,用以确定用户行为;所述转移功能至少包含:数据信息管理,用以管理待转移数据的基本信息;转移管理,用以管理数据转移过程;同步与更新,用以完成数据转移后的处理;所述交互功能至少包含:用户间交互,用以处理用户间的非应用主业务交互(因应用主业务交互已被转移功能所处理);界面交互,用以确定和限制界面交互方式。
优选的,所述按照元需求方式拆分功能逻辑,将功能逻辑进一步分解为多个元需求模块,每个元需求模块代表一种可直接为服务部署线程直接处理的需求具体为:将经二级分解后的功能逻辑按照参数类型化、数据库关联与存储、基本数据传输、特殊数据传输、数据更改、可视化、其它元需求的上述元需求类型进行三级分解。
优选的,将经二级分解后的功能逻辑按照参数类型化、数据库关联与存储、基本数据传输、特殊数据传输、数据更改、可视化、其它元需求的上述元需求类型进行三级分解,具体步骤如下:
步骤101,将功能逻辑进行元分解(metadivision),确定该功能逻辑对应的元需求类型。
例如参见说明书附图4-5,其中,用户角色判别服务功能逻辑,包含对用户角色的预先存储以及预先设置,该功能在系统中属于数据库关联与存储元需求服务;同时,用户角色判别服务功能逻辑需要对用户进行类型化,也即,判定用户的角色类型。例如在工业互联网大数据服务提供系统处理共享租车应用时,用户的角色类型可为呼叫车辆用户、系统客服、被叫车主用户等等。因此,该服务功能逻辑也包含参数类型化元需求服务。当然,其也可能包含一定数据量的数据传输(也即转移服务),此处未示出。
步骤102,依据某一功能逻辑所确定的对应分解元需求集,在元需求映射表中按行给出功能逻辑与其分解为元需求的对应关系,在每一行中,元需求映射表左列给出功能逻辑名称,右侧列给出其被分解为的元需求中的一个且不重复。
例如参照说明书附图4,用户行为功能逻辑至少包含两个元需求服务类型,也即参数类型化、数据库关联与存储,因此,按行给出用户行为功能逻辑与其分解为元需求的对应关系,在每一行中,元需求映射表左列给出用户行为功能逻辑名称,右侧列给出其被分解为的元需求中的一个(参数类型化、数据库关联与存储)且不重复,总计在元需求映射表中占两行。
步骤103,依据负载均衡结果,在元需求映射表中每一行中添加相应元需求处理单元的名称。
每一服务元需求均包含多个对应的元需求处理单元,且这些单元依照一定的负载均衡策略为具有相同元需求的服务任务进行处理,并依据处理单元的空闲程度,更新元需求映射表。例如通过负载均衡,在第一空闲时间内,仅有数据库存储与关联处理单元3空闲或负载较小,则使用该处理单元3进行处理用户行为功能逻辑数据库关联与存储元需求服务,并将该处理单元3添加到元需求映射表对应行右侧第三列中。
步骤104,在元需求映射表分配完毕后,依据各个元需求分配的处理单元对经三级分解后的应用进行服务部署的处理,处理完毕后,返回处理结果至用户。
在所有上述实施方式中,为实现一些特殊的读/写功能的要求,第一服务提供部件、元需求释义部件、第二服务提供部件等等部件可以增加硬件、引脚连接或存储器差异来扩展功能。
虽然本专利申请已经示出并以特定参考描述多个实施例,但应注意的是,在不脱离本发明的范围下,可以进行各种其他的改变或修改。