CN110275771A - 一种业务处理方法、物联网计费基础设施系统及存储介质 - Google Patents
一种业务处理方法、物联网计费基础设施系统及存储介质 Download PDFInfo
- Publication number
- CN110275771A CN110275771A CN201810215456.8A CN201810215456A CN110275771A CN 110275771 A CN110275771 A CN 110275771A CN 201810215456 A CN201810215456 A CN 201810215456A CN 110275771 A CN110275771 A CN 110275771A
- Authority
- CN
- China
- Prior art keywords
- target
- resource
- data
- processing unit
- target service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
Abstract
本发明实施例公开了一种业务处理方法,按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;通过主节点按照预设业务与调度内容的对应关系,确定预设数据库中目标业务对应的目标数据库,以及预设计算资源中目标业务对应的目标计算资源;通过主节点调用目标数据库和目标计算资源,执行目标业务。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种业务处理方法、物联网计费基础设施系统及存储介质。
背景技术
随着物联网的快速发展,其用户规模和业务量不断增大,从而对物联网支撑的核心环节计费系统带来了巨大的挑战。
使用现有的基础设施在进行计费时容易耗费大量时间,甚至很多物联网特征的业务根本无法展开。例如,当前一个分布式数据库可以存放一个账户下挂载百万级用户,但是用于大账户的出账性能受限于账户费用的出账累计,一百万级别的账户处长时长在20个小时左右。或者,因为实时累计账单费用消耗太长时间,百万级别用户的账户不支持未出账费用查询。
造成上述问题的原因在于现有的基础设施系统在面对海量连接、高并发数据时计算能力低下。因此,很多企业开始使用中央处理器(Central Processing Unit,CPU)+图形处理器(Graphics Processing Unit,GPU)异步架构来解决海量计算量计算效率的问题,但是现有技术中,该方法存在着两核心分工不明确、核心通信效率低下等缺陷,计费系统的处理效率较低。
发明内容
为解决上述技术问题,本发明实施例期望提供一种业务处理方法、物联网计费基础设施系统及存储介质,在面对海量连接、高并发数据时,物联网计费基础设施系统具备足够的计算能力进行业务处理,提高了系统处理业务的效率。
本发明的技术方案是这样实现的:
本发明实施例提供了一种业务处理方法,所述方法包括:
按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;
通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;
通过所述主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源;
通过所述主节点调用所述目标数据库和所述目标计算资源,执行所述目标业务。
在上述方案中,所述通过主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源之前,所述方法还包括:
通过所述主节点接收所述目标业务对应的计算资源请求;其中,所述计算资源请求用于申请执行所述目标业务所需的计算资源。
在上述方案中,所述按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库,包括:
基于预设数据特征确定所述原始数据中每一种数据对应的存储方式;
基于预设级别特征确定所述原始数据中每一种数据对应的级别;
根据所述存储方式和所述级别,对所述原始数据中每一种数据进行存储,获得所述预设数据库。
在上述方案中,所述通过所述主节点调用所述目标数据库和所述目标计算资源,执行所述目标业务,包括:
当所述目标计算资源为所述中央处理器和图形处理器资源时,通过所述主节点调用所述中央处理器和图形处理器资源中一部分中央处理器和图形处理器给所述目标业务;
通过所述目标业务自身的调度程序对所述中央处理器和所述图形处理器进行细粒度调度,并调用所述目标数据库,执行所述目标业务。
在上述方案中,所述通过所述目标业务自身的调度程序对所述中央处理器和所述图形处理器进行细粒度调度,并调用所述目标数据库,执行所述目标业务,包括:
基于结构化查询语言,通过所述图形处理器根据所述目标数据库查询目标数据;
通过所述图形处理器将所述目标数据传输至所述中央处理器;
通过所述中央处理器根据所述目标数据执行所述目标业务。
本发明实施例提供了一种物联网计费基础设施系统,所述系统包括:处理器、存储器和通信总线;
所述通信总线用于实现所述处理器和所述存储器之间的连接通信;
所述处理器用于执行所述存储器中存储的业务处理程序,以实现以下步骤:
按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;通过所述主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源;通过所述主节点调用所述目标数据库和所述目标计算资源,执行所述目标业务。
在上述系统中,所述处理器在所述通过主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源之前,还用于执行所述业务处理程序,以实现以下步骤:
通过所述主节点接收所述目标业务对应的计算资源请求;其中,所述计算资源请求用于申请执行所述目标业务所需的计算资源。
在上述系统中,所述处理器,具体用于基于预设数据特征确定所述原始数据中每一种数据对应的存储方式;基于预设级别特征确定所述原始数据中每一种数据对应的级别;根据所述存储方式和所述级别,对所述原始数据中每一种数据进行存储,获得所述预设数据库;
所述处理器,具体用于当所述目标计算资源为所述中央处理器和图形处理器资源时,通过所述主节点调用所述中央处理器和图形处理器资源中一部分中央处理器和图形处理器给所述目标业务;通过所述目标业务自身的调度程序对所述中央处理器和所述图形处理器进行细粒度调度,并调用所述目标数据库,执行所述目标业务。
在上述系统中,所述处理器,具体用于基于结构化查询语言,通过所述图形处理器根据所述目标数据库查询目标数据;通过所述图形处理器将所述目标数据传输至所述中央处理器;通过所述中央处理器根据所述目标数据执行所述目标业务。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可以被一个或者多个处理器执行,以实现上述业务处理方法。
由此可见,在本发明的技术方案中,物联网计费基础设施系统按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;通过主节点按照预设业务与调度内容的对应关系,确定预设数据库中目标业务对应的目标数据库,以及预设计算资源中目标业务对应的目标计算资源;通过主节点调用目标数据库和目标计算资源,执行目标业务。也就是说,在本发明的实施例的技术方案中,物联网计费基础设施系统可以调用合适的目标计算资源和目标数据库执行目标业务,在面对海量连接、高并发数据时,物联网计费基础设施系统具备足够的计算能力进行业务处理,提高了系统处理业务的效率。
附图说明
图1为本发明实施例提供的一种物联网计费系统的功能架构示意图;
图2为本发明实施例提供的一种物联网计费基础设施系统的架构示意图;
图3为本发明实施例提供的一种业务处理方法的流程示意图;
图4为本发明实施例提供的一种示例性的通过细粒度调度和调用目标数据库执行目标业务的流程示意图;
图5本发明实施例提供的一种示例性的GPU基于SQL执行计算操作的对比示意图;
图6为本发明实施例提供的一种物联网计费基础设施系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的实施例中,提供了一种物联网计费基础设施系统。物联网计费基础设施系统,采用GPU流式架构将以往数据只能以批量的形式进行收集与处理,改变为不同的数据类型可以以批或者流的形式进行处理,并利用GPU的异构模式并行计算,使得在处理海量并发计算的时候可以利用GPU的特性最高效的完成数据处理。
图1为本发明实施例提供的一种物联网计费系统的功能架构示意图。如图1所示,在物联网计费系统中,基础设施中计算资源部分,可以基于CPU+GPU异构框架进行计算,从而在根本上解决基础设施系统在面对海量连接、高并发数据时,计算资源上的不足,提高了业务处理的效率。
图2为本发明实施例提供的一种物联网计费基础设施系统的架构示意图。基于图2所示的系统架构,提出一种业务处理方法。
实施例一
本发明实施例提供的一种业务处理方法。图3为本发明实施例提供的一种业务处理方法的流程示意图。如图3所示,主要包括以下步骤:
S301、按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库。
在本发明的实施例中,物联网计费基础设施系统可以按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库。
可以理解的是,物联网计费基础设施系统中存储有海量原始数据,而这些数据类型复杂多样,若将这些数据按照现有技术中以同样的方式进行存储,不加以区分,将会产生存储空间浪费和数据读取效率低下等问题。因此,在本发明的实施例中,采用分而治之的策略,物联网计费基础设施系统将原始数据按照不同类别和不同级别进行存储,获得不同的数据库,避免了存储空间的浪费,并且,可以在一定程度上提高数据的读取效率。
具体的,在本发明的实施例中,物联网计费基础设施系统基于预设数据特征确定原始数据中每一种数据对应的存储方式,并且,基于预设级别特征确定原始数据中每一种数据对应的级别,根据确定的存储方式和级别,对原始数据中每一种数据进行存储,获得预设数据库。
需要说明的是,在本发明的实施例中,可以根据所存储的原始数据确定不同的数据特征和级别特征,具体的预设数据特征和预设级别特征本发明实施例不作限定。
示例性的,如图2所示,在本发明的实施例中,基于数据的读写频率和数据是否可丢失确定原始数据中每一种数据对应的存储方式。其中,将读多写少,并非性能要求高、并发写要求一般,可丢失,主要用于加速访问提高性能的数据,其存储方式确定为高速缓存(Cache),将读多写多,并发读写要求高,不可丢失的数据,其存储方式确定为微软数据库(Microsoft Database,MDB)。基于支持整表级别、支持记录级别和支持字段级别确定原始数据中每一种数据对应的级别。其中,支持整表级别,还可以进一步分为两种场景:支持整个表是否加载内存的设置,例如业务受理的交互日志表。支持记录级别:支持按记录级别是否加载内存的设置,例如按照用户激活状态,空闲用户只存储在物理库,而正在被调用的活跃用户考虑计费实时性,将其加载到内存中。支持字段级别:支持具体记录中具体字段加载内存的设置,例如客户表中客户地址不加载缓存,还是放置在物理库中。物联网计费基础设施系统在确定了原始数据中每一种数据对应的存储方式和级别之后,将具有相同的存储方式的数据存储到一个数据库,例如,将原始数据中系统数据、路由数据和产品资费数据以Cache方式存储,得到Cache数据库,将客户静态资料数据、客户动态运行数据和计费会话数据以MDB方式存储,得到MDB数据库,而在Cache数据库和MDB数据库中,可以基于每一种数据对应的级别,进一步分层存储。具体的,在Cache数据库中将支持整表级别的数据划分为第一层进行存储,将支持记录级别的数据划分为第二层进行存储,将支持字段级别的数据划分为第三层进行存储。
可以理解的是,在本发明的实施例中,物联网计费基础设施系统将原始数据进行详细划分,有利于底层计算资源可以更佳的从不同的数据库,不同的级别获取到适合计算的数据。
S302、通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源。
在本发明的实施例中,主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源,从而提供给不同的业务需求。
需要说明的是,在本发明的实施例中,资源的调度是基于分布式计算框架Mesos,即在物联网计费基础设施系统中,预先设置了主从结构,确定了主节点,即master节点,通过master节点来调度执行目标业务调用目标业务所需的目标计算资源和目标数据库。
具体的,在本发明的实施例中,物联网计费基础设施系统通过master节点首先要对原始计算资源进行打包划分,获得预设计算资源。其中,划分打包是基于中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三个类别。也就是说,master节点将一部分中央处理器打包作为中央处理器资源,即CPU资源,将一部分图形处理器打包作为图形处理器资源,即GPU资源,再将一部分中央处理器和一部分图形处理器打包作为中央处理器和图形处理器资源,即CPU+GPU资源。
可以理解的是,在现有技术中,针对业务处理所调用的资源基本上均为CPU资源,即使采用CPU+GPU的异步架构来解决计算效率的问题时,对于GPU也仅仅是当成一般的计算资源进行管理,往往会造成GPU计算特性的部分丧失,而在本发明的实施例中,将CPU和GPU进行打包划分,可以在调用计算资源时,选择合适的计算资源进行调用,提高了系统处理器业务的效率。
S303、通过主节点按照预设业务与调度内容的对应关系,确定预设数据库中目标业务对应的目标数据库,以及预设计算资源中目标业务对应的目标计算资源。
在本发明的实施例中,在获得预设计算资源之后,master节点可以按照预设业务与调度内容的对应关系,在预设数据库中确定目标业务对应的目标数据库,在预设计算资源中确定目标业务对应的目标计算资源。
可以理解的是,在本发明的实施例中,master节点在确定目标业务对应的目标数据库和目标计算资源之前,可以接收到目标业务对应的计算资源请求,其中,计算资源请求用于申请执行目标业务所需的计算资源,从而master节点才能进一步执行确定目标数据库和目标计算资源的步骤。
需要说明的是,在本发明的实施例中,通过过滤器机制预先对各种业务进行了区分,从而在master节点上对不同的业务设置偏好,即预设业务与调度内容的对应关系,针对不同的业务可以设置不同的调度内容,调度内容实际上就是执行业务所需的数据库和计算资源。具体的预设业务与调度内容的对应关系本发明实施例不作限定。
示例性的,在本发明的实施例中,对于计费等实时性要求高的业务,其预设对应的调度内容为:BoCache数据库,以及GPU资源。因此,当目标业务为计费等实时性要求高的业务时,master节点按照预设业务与调度内容的对应关系,确定目标数据库为BoCache数据库,目标计算资源为GPU资源。
可以理解的是,在本发明的实施例中,通过master节点确定目标业务对应的目标数据库和目标计算资源,从而在后续资源调用的过程中,直接调用适合目标业务的资源,即目标数据库和目标计算资源,也就是将资源调度进行规范化,从而能够更高效的执行目标业务。
S304、通过主节点调用目标数据库和目标计算资源,执行目标业务。
在本发明的实施例中,master节点在确定目标业务对应的目标数据库和目标计算资源之后,进一步调用目标数据库和目标计算资源,以执行目标业务。
需要说明的是,在本发明的实施例中,目标业务对应的目标计算资源可能为CPU资源、GPU资源,以及CPU+GPU资源中的任意一种,对于目标计算资源为CPU资源,说明执行目标业务更适合调用CPU资源,因此,master节点可以调用CPU资源中一部分CPU,并调用目标数据库,执行目标业务,对于目标计算资源为GPU资源,说明执行目标业务更适合调用GPU资源,因此,master节点可以调用GPU资源中一部分GPU,并调用目标数据库,执行目标业务,CPU资源或GPU资源的调用相对单一,直接调用即可,而目标计算资源为CPU+GPU资源时,需要划分CPU和GPU各自执行的操作,进行进一步细化。
具体的,在本发明的实施例中,当目标计算资源为CPU+GPU资源时,master节点调用CPU+GPU资源中一部分CPU和GPU给目标业务,之后,通过目标业务自身的调度程序对CPU和GPU进行细粒度调度,并调用目标数据库,执行目标业务。
可以理解的是,在本发明的实施例中,当目标计算资源为CPU+GPU资源时,通过目标业务自身的调度程序进行细粒度调度,实际上是为CPU和GPU各自分配不同的任务,两者相配合,从而执行目标业务。调度程序可以根据目标业务自身的特性,分配不同的任务给所调用的CPU和GPU,即调用的CPU和GPU各自执行的是符合各自特性的任务,从而更好的为实现目标业务所服务。
需要说明的是,在本发明的实施例中,目标业务自身的调度程序是目标业务所特有的,以进行细粒度调度,因此,具体的细粒度调度本发明实施例不作限定。
图4为本发明实施例提供的一种示例性的通过细粒度调度和调用目标数据库执行目标业务的流程示意图。如图4所示,主要包括以下步骤:
S401、基于结构化查询语言,通过图形处理器根据目标数据库查询目标数据。
在本发明的实施例中,当目标计算资源为CPU+GPU资源时,即通过master节点调用一部分CPU和GPU给目标业务,从而可以基于结构化查询语言(Structured QueryLanguage,SQL),通过调用的GPU执行查询操作。
具体的,在本发明的实施例中,首先要通过调用的CPU进行判定,确定查询是在CPU上执行还是GPU上执行,若判定在GPU上执行查询操作,可以通过代码生成器根据提供的SQL查询,基于统一计算架构语言(Compute Unified Device Architecture,CUDA)创建GPU程序,即从SQL语句转换到CUDA程序,然后通过即时编译器生成GPU二进制文件进行编译,得到GPU-SQL语句,GPU根据GPU-SQL语句从目标数据库中查询目标数据。
需要说明的是,在本发明的实施例中,为了提高GPU在数据传输中的效率,通过远程直接数据存取(Remote Direct Memory Access,RDMA)技术进行通信交互,GPU在基于RDMA的传输方式中,不需要CPU,可以直接与数据库完成交互。
可以理解的是,在本发明的实施例中,基于SQL,可以将CPU的密集型工作,即查询操作卸载到GPU,通过GPU进行异步执行,从而节省了执行复杂查询的响应时间。
S402、通过图形处理器将目标数据传输至中央处理器。
在本发明的实施例中,通过GPU执行查询操作,获得目标数据之后,GPU将目标数据传输至CPU。
可以理解的是,在本发明的实施例中,GPU执行的为查询操作,将查询结果提供给CPU,CPU实际上就是根据GPU的查询结果,执行最终的操作,这一过程减少了CPU所需执行的操作,即释放了CPU的部分资源。
S403、通过中央处理器根据目标数据执行目标业务。
在本发明的实施例中,通过GPU将目标数据传输至CPU,而CPU接收到目标数据之后,就可以根据目标数据执行目标业务。
示例性的,GPU将目标数据传输至CPU,目标业务为删除目标数据,因此,CPU可以将接收到的目标数据删除,即执行了目标业务。
可以理解的是,在本发明的实施例中,GPU通常有成百上千的处理器内核,带宽也比CPU大几倍,可以并行处理大量数值计算,因此基于SQL,利用GPU强大的并行执行能力执行查询操作,可以提供系统处理业务的效率。
图5本发明实施例提供的一种示例性的GPU基于SQL执行计算操作的对比示意图。如图5所示,原有系统中由于CPU能力的限制,执行计算操作工作所需时间较长,而在本发明的系统中,基于SQL的GPU,分担了CPU大量需要执行的计算任务,节省了时间。
本发明实施例提供了一种业务处理方法,物联网计费基础设施系统按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;通过主节点按照预设业务与调度内容的对应关系,确定预设数据库中目标业务对应的目标数据库,以及预设计算资源中目标业务对应的目标计算资源;通过主节点调用目标数据库和目标计算资源,执行目标业务。也就是说,在本发明的实施例的技术方案中,物联网计费基础设施系统可以调用合适的目标计算资源和目标数据库执行目标业务,在面对海量连接、高并发数据时,物联网计费基础设施系统具备足够的计算能力进行业务处理,提高了系统处理业务的效率。
实施例二
图6为本发明实施例提供的一种物联网计费基础设施系统的结构示意图。如图6所示,所述系统包括:处理器601、存储器602和通信总线603;
所述通信总线603用于实现所述处理器601和所述存储器602之间的连接通信;
所述处理器601用于执行所述存储器中存储的业务处理程序,以实现以下步骤:
按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;通过所述主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源;通过所述主节点调用所述目标数据库和所述目标计算资源,执行所述目标业务。
可选的,所述处理器601在所述通过主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源之前,还用于执行所述业务处理程序,以实现以下步骤:
通过所述主节点接收所述目标业务对应的计算资源请求;其中,所述计算资源请求用于申请执行所述目标业务所需的计算资源。
可选的,所述处理器601,具体用于基于预设数据特征确定所述原始数据中每一种数据对应的存储方式;基于预设级别特征确定所述原始数据中每一种数据对应的级别;根据所述存储方式和所述级别,对所述原始数据中每一种数据进行存储,获得所述预设数据库;
所述处理器601,具体用于当所述目标计算资源为所述中央处理器和图形处理器资源时,通过所述主节点调用所述中央处理器和图形处理器资源中一部分中央处理器和图形处理器给所述目标业务;通过所述目标业务自身的调度程序对所述中央处理器和所述图形处理器进行细粒度调度,并调用所述目标数据库,执行所述目标业务。
可选的,所述处理器601,具体用于基于结构化查询语言,通过所述图形处理器根据所述目标数据库查询目标数据;通过所述图形处理器将所述目标数据传输至所述中央处理器;通过所述中央处理器根据所述目标数据执行所述目标业务。
本发明实施例提供了一种物联网计费基础设施系统,按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;通过主节点按照预设业务与调度内容的对应关系,确定预设数据库中目标业务对应的目标数据库,以及预设计算资源中目标业务对应的目标计算资源;通过主节点调用目标数据库和目标计算资源,执行目标业务。也就是说,本发明实施例提供的物联网计费基础设施系统,可以调用合适的目标计算资源和目标数据库执行目标业务,在面对海量连接、高并发数据时,物联网计费基础设施系统具备足够的计算能力进行业务处理,提高了系统处理业务的效率。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可以被一个或者多个处理器执行,以实现上述业务处理。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (10)
1.一种业务处理方法,其特征在于,所述方法包括:
按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;
通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;
通过所述主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源;
通过所述主节点调用所述目标数据库和所述目标计算资源,执行所述目标业务。
2.根据权利要求1所述的方法,其特征在于,所述通过主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源之前,所述方法还包括:
通过所述主节点接收所述目标业务对应的计算资源请求;其中,所述计算资源请求用于申请执行所述目标业务所需的计算资源。
3.根据权利要求1所述的方法,其特征在于,所述按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库,包括:
基于预设数据特征确定所述原始数据中每一种数据对应的存储方式;
基于预设级别特征确定所述原始数据中每一种数据对应的级别;
根据所述存储方式和所述级别,对所述原始数据中每一种数据进行存储,获得所述预设数据库。
4.根据权利要求1所述的方法,其特征在于,所述通过所述主节点调用所述目标数据库和所述目标计算资源,执行所述目标业务,包括:
当所述目标计算资源为所述中央处理器和图形处理器资源时,通过所述主节点调用所述中央处理器和图形处理器资源中一部分中央处理器和图形处理器给所述目标业务;
通过所述目标业务自身的调度程序对所述中央处理器和所述图形处理器进行细粒度调度,并调用所述目标数据库,执行所述目标业务。
5.根据权利要求4所述的方法,其特征在于,所述通过所述目标业务自身的调度程序对所述中央处理器和所述图形处理器进行细粒度调度,并调用所述目标数据库,执行所述目标业务,包括:
基于结构化查询语言,通过所述图形处理器根据所述目标数据库查询目标数据;
通过所述图形处理器将所述目标数据传输至所述中央处理器;
通过所述中央处理器根据所述目标数据执行所述目标业务。
6.一种物联网计费基础设施系统,其特征在于,所述系统包括:处理器、存储器和通信总线;
所述通信总线用于实现所述处理器和所述存储器之间的连接通信;
所述处理器用于执行所述存储器中存储的业务处理程序,以实现以下步骤:
按照预设分类分级规则,对原始数据分类分级后进行存储,获得预设数据库;通过主节点将原始计算资源按照中央处理器资源、图形处理器资源,以及中央处理器和图形处理器资源三类进行打包划分,获得预设计算资源;通过所述主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源;通过所述主节点调用所述目标数据库和所述目标计算资源,执行所述目标业务。
7.根据权利要求6所述的系统,其特征在于,所述处理器在所述通过主节点按照预设业务与调度内容的对应关系,确定所述预设数据库中目标业务对应的目标数据库,以及所述预设计算资源中所述目标业务对应的目标计算资源之前,还用于执行所述业务处理程序,以实现以下步骤:
通过所述主节点接收所述目标业务对应的计算资源请求;其中,所述计算资源请求用于申请执行所述目标业务所需的计算资源。
8.根据权利要求6所述的系统,其特征在于,
所述处理器,具体用于基于预设数据特征确定所述原始数据中每一种数据对应的存储方式;基于预设级别特征确定所述原始数据中每一种数据对应的级别;根据所述存储方式和所述级别,对所述原始数据中每一种数据进行存储,获得所述预设数据库;
所述处理器,具体用于当所述目标计算资源为所述中央处理器和图形处理器资源时,通过所述主节点调用所述中央处理器和图形处理器资源中一部分中央处理器和图形处理器给所述目标业务;通过所述目标业务自身的调度程序对所述中央处理器和所述图形处理器进行细粒度调度,并调用所述目标数据库,执行所述目标业务。
9.根据权利要求8所述的方法,其特征在于,
所述处理器,具体用于基于结构化查询语言,通过所述图形处理器根据所述目标数据库查询目标数据;通过所述图形处理器将所述目标数据传输至所述中央处理器;通过所述中央处理器根据所述目标数据执行所述目标业务。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可以被一个或者多个处理器执行,以实现权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810215456.8A CN110275771B (zh) | 2018-03-15 | 2018-03-15 | 一种业务处理方法、物联网计费基础设施系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810215456.8A CN110275771B (zh) | 2018-03-15 | 2018-03-15 | 一种业务处理方法、物联网计费基础设施系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110275771A true CN110275771A (zh) | 2019-09-24 |
CN110275771B CN110275771B (zh) | 2021-12-14 |
Family
ID=67958123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810215456.8A Active CN110275771B (zh) | 2018-03-15 | 2018-03-15 | 一种业务处理方法、物联网计费基础设施系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110275771B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292223A (zh) * | 2020-01-22 | 2020-06-16 | 北京百度网讯科技有限公司 | 图计算的处理方法、装置、电子设备及存储介质 |
CN111694859A (zh) * | 2020-05-28 | 2020-09-22 | 平安资产管理有限责任公司 | 业务类型数据的处理方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929961A (zh) * | 2012-10-10 | 2013-02-13 | 北京锐安科技有限公司 | 基于构建快速数据分级通道的数据处理方法及其装置 |
US20130147816A1 (en) * | 2011-12-08 | 2013-06-13 | Robert Scott Hartog | Partitioning Resources of a Processor |
CN103197976A (zh) * | 2013-04-11 | 2013-07-10 | 华为技术有限公司 | 异构系统的任务处理方法及装置 |
CN103699496A (zh) * | 2012-09-27 | 2014-04-02 | 株式会社日立制作所 | 分级存储器管理 |
CN104125165A (zh) * | 2014-08-18 | 2014-10-29 | 浪潮电子信息产业股份有限公司 | 一种基于异构集群的作业调度系统及方法 |
US20140347372A1 (en) * | 2010-12-14 | 2014-11-27 | Amazon Technologies, Inc. | Load balancing between general purpose processors and graphics processors |
CN105045670A (zh) * | 2015-09-01 | 2015-11-11 | 浪潮(北京)电子信息产业有限公司 | 中央处理器和图形处理器负载均衡的方法和系统 |
CN105487838A (zh) * | 2015-11-23 | 2016-04-13 | 上海交通大学 | 一种动态可重构处理器的任务级并行调度方法与系统 |
CN105677486A (zh) * | 2016-01-08 | 2016-06-15 | 上海交通大学 | 数据并行处理方法及系统 |
CN106227899A (zh) * | 2016-08-31 | 2016-12-14 | 北京京航计算通讯研究所 | 一种面向物联网大数据的存储和查询方法 |
CN106875647A (zh) * | 2015-12-14 | 2017-06-20 | 西安宇信数据服务有限责任公司 | 一种基于物联网的数据服务系统 |
CN107122244A (zh) * | 2017-04-25 | 2017-09-01 | 华中科技大学 | 一种基于多gpu的图数据处理系统及方法 |
CN107657049A (zh) * | 2017-09-30 | 2018-02-02 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法 |
-
2018
- 2018-03-15 CN CN201810215456.8A patent/CN110275771B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140347372A1 (en) * | 2010-12-14 | 2014-11-27 | Amazon Technologies, Inc. | Load balancing between general purpose processors and graphics processors |
US20130147816A1 (en) * | 2011-12-08 | 2013-06-13 | Robert Scott Hartog | Partitioning Resources of a Processor |
CN103699496A (zh) * | 2012-09-27 | 2014-04-02 | 株式会社日立制作所 | 分级存储器管理 |
CN102929961A (zh) * | 2012-10-10 | 2013-02-13 | 北京锐安科技有限公司 | 基于构建快速数据分级通道的数据处理方法及其装置 |
CN103197976A (zh) * | 2013-04-11 | 2013-07-10 | 华为技术有限公司 | 异构系统的任务处理方法及装置 |
CN104125165A (zh) * | 2014-08-18 | 2014-10-29 | 浪潮电子信息产业股份有限公司 | 一种基于异构集群的作业调度系统及方法 |
CN105045670A (zh) * | 2015-09-01 | 2015-11-11 | 浪潮(北京)电子信息产业有限公司 | 中央处理器和图形处理器负载均衡的方法和系统 |
CN105487838A (zh) * | 2015-11-23 | 2016-04-13 | 上海交通大学 | 一种动态可重构处理器的任务级并行调度方法与系统 |
CN106875647A (zh) * | 2015-12-14 | 2017-06-20 | 西安宇信数据服务有限责任公司 | 一种基于物联网的数据服务系统 |
CN105677486A (zh) * | 2016-01-08 | 2016-06-15 | 上海交通大学 | 数据并行处理方法及系统 |
CN106227899A (zh) * | 2016-08-31 | 2016-12-14 | 北京京航计算通讯研究所 | 一种面向物联网大数据的存储和查询方法 |
CN107122244A (zh) * | 2017-04-25 | 2017-09-01 | 华中科技大学 | 一种基于多gpu的图数据处理系统及方法 |
CN107657049A (zh) * | 2017-09-30 | 2018-02-02 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法 |
Non-Patent Citations (4)
Title |
---|
LEI ZHOU等: "DART-CUDA: A PGAS Runtime System for", 《2015 14TH INTERNATIONAL SYMPOSIUM ON PARALLEL AND DISTRIBUTED COMPUTING》 * |
张剑: "《信息安全技术》", 31 May 2015 * |
汪楠: "基于OpenStack云平台的计算资源动态调度及管理", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
董春涛等: "Hadoop YARN 大数据计算框架及其资源调度机制研究", 《信息通信技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292223A (zh) * | 2020-01-22 | 2020-06-16 | 北京百度网讯科技有限公司 | 图计算的处理方法、装置、电子设备及存储介质 |
CN111292223B (zh) * | 2020-01-22 | 2023-07-25 | 北京百度网讯科技有限公司 | 图计算的处理方法、装置、电子设备及存储介质 |
US11941055B2 (en) | 2020-01-22 | 2024-03-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for graph computing, electronic device and storage medium |
CN111694859A (zh) * | 2020-05-28 | 2020-09-22 | 平安资产管理有限责任公司 | 业务类型数据的处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110275771B (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Warneke et al. | Exploiting dynamic resource allocation for efficient parallel data processing in the cloud | |
US9647955B2 (en) | Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system | |
CN110008018B (zh) | 一种批量任务处理方法、装置及设备 | |
CN110134516A (zh) | 金融数据处理方法、装置、设备及计算机可读存储介质 | |
CN104050042B (zh) | Etl作业的资源分配方法及装置 | |
KR102254809B1 (ko) | 블록체인에 기반한, 자원 공유에 따른 보상 제공하는 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치 | |
CN105159736B (zh) | 一种支持性能分析的SaaS软件部署方案的构建方法 | |
CN109918442A (zh) | 一种数据的处理方法及装置 | |
CN108241722A (zh) | 一种数据处理系统、方法及装置 | |
KR20200023706A (ko) | 스마트 계약을 지원하는 블록체인에 기반한, 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치 | |
CN105786603B (zh) | 一种基于分布式的高并发业务处理系统及方法 | |
CN107463434A (zh) | 一种分布式任务处理方法与设备 | |
CN106354729A (zh) | 一种图数据处理方法、装置和系统 | |
CN110308982A (zh) | 一种共享内存复用方法及装置 | |
CN109558421A (zh) | 基于缓存的数据处理方法、系统、装置及存储介质 | |
CN107402926A (zh) | 一种查询方法以及查询设备 | |
CN103064955A (zh) | 查询规划方法及装置 | |
CN111091358A (zh) | 多支付渠道的统一处理方法及系统 | |
CN110275681A (zh) | 一种数据存储方法及数据存储系统 | |
CN108574645A (zh) | 一种队列调度方法及装置 | |
CN111698233B (zh) | 报文处理方法及装置 | |
CN112365355A (zh) | 实时计算基金估值和风险指标的方法、装置及可读介质 | |
CN110275771A (zh) | 一种业务处理方法、物联网计费基础设施系统及存储介质 | |
CN110489418B (zh) | 一种数据聚合方法和系统 | |
CN111260272A (zh) | 基于库存响应用户请求的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |