CN110427438A - 数据处理方法及其装置、电子设备和介质 - Google Patents
数据处理方法及其装置、电子设备和介质 Download PDFInfo
- Publication number
- CN110427438A CN110427438A CN201910711014.7A CN201910711014A CN110427438A CN 110427438 A CN110427438 A CN 110427438A CN 201910711014 A CN201910711014 A CN 201910711014A CN 110427438 A CN110427438 A CN 110427438A
- Authority
- CN
- China
- Prior art keywords
- transaction
- data
- original
- key
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Abstract
本公开提供了一种应用于数据库的处理方法，该方法包括：接收来自业务系统的原始交易数据，其中，原始交易数据为文本格式；组合多个交易维度，以获得交易维度组合代码；对原始交易数据进行格式转化处理，以获得原始计算数据；以键值对格式在数据库中存储原始计算数据，其中，键值对中的主键是基于交易维度组合代码确定的，键值对中的值是基于与交易维度组合代码对应的原始交易数据确定的；针对统计指标，读取原始计算数据；以及对原始计算数据进行分布式统计处理，以获得统计指标的统计结果。本公开还提供了一种应用于数据库的处理装置，一种电子设备以及一种计算机可读存储介质。
Description
技术领域
本公开涉及大数据处理领域，特别是涉及一种数据处理方法及其装置、电子设备和介质。
背景技术
随着金融领域的不断改革创新，现代商业银行的业务范围早已不再仅仅局限于单一的柜面交易，电子银行、在线支付、第三方支付等基于互联网和信息系统的交易渠道迅速崛起，涉及的服务范围广、业务种类繁多，每日产生的交易量数以亿计。面对各类业务系统海量的交易数据，如何支撑运维人员的多维度查询需求并做到快速展现，提升运维人员在业务性能数据挖掘、分析时的体验，目前业界还没有现成可用的解决方案。
海量的交易数据，如果还是使用传统的关系型数据库存储，一方面，虽然可以通过对所需查询分析的维度构建索引的方式来提升查询效率，但随着数据量的爆炸式增长以及实际业务场景的不确定性，为满足查询需求需要构建的索引会越来越多，使得索引维护的成本越来越高，而数据查询性能反而会大幅降低；另一方面，因为需要支持多维度的组合查询，在查询过程中使用关系型数据库的聚合函数对海量的交易数据进行实时的计算，查询效率将无法预估，对数据的使用方运维人员来说将是一场灾难。
发明内容
有鉴于此，为了解决现有技术中存在的上述技术问题，本公开提供了一种应用于数据库的处理方法及其装置，电子设备及介质，实现交易数据多维度组合查询的支持和查询速度的迅速。可以至少部分克服在现有技术中，查询关系型数据库中存储的海量交易数据时，多维度查询需要构建索引，容易导致索引维护的成本高，使得数据查询性能效率低下的技术问题，达到针对海量交易数据的查询，可以做到既支持多维度查询，又保证高效的查询效率的技术效果。
为实现上述目的，本公开的一个方面提供了一种应用于数据库的处理方法，上述方法包括：接收来自业务系统的原始交易数据，其中，上述原始交易数据为文本格式，组合多个交易维度，以获得交易维度组合代码，对上述原始交易数据进行格式转化处理，以获得原始计算数据，以键值对格式在数据库中存储上述原始计算数据，其中，上述键值对中的主键是基于上述交易维度组合代码确定的，上述键值对中的值是基于与上述交易维度组合代码对应的原始交易数据确定的，针对统计指标，读取上述原始计算数据，以及对上述原始计算数据进行分布式统计处理，以获得上述统计指标的统计结果。
根据本公开的实施例，上述组合多个交易维度，以获得交易维度组合代码包括：针对上述多个交易维度，为各交易维度设置对应的二进制代码，以及组合上述各交易维度对应的二进制代码，获得上述交易维度组合代码。
根据本公开的实施例，上述针对统计指标，读取上述原始计算数据包括：读取上述交易维度组合代码对应的多个主键。
根据本公开的实施例，上述对上述原始计算数据进行分布式统计处理，以获得上述统计指标的统计结果包括：针对各主键，从上述原始计算数据中选择具有相同主键的原始计算数据，以及分布式统计上述具有相同主键的原始计算数据，以获得针对上述统计指标的统计结果。
根据本公开的实施例，上述方法还包括：接收针对上述统计指标的查询请求，其中，上述查询请求携带有至少一个交易维度，对上述至少一个交易维度进行转化处理，以生成对应的主键，以及查询上述主键对应的值，以获得上述统计指标的查询结果。
根据本公开的实施例，上述对上述至少一个交易维度进行转化处理，以生成对应的主键包括对上述至少一个交易维度进行转化处理，以获得对应的交易维度组合代码，以及基于上述交易维度组合代码，生成对应的主键。
根据本公开的实施例，上述交易维度至少包括以下之一：服务器IP、交易代码、地区号、渠道种类、互联机构、终端类型、交易币种。
根据本公开的实施例，上述统计指标至少包括以下之一：交易率、交易量、系统成功率、业务成功率、交易响应时间、交易发生金额。
为实现上述目的，本公开的另一个方面提供了一种应用于数据库的处理装置，上述装置包括：第一接收模块，被配置为接收来自业务系统的原始交易数据，其中，上述原始交易数据为文本格式，组合模块，被配置为组合多个交易维度，以获得交易维度组合代码，第一处理模块，被配置为对上述原始交易数据进行格式转化处理，以获得原始计算数据，存储模块，被配置为以键值对格式在数据库中存储上述原始计算数据，其中，上述键值对中的主键是基于上述交易维度组合代码确定的，上述键值对中的值是基于与上述交易维度组合代码对应的原始交易数据确定的，读取模块，被配置为针对统计指标，读取上述原始计算数据，以及第二处理模块，被配置为对上述原始计算数据进行分布式统计处理，以获得上述统计指标的统计结果。
根据本公开的实施例，上述组合模块包括：设置子模块，被配置为针对上述多个交易维度，为各交易维度设置对应的二进制代码，以及组合子模块，被配置为组合上述各交易维度对应的二进制代码，获得上述交易维度组合代码。
根据本公开的实施例，上述读取模块包括：读取子模块，被配置为读取上述交易维度组合代码对应的多个主键。
根据本公开的实施例，上述第二处理模块包括：选择子模块，被配置为针对各主键，从上述原始计算数据中选择具有相同主键的原始计算数据，以及统计子模块，被配置为分布式统计上述具有相同主键的原始计算数据，以获得针对上述统计指标的统计结果。
根据本公开的实施例，上述方法还包括：第二接收模块，被配置为接收针对上述统计指标的查询请求，其中，上述查询请求携带有至少一个交易维度，第三处理模块，被配置为对上述至少一个交易维度进行转化处理，以生成对应的主键，以及查询模块，被配置为查询上述主键对应的值，以获得上述统计指标的查询结果。
根据本公开的实施例，上述第三处理模块包括：第一处理子模块，被配置为对上述至少一个交易维度进行转化处理，以获得对应的交易维度组合代码，以及生成子模块，被配置为基于上述交易维度组合代码，生成对应的主键。
根据本公开的实施例，上述交易维度至少包括以下之一：服务器IP、交易代码、地区号、渠道种类、互联机构、终端类型、交易币种。
根据本公开的实施例，上述统计指标至少包括以下之一：交易率、交易量、系统成功率、业务成功率、交易响应时间、交易发生金额。
为实现上述目的，本公开的另一方面提供了一种电子设备，包括：一个或多个处理器，存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上上述的方法。
为实现上述目的，本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。
为实现上述目的，本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。
由上可见，与现有技术相比，本公开提出了一种应用于数据库的、高性能的、针对海量数据处理方法及其装置，通过组合多个交易维度，以获得交易维度组合代码，对原始交易数据进行格式转化处理，以获得原始计算数据，以键值对格式在数据库中存储原始计算数据，键值对中的主键是基于交易维度组合代码确定的，键值对中的值是基于与交易维度组合代码对应的原始交易数据确定的，对原始计算数据进行分布式统计处理，以获得统计指标的统计结果，在满足运维人员多维度组合查询需求的同时，大幅提高数据查询的效率，提升运维人员的使用体验。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了本公开实施例的应用于数据库的处理方法及其装置的系统架构；
图2示意性示出了根据本公开实施例的应用于数据库的处理方法的流程图；
图3示意性示出了根据本公开实施例的交易类型计算规则；
图4示意性示出了根据本公开实施例的数据存储结构；
图5示意性示出了根据本公开实施例的计算流程图；
图6示意性示出了根据本公开另一实施例的应用于数据库的处理方法的流程图；
图7示意性示出了根据本公开实施例的数据的查询流程；
图8示意性示出了根据本公开实施例的处理装置的框图；
图9示意性示出了根据本公开实施例的功能结构图；
图10示意性示出了根据本公开又一实施例的实施例的处理装置的框图；以及
图11示意性示出了根据本公开实施例的适于实现上文描述的应用于数据库的处理方法的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了上述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
海量的交易数据，如果还是使用传统的关系型数据库存储，一方面，虽然可通过对所需查询分析的维度构建索引的方式来提升查询效率，但随着数据量的爆炸式增长以及实际业务场景的不确定性，为满足查询需求索引会越建越多，索引维护的成本越来越高，而数据查询性能反而会大幅降低；另一方面，因为需要支持多维度的组合查询，在查询过程中使用关系型数据库的聚合函数对大量数据进行实时的计算，查询效率将无法预估，对数据的使用方运维人员来说将是一场灾难。
为解决交易数据多维度组合查询的效率问题，本公开通过使用Hadoop技术框架下的HBase键值数据库和MapReduce分布式计算框架，提出了一种高性能海量数据处理系统及方法，在满足运维人员多维度组合查询需求的同时，大幅提高数据查询的效率，提升运维人员的使用体验。
具体地，本公开的实施例提供了一种应用于数据库的处理方法以及在处理装置，该方法可以包括：在接收来自业务系统的文本格式的原始交易数据之后，组合多个交易维度，以获得交易维度组合代码，对原始交易数据进行格式转化处理，以获得原始计算数据，以键值对格式在数据库中存储原始计算数据，其中，键值对中的主键是基于交易维度组合代码确定的，键值对中的值是基于与交易维度组合代码对应的原始交易数据确定的，针对统计指标，读取原始计算数据；以及对原始计算数据进行分布式统计处理，以获得统计指标的统计结果。
通过本公开的实施例，通过设计一套完整的交易维度组合代码计算规则，使用hadoop技术框架下的MapReduce分布式计算框架，预先并发进行多个维度的汇总和加权计算；另一方面，将交易维度组合代码作为行键关键字一部分，与指标数据形成键值对存储到键值型数据库HBase中，查询时通过行键进行检索过滤，不管交易维度如何扩展，只需确保计算的效率，都无需维护额外的索引信息，在提升数据检索的效率同时，免去了传统关系型数据库索引维护的成本。
图1示意性示出了本公开实施例的应用于数据库的处理方法及其装置的系统架构。需要说明的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的应用于数据库的处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的应用于数据库的处理装置一般可以设置于服务器105中。本公开实施例所提供的应用于数据库的处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的应用于数据库的处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
随着金融领域的不断改革创新，现代商业银行的业务范围早已不再仅仅局限于单一的柜面交易，电子银行、在线支付、第三方支付等基于互联网和信息系统的交易渠道迅速崛起，涉及的服务范围广、业务种类繁多，每日产生的交易量数以亿计。数据的查询统计需求越来越多，例如，A业务系统当前的交易总量、总交易成功率如何？A业务系统当前在XX地区的交易量、交易成功率如何？A业务系统当前在XX地区XX服务器的交易量、交易成功率如何？本公开提出了一种高性能海量数据处理系统及方法，在满足运维人员多维度组合查询需求的同时，大幅提高数据查询的效率，提升运维人员的使用体验。
本公开提供了一种应用于数据库的处理方法：首先接收来自业务系统的为文本格式原始交易数据。然后，组合多个交易维度，以获得交易维度组合代码。接下来，对原始交易数据进行格式转化处理，以获得原始计算数据。以键值对格式在数据库中存储原始计算数据，其中，键值对中的主键是基于交易维度组合代码确定的，键值对中的值是基于与交易维度组合代码对应的原始交易数据确定的。针对需要统计的统计指标，从数据库中读取原始计算数据，最后对原始计算数据进行分布式统计处理，以获得统计指标的统计结果。
以下参考附图并结合具体实施例详细阐述本公开。
图2示意性示出了根据本公开实施例的应用于数据库的处理方法的流程图。
如图2所示，该方法可以包括操作S210～操作S260。
首先，在操作S210，接收来自业务系统的原始交易数据。
根据本公开的实施例，原始交易数据为文本格式，可以存储在传统的关系型数据库中，该关系型数据库以行为单位存储数据，以行为单位的读入处理。查询分析数据需要构建索引，随着数据量的爆炸式增长以及实际业务场景的不确定性，为满足查询需求需要构建的索引会越来越多，使得索引维护的成本越来越高。而且使用关系型数据库的聚合函数对大量数据进行实时计算，查询效率将无法预估。接下来，在操作S220，组合多个交易维度，以获得交易维度组合代码。
通过对各类业务系统的原始交易数据的分析，本公开将各业务应用系统的交易数据抽象出多个交易维度。
作为一种可选的实施例，本公开的交易维度至少包括以下之一：服务器IP、交易代码、地区号、渠道种类、互联机构、终端类型、交易币种。
需要理解的是，以上仅为交易维度的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以有其他交易维度。
作为一种可选的实施例，组合多个交易维度，以获得交易维度组合代码包括：针对多个交易维度，为各交易维度设置对应的二进制代码；以及组合各交易维度对应的二进制代码，获得交易维度组合代码。
图3示意性示出了根据本公开实施例的交易类型计算规则。
如图3所示，通过7位的二进制来分别表示服务器IP、交易代码、地区号、渠道种类、互联机构、终端类型和交易币种这7个维度，0表示汇总，1表示明细。
然后，在操作S230，对原始交易数据进行格式转化处理，以获得原始计算数据。
在操作S240，以键值对格式在数据库中存储原始计算数据。
本公开的数据库可以是结构化数据的分布式存储系统，例如可以是基于Haddoop技术的数据库，简称为Hbase，与传统的关系型数据库不同的是，Hbase是基于列的开源数据库，Hbase利用Hadhoop HDFS作为其文件存储系统，利用Hadhoop MapRedece处理Hbase中的海量数据。数据表以表&列簇(Table&Column Family)的形式存储，其中，行键(Row Key)是Table的主键，Table中的记录默认按照Row Key升序排列。Table在水平方向上由一个或多个Column Family组成，一个Column Family中可以由任意多个Column组成，即ColumnFamily支持动态扩展，无需预先定义Column的数量以及类型，Column均以二进制格式存储。表模式定义只能列族，即键值对。一个表有多个列族以及每一个列族可以有任意数量的列。简言之，在一个Hbase中，表是行的集合，行是列族的集合，列族是列的集合，列是键值对的集合。
根据本公开的实施例，键值对中的主键是基于交易维度组合代码确定的，键值对中的值是基于与交易维度组合代码对应的原始交易数据确定的。
例如，0000000(十进制0)表示按照所有维度汇总，即计算应用整体的交易总量、平均响应时间、平均系统成功率、平均交易金额。100000(十进制32)表示按照服务器IP维度进行汇总计算。以此类推，通过十进制数0～127分别代表这128种组合规则。
图4示意性示出了根据本公开实施例的数据存储结构。
如图4所示，交易数据汇总计算后最后存储的数据结构，其中，应用+交易维度组合代码+时间戳组成行键(Row Key)，作为记录检索时的主键+交易维度+指标数据的格式进行平铺存储。每次数据操作对应的时间戳，可以看做是数据的版本号。
在操作S250，针对统计指标，读取原始计算数据。
作为一种可选的实施例，统计指标至少包括以下之一：交易率、交易量、系统成功率、业务成功率、交易响应时间、交易发生金额。
作为一种可选的实施例，针对统计指标，读取原始计算数据包括：读取交易维度组合代码对应的多个主键。
在操作S260，对原始计算数据进行分布式统计处理，以获得统计指标的统计结果。
通过本公开的实施例，将交易维度组合代码作为行键关键字一部分，与指标数据形成键值对存储到键值型数据库HBase中，查询时通过行键进行检索过滤，不管交易维度如何扩展，只需确保计算的效率，都无需维护额外的索引信息，在提升数据检索的效率同时，免去了传统关系型数据库索引维护的成本。
作为一种可选的实施例，对原始计算数据进行分布式统计处理，以获得统计指标的统计结果包括：针对各主键，从原始计算数据中选择具有相同主键的原始计算数据；以及分布式统计具有相同主键的原始计算数据，以获得针对统计指标的统计结果。详细的分布式统计处理的流程见图5的相关描述。
图5示意性示出了根据本公开实施例的计算流程图。
如图5所示，该计算流程可以包括操作S510～操作S530。
在操作S510：初始化最细粒度交易数据，将数据加载到Hadoop的HDFS分布式文件系统，作为系统的原始计算数据。
在操作S520：充分利用Hadoop集群资源，启动多个并发作业进行数据的计算操作。其中，每个并行作业的任务有可以包括操作S521～操作S523。
在操作S521：对原始数据进行Map操作，将原始的文本数据转化为键值对格式的数据。其中Key值为应用+0～2维的交易维护组合，如果是0维，即在应用维度上进行整体汇总，则Key值为应用；如果是1维，则Key值为应用+服务器IP，应用+交易代码等；如果是2维，则Key值为应用+服务器IP+交易代码等。
例如，原始数据(data)如下所示，包括四条数据，每条数据均按照多个字段的顺序排列，其中，多个字段分别表示：时间戳←IP←应用←交易代码←地区号←渠道←互联机构←终端类型←交易币种←交易量←系统成功笔数←业务成功笔数←响应时间←交易金额。
[20171013134400←192.168.0.1←F-ABC←00022←0←404←←←←2←2←1←40.0←0.020171013134400←192.168.0.1←F-ABC←00023←0←404←←←←3←3←2←50.0←0.020171013134400←192.168.0.2←F-ABC←00024←0←404←←←←4←4←2←60.0←0.020171013134400←192.168.0.2←F-ABC←00025←0←404←←←←5←5←3←70.0←0.0]
以第一条原始数据为例，其中，“←”代表分隔符，对应ASCII码27，20171013134400表示时间戳，192.168.0.1表示IP，F-ABC表示应用，00022表示交易代码，0表示地区号，404表示渠道，2表示交易量，2表示系统成功笔数，1表示业务成功笔数，40.0表示响应时间，0.0表示交易金额。
若按照应用+服务器IP的维度对上述4条原始数据进行统计，则原始数据被重组为：
data＝[key＝20171013134400←192.168.0.1←F-ABC，value＝20171013134400←192.168.0.1←F-ABC←00022←0←404←←←←2←2←1←40.0←0.0key＝20171013134400←192.168.0.1←F-ABC，value＝20171013134400←192.168.0.1←F-ABC←00023←0←404←←←←3←3←2←50.0←0.0key＝20171013134400←192.168.0.2←F-ABC，value＝20171013134400←192.168.0.2←F-ABC←00024←0←404←←←←4←4←2←60.0←0.0key＝20171013134400←192.168.0.2←F-ABC，value＝20171013134400←192.168.0.2F-ABC←00025←0←404←5←5←3←70.0←0.0]
对Map后的数据进行shuffle操作，即对同一Key值的数据进行分类归并，转化成新的<Key，Value>类型的键值对数据，其中Value为同一组数据的集合。即将数据进一步转化如下形式：
data＝[key＝20171013134400←192.168.0.1←F-ABC，value＝[20171013134400←192.168.0.1←F-ABC←00022←0←404←←←←2←2←1←40.0←0.020171013134400←192.168.0.1←F-ABC←00023←0←404←←←←3←3←2←50.0←0.0]key＝20171013134400←192.168.0.2←F-ABC，value＝[20171013134400←192.168.0.2←F-ABC←00024←0←404←←←←4←4←2←60.0←0.020171013134400←192.168.0.2←F-ABC←00025←0←404←←←←5←5←3←70.0←0.0]]
在操作S522：进行Reduce操作，以每个键值对对象为处理单位，循环遍历每个键值对中的Value列表进行汇总计算及加权平均操作，分别计算各统计指标的统计结果。其中，交易总量、平均交易响应时间、平均交易成功率和平均交易金额的计算公式如下所示。
交易总量＝∑交易笔数
计算后形成新的<Key，Value>类型的结果数据，其中Key为应用+交易维度组合+时间戳，Value为计算后的量化的各指标数据。即如上数据应用+服务器IP维度计算，交易维度组＝64，最终结果数据如下：
data＝[key＝F-ABC6420171013134400，value＝192.168.0.1510.620.00.0key＝F-ABC6420171013134400，value＝192.168.0.2910.5614.440.0]
在操作S523：将计算后的键值对数据，按照图4的数据结构组合生成行键后存入Hadoop的HBase数据库的结果表中，供实时查询展现使用。
在操作S530：并行处理，以得到最终的处理结果。
图6示意性示出了根据本公开另一实施例的应用于数据库的处理方法的流程图。
如图6所示，该方法除了可以包括前述操作S210～操作S260之外，还可以包括操作S610～操作S630。
在操作S610，接收针对统计指标的查询请求。
根据本公开的实施例，查询请求携带有至少一个交易维度。例如，查询应用在某一时刻的汇总的交易数据，即查询0维度的数据。
在操作S620，对至少一个交易维度进行转化处理，以生成对应的主键。
作为一种可选的实施例，对至少一个交易维度进行转化处理，以生成对应的主键包括：对至少一个交易维度进行转化处理，以获得对应的交易维度组合代码；以及基于交易维度组合代码，生成对应的主键。
根据本公开的实施例，由于Hbase数据库不支持条件查询，仅支持按照行键的查询，主键的查询，因为，需要对查询请求中的交易维度进行转换，生成对应的主键，以命中数据。
在操作S630，查询主键对应的值，以获得统计指标的查询结果。
根据本公开的实施例，根据主键，可以查询到与其对应的统计结果，不需要像关系数据库那样实时计算统计，查询效果得以提升，提升运维人员的使用体验。图7示意性示出了根据本公开实施例的数据的查询流程。
如图7所示，该数据查询方法包括操作S710～操作S770。
用户选择相关的查询条件后，比如查询应用某一个时刻的汇总的交易数据，即查询0维度的数据，数据的检索过程按照如下步骤进行。
在操作S710，获取用户的查询条件，具体为应用，交易维度和时间戳；
在操作S720，通过调用规则生成模块将用户的交易维度条件转化为交易维度组合代码；
在操作S730，在获取交易维度组合代码后，以应用+交易维度组合代码+时间戳的组生成实际的数据库查询key值，发往HBase数据库进行数据检索。
在操作S740，HBase数据库根据查询条件键值去检索数据表的行键。
在操作S750，最终命中结果数据。
在操作S760，将数据的详细信息返回。
在操作S770，根据检索到的数据通过列表和图表等多种方式展现给用户。
需要说明的是，无论是1维查询还是2维查询，相关数据的查询与检索获取方式都与上述流程一致，最终都转化为通过行键去检索，查询结果数据可以实现秒级获取，大幅提升在海量数据中检索目标数据的检索效率，提升生产运维人员的使用体验。
图8示意性示出了根据本公开实施例的处理装置的框图。
如图8所示，该装置包括第一接收模块810、组合模块820、第一处理模块830、存储模块840、读取模块850以及第二处理模块860。
第一接收模块88，被配置为执行例如前述操作S210，接收来自业务系统的原始交易数据，其中，原始交易数据为文本格式。
组合模块820，被配置为执行例如前述操作S220，组合多个交易维度，以获得交易维度组合代码。
第一处理模块830，被配置为执行例如前述操作S230，对原始交易数据进行格式转化处理，以获得原始计算数据。
存储模块840，被配置为执行例如前述操作S240，以键值对格式在数据库中存储原始计算数据，其中，键值对中的主键是基于交易维度组合代码确定的，键值对中的值是基于与交易维度组合代码对应的原始交易数据确定的。
读取模块850，被配置为执行例如前述操作S250，针对统计指标，读取原始计算数据。
第二处理模块860，被配置为执行例如前述操作S260，对原始计算数据进行分布式统计处理，以获得统计指标的统计结果。
通过本公开的实施例，将交易维度组合代码作为行键关键字一部分，与指标数据形成键值对存储到键值型数据库HBase中，查询时通过行键进行检索过滤，不管交易维度如何扩展，只需确保计算的效率，都无需维护额外的索引信息，在提升数据检索的效率同时，免去了传统关系型数据库索引维护的成本。
图9示意性示出了根据本公开实施例的功能结构图。
如图9所示，该功能结构包括数据初始化模块910、规则生成模块920、数据计算模块930以及数据展现模块940。
数据初始化模块910，负责对最细粒度的交易数据进行初始化，并加载到Hadoop的分布式文件系统HDFS中。
规则生成模块920，本模块根据图2所示的交易维度组合代码生成各维度代码，并通过参数控制实际需计算维度组合层次。通过综合考虑实际的业务场景以及计算的时效性和数据量情况，本发明目前支持2个维度的数据聚合计算，最终需汇总计算1+7+21种类型的交易维度组合。
数据计算模块930，通过MapReduce分布式计算框架并行每种维度组合的指标数据：交易总量、平均交易响应时间、平均成功率和平均交易金额。
数据展现模块940，提供灵活的查询功能，支持查询各应用0～2个维度的交易数据，并提供基本的趋势分析和性能预测功能。
图10示意性示出了根据本公开又一实施例的实施例的处理装置的框图。
如图10所示，该装置除了可以包括前述第一接收模块810、组合模块820、第一处理模块830、存储模块840、读取模块850以及第二处理模块860之外，还可以包括第二接收模块1010、第三处理模块1020以及查询模块1030。
第二接收模块1010，被配置为执行例如前述操作S610，接收针对统计指标的查询请求，其中，查询请求携带有至少一个交易维度。
第三处理模块1020，被配置为执行例如前述操作S620，对至少一个交易维度进行转化处理，以生成对应的主键。
查询模块1030，被配置为执行例如前述操作S630，查询主键对应的值，以获得统计指标的查询结果。
需要说明的是，应用于数据库的处理装置部分的实施例方式与应用于数据库的处理装置方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。
根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一接收模块810、组合模块820、第一处理模块830、存储模块840、读取模块850以及第二处理模块860、第二接收模块1010、第三处理模块1020以及查询模块1030中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一接收模块810、组合模块820、第一处理模块830、存储模块840、读取模块850以及第二处理模块860、第二接收模块1010、第三处理模块1020以及查询模块1030中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一接收模块810、组合模块820、第一处理模块830、存储模块840、读取模块850以及第二处理模块860、第二接收模块1010、第三处理模块1020以及查询模块1030中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图11示意性示出了根据本公开实施例的适于实现上文描述的应用于数据库的处理方法的电子设备的框图。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，根据本公开实施例的计算机系统1100包括处理器1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1103中，存储有系统1100操作所需的各种程序和数据。处理器1101、ROM1102以及RAM 1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM 1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统1100还可以包括输入/输出(I/O)接口1105，输入/输出(I/O)接口1105也连接至总线1104。系统1100还可以包括连接至I/O接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM 1103和/或ROM 1102和RAM 1103以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (12)
1.一种应用于数据库的处理方法，所述方法包括：
接收来自业务系统的原始交易数据，其中，所述原始交易数据为文本格式；
组合多个交易维度，以获得交易维度组合代码；
对所述原始交易数据进行格式转化处理，以获得原始计算数据；
以键值对格式在数据库中存储所述原始计算数据，其中，所述键值对中的主键是基于所述交易维度组合代码确定的，所述键值对中的值是基于与所述交易维度组合代码对应的原始交易数据确定的；
针对统计指标，读取所述原始计算数据；以及
对所述原始计算数据进行分布式统计处理，以获得所述统计指标的统计结果。
2.根据权利要求1所述的方法，其中，所述组合多个交易维度，以获得交易维度组合代码包括：
针对所述多个交易维度，为各交易维度设置对应的二进制代码；以及
组合所述各交易维度对应的二进制代码，获得所述交易维度组合代码。
3.根据权利要求1所述的方法，其中，所述针对统计指标，读取所述原始计算数据包括：
读取所述交易维度组合代码对应的多个主键。
4.根据权利要求3所述的方法，其中，所述对所述原始计算数据进行分布式统计处理，以获得所述统计指标的统计结果包括：
针对各主键，从所述原始计算数据中选择具有相同主键的原始计算数据；以及
分布式统计所述具有相同主键的原始计算数据，以获得针对所述统计指标的统计结果。
5.权利要求1所述的方法，其中，所述方法还包括：
接收针对所述统计指标的查询请求，其中，所述查询请求携带有至少一个交易维度；
对所述至少一个交易维度进行转化处理，以生成对应的主键；以及
查询所述主键对应的值，以获得所述统计指标的查询结果。
6.根据权利要求5所述的方法，其中，所述对所述至少一个交易维度进行转化处理，以生成对应的主键包括：
对所述至少一个交易维度进行转化处理，以获得对应的交易维度组合代码；以及
基于所述交易维度组合代码，生成对应的主键。
7.根据权利要求1所述的方法，其中，所述交易维度至少包括以下之一：
服务器IP、交易代码、地区号、渠道种类、互联机构、终端类型、交易币种。
8.根据权利要求1所述的方法，其中，所述统计指标至少包括以下之一：
交易率、交易量、系统成功率、业务成功率、交易响应时间、交易发生金额。
9.一种应用于数据库的处理装置，所述装置包括：
第一接收模块，被配置为接收来自业务系统的原始交易数据，其中，所述原始交易数据为文本格式；
组合模块，被配置为组合多个交易维度，以获得交易维度组合代码；
第一处理模块，被配置为对所述原始交易数据进行格式转化处理，以获得原始计算数据；
存储模块，被配置为以键值对格式在数据库中存储所述原始计算数据，其中，所述键值对中的主键是基于所述交易维度组合代码确定的，所述键值对中的值是基于与所述交易维度组合代码对应的原始交易数据确定的；
读取模块，被配置为针对统计指标，读取所述原始计算数据；以及
第二处理模块，被配置为对所述原始计算数据进行分布式统计处理，以获得所述统计指标的统计结果。
10.根据权利要求9所述的装置，其中，所述装置还包括：
第二接收模块，被配置为接收针对所述统计指标的查询请求，其中，所述查询请求携带有至少一个交易维度；
第三处理模块，被配置为对所述至少一个交易维度进行转化处理，以生成对应的主键；以及
查询模块，被配置为查询所述主键对应的值，以获得所述统计指标的查询结果。
11.一种电子设备，包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910711014.7A CN110427438A (zh) | 2019-07-30 | 2019-07-30 | 数据处理方法及其装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910711014.7A CN110427438A (zh) | 2019-07-30 | 2019-07-30 | 数据处理方法及其装置、电子设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110427438A true CN110427438A (zh) | 2019-11-08 |
Family
ID=68413752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910711014.7A Pending CN110427438A (zh) | 2019-07-30 | 2019-07-30 | 数据处理方法及其装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427438A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111343181A (zh) * | 2020-02-26 | 2020-06-26 | 中国邮政储蓄银行股份有限公司 | 报文的处理方法，系统以及数据池和计算机可读存储介质 |
| CN111930604A (zh) * | 2020-08-14 | 2020-11-13 | 中国工商银行股份有限公司 | 联机交易性能分析方法及装置、电子设备和可读存储介质 |
| CN111967959A (zh) * | 2020-08-17 | 2020-11-20 | 中国银行股份有限公司 | 资金流向统计方法及装置 |
| CN112199206A (zh) * | 2020-08-28 | 2021-01-08 | 杭州数云信息技术有限公司 | 基于事件机制模板对实时流事件配置化处理方法及系统 |
| CN112416927A (zh) * | 2020-11-10 | 2021-02-26 | 北京五八信息技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112905587A (zh) * | 2019-12-04 | 2021-06-04 | 北京金山云网络技术有限公司 | 数据库的数据管理方法、装置及电子设备 |
| CN113379551A (zh) * | 2021-07-02 | 2021-09-10 | 华青融天(北京)软件股份有限公司 | 交易数据分析方法、装置及电子设备 |
| CN113704262A (zh) * | 2021-08-27 | 2021-11-26 | 深圳市路通网络技术有限公司 | 一种业务数据存储方法、装置、设备及可读存储介质 |
| CN113918623A (zh) * | 2021-11-23 | 2022-01-11 | 中原银行股份有限公司 | 风控相关行为的次数计算方法及其装置 |
| WO2023065134A1 (en) * | 2021-10-20 | 2023-04-27 | Paypal, Inc. | Database management using sort keys |
| CN112905587B (zh) * | 2019-12-04 | 2024-05-14 | 北京金山云网络技术有限公司 | 数据库的数据管理方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103200269A (zh) * | 2013-04-12 | 2013-07-10 | 亿赞普(北京)科技有限公司 | 互联网信息统计方法及系统 |
| CN104615765A (zh) * | 2015-02-13 | 2015-05-13 | 中国联合网络通信集团有限公司 | 一种移动用户上网记录的数据处理方法及装置 |
| CN107169070A (zh) * | 2017-05-08 | 2017-09-15 | 山大地纬软件股份有限公司 | 一种基于大数据的社保指标仓库的构建系统及其方法 |
| CN107729399A (zh) * | 2017-09-21 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 数据处理的方法和装置 |
| CN110019258A (zh) * | 2017-09-12 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 处理订单数据的方法和装置 |
| US10447661B1 (en) * | 2016-12-23 | 2019-10-15 | Iqvia Inc. | System and method for privacy-preserving genomic data analysis |
-
2019
- 2019-07-30 CN CN201910711014.7A patent/CN110427438A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103200269A (zh) * | 2013-04-12 | 2013-07-10 | 亿赞普(北京)科技有限公司 | 互联网信息统计方法及系统 |
| CN104615765A (zh) * | 2015-02-13 | 2015-05-13 | 中国联合网络通信集团有限公司 | 一种移动用户上网记录的数据处理方法及装置 |
| US10447661B1 (en) * | 2016-12-23 | 2019-10-15 | Iqvia Inc. | System and method for privacy-preserving genomic data analysis |
| CN107169070A (zh) * | 2017-05-08 | 2017-09-15 | 山大地纬软件股份有限公司 | 一种基于大数据的社保指标仓库的构建系统及其方法 |
| CN110019258A (zh) * | 2017-09-12 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 处理订单数据的方法和装置 |
| CN107729399A (zh) * | 2017-09-21 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 数据处理的方法和装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905587A (zh) * | 2019-12-04 | 2021-06-04 | 北京金山云网络技术有限公司 | 数据库的数据管理方法、装置及电子设备 |
| CN112905587B (zh) * | 2019-12-04 | 2024-05-14 | 北京金山云网络技术有限公司 | 数据库的数据管理方法、装置及电子设备 |
| CN111343181A (zh) * | 2020-02-26 | 2020-06-26 | 中国邮政储蓄银行股份有限公司 | 报文的处理方法，系统以及数据池和计算机可读存储介质 |
| CN111343181B (zh) * | 2020-02-26 | 2022-08-09 | 中国邮政储蓄银行股份有限公司 | 报文的处理方法，系统以及数据池和计算机可读存储介质 |
| CN111930604A (zh) * | 2020-08-14 | 2020-11-13 | 中国工商银行股份有限公司 | 联机交易性能分析方法及装置、电子设备和可读存储介质 |
| CN111930604B (zh) * | 2020-08-14 | 2023-11-10 | 中国工商银行股份有限公司 | 联机交易性能分析方法及装置、电子设备和可读存储介质 |
| CN111967959B (zh) * | 2020-08-17 | 2023-09-19 | 中国银行股份有限公司 | 资金流向统计方法及装置 |
| CN111967959A (zh) * | 2020-08-17 | 2020-11-20 | 中国银行股份有限公司 | 资金流向统计方法及装置 |
| CN112199206A (zh) * | 2020-08-28 | 2021-01-08 | 杭州数云信息技术有限公司 | 基于事件机制模板对实时流事件配置化处理方法及系统 |
| CN112199206B (zh) * | 2020-08-28 | 2023-12-26 | 杭州数云信息技术有限公司 | 基于事件机制模板对实时流事件配置化处理方法及系统 |
| CN112416927A (zh) * | 2020-11-10 | 2021-02-26 | 北京五八信息技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN113379551A (zh) * | 2021-07-02 | 2021-09-10 | 华青融天(北京)软件股份有限公司 | 交易数据分析方法、装置及电子设备 |
| CN113704262A (zh) * | 2021-08-27 | 2021-11-26 | 深圳市路通网络技术有限公司 | 一种业务数据存储方法、装置、设备及可读存储介质 |
| WO2023065134A1 (en) * | 2021-10-20 | 2023-04-27 | Paypal, Inc. | Database management using sort keys |
| CN113918623B (zh) * | 2021-11-23 | 2022-12-02 | 中原银行股份有限公司 | 风控相关行为的次数计算方法及其装置 |
| CN113918623A (zh) * | 2021-11-23 | 2022-01-11 | 中原银行股份有限公司 | 风控相关行为的次数计算方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427438A (zh) | 数据处理方法及其装置、电子设备和介质 | |
| US10349210B2 (en) | Scaling out moving objects for geo-fence proximity determination | |
| CN102782681B (zh) | 用于支持用户内容馈送的机制 | |
| US10853847B2 (en) | Methods and systems for near real-time lookalike audience expansion in ads targeting | |
| CN109947668B (zh) | 存储数据的方法和装置 | |
| CN110147398A (zh) | 一种数据处理方法、装置、介质和电子设备 | |
| CN110019350A (zh) | 基于配置信息的数据查询方法和装置 | |
| CN109614402B (zh) | 多维数据查询方法和装置 | |
| CN109189835A (zh) | 实时生成数据宽表的方法和装置 | |
| CN109034988B (zh) | 一种会计分录生成方法和装置 | |
| CN107229718A (zh) | 处理报表数据的方法和装置 | |
| CN103380421A (zh) | 用于图形数据的分布式缓存 | |
| CN110334091A (zh) | 一种数据分片分布式处理方法、系统、介质和电子设备 | |
| CN109388654A (zh) | 一种查询数据表的方法和装置 | |
| CN108804447A (zh) | 利用缓存响应数据请求的方法和系统 | |
| CN109359142A (zh) | 一种数据处理方法、数据处理装置、计算机设备及可读存储介质 | |
| US20220122124A1 (en) | Method of recommending content, electronic device, and computer-readable storage medium | |
| CN110019367A (zh) | 一种统计数据特征的方法和装置 | |
| CN110110196A (zh) | 一种消息推送方法和装置 | |
| Bellini et al. | Managing Complexity of Data Models and Performance in Broker-Based Internet/Web of Things Architectures | |
| CN109754273A (zh) | 提升活跃用户数量的方法和装置 | |
| CN113360500A (zh) | 数据处理方法及装置、存储介质、电子设备 | |
| CN107729394A (zh) | 基于Hadoop集群的数据集市管理系统及其使用方法 | |
| CN109947736A (zh) | 实时计算的方法和系统 | |
| CN110020271A (zh) | 用于缓存管理的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |
|
| RJ01 | Rejection of invention patent application after publication |