CN111382182A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111382182A CN111382182A CN202010196337.XA CN202010196337A CN111382182A CN 111382182 A CN111382182 A CN 111382182A CN 202010196337 A CN202010196337 A CN 202010196337A CN 111382182 A CN111382182 A CN 111382182A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- query
- database
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 79
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 29
- 238000007405 data analysis Methods 0.000 claims description 17
- 238000007619 statistical method Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 abstract description 11
- 238000000926 separation method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000002411 adverse Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000233805 Phoenix Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据处理方法、装置、电子设备及存储介质。本申请提供的数据处理方法，首先获取查询请求，其中，查询请求包括用户对业务数据的查询需求。然后通过实时数据传输模块从预设数据库获取电商系统运行中所产生的业务数据，并将所获取到的业务数据存储至区别于预设数据库的查询数据库，再根据查询需求以及查询数据库确定数据处理结果。从而实现了业务数据的读写分离，并能够实时、快速地根据业务数据确定满足查询需求的相应数据，极大地降低了预设数据库的数据处理压力，有利于电商系统的自身运维，进而提高了电商系统的使用体验。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
随着电商行业的快速发展，电商业务的访问量以及交易量正在日益增加，随之产生了海量的业务数据。而对海量业务数据进行分析尤为重要，例如，获取用户对某项业务内容的浏览量，对浏览量进行分析，则能够根据不同用户的偏好丰富业务内容，为用户提供更好的业务体验。可见，根据各种查询需求获取业务数据具有重要的应用价值。
目前，电商系统中，将业务内容、业务日志表以及完成各种业务内容所产生的业务数据均存储于同一数据库。当需要获得相关业务数据时，则需根据查询需求直接进入数据库，在该数据库中进行相应的操作以确定相应的业务数据。
然而，当前的业务数据量日益剧增，查询频次变得更加频繁，查询需求变得更加多样，现有的业务数据的确定模式对数据库正常的业务运行造成了巨大的数据处理压力，同时也对其响应能力产生了影响，进而，对电商系统的运维以及用户体验均造成不良影响。
发明内容
本申请提供一种数据处理方法、装置、电子设备及存储介质，用于解决现有业务数据的获取模式会对业务系统的运维以及用户使用带来不良影响的技术问题。
第一方面，本申请提供一种数据处理方法，包括：
获取查询请求，所述查询请求包括用户对业务数据的查询需求；
通过实时数据传输模块从预设数据库获取所述业务数据，并将所获取的所述业务数据存储至查询数据库；
根据所述查询需求以及所述查询数据库确定数据处理结果。
在一种可能的设计中，在所述通过实时数据传输模块从预设数据库获取所述业务数据，并将获取的所述业务数据存储至查询数据库之前，还包括：
将业务内容以及业务日志表存储至所述预设数据库，所述业务日志表与所述查询需求之间具有预设映射关系；
根据业务访问请求、所述业务内容以及所述业务日志表确定所述业务数据，并将所述业务数据存储至所述预设数据库，其中，所述业务访问请求用于访问所述业务内容。
在一种可能的设计中，所述根据所述查询需求以及所述查询数据库确定数据处理结果，包括：
通过预设数据分析模块对所述业务数据进行统计分析得到数据处理结果，并将所述数据处理结果存储至所述查询数据库；
根据所述查询需求以及预设查询接口获取所述数据处理结果，所述预设数据分析模块包括预设查询接口。
可选地，所述数据处理方法，还包括：
根据所述查询数据库以及所述业务数据确定索引，所述索引用于分类存储所述业务数据。
可选地，所述查询数据库包括结构化语言查询模块。
可选地，所述预设查询接口包括分布式服务框架。
第二方面，本申请提供一种数据处理装置，包括：
请求获取模块，用于获取查询请求，所述查询请求包括用户对业务数据的查询需求；
数据获取与存储模块，用于通过实时数据传输模块从预设数据库获取所述业务数据，并将所获取的所述业务数据存储至查询数据库；
第一处理模块，用于根据所述查询需求以及所述查询数据库确定数据处理结果。
在一种可能的设计中，所述数据处理装置，还包括：
存储模块，用于将业务内容以及业务日志表存储至所述预设数据库，所述业务日志表与所述查询需求之间具有预设映射关系；
第二处理模块，用于根据业务访问请求、所述业务内容以及所述业务日志表确定所述业务数据，并将所述业务数据存储至所述预设数据库，其中，所述业务访问请求用于访问所述业务内容。
在一种可能的设计中，第一处理模块，具体用于：
通过预设数据分析模块对所述业务数据进行统计分析得到数据处理结果，并将所述数据处理结果存储至所述查询数据库；
根据所述查询需求以及预设查询接口获取所述数据处理结果，所述预设数据分析模块包括预设查询接口。
可选地，所述数据处理装置，还包括：
索引确定模块，用于根据所述查询数据库以及所述业务数据确定索引，所述索引用于分类存储所述业务数据。
可选地，所述查询数据库包括结构化语言查询模块。
可选地，所述预设查询接口包括分布式服务框架。
第三方面，本申请提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面及可选的方案涉及的数据处理方法。
第四方面，本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面及可选的方案涉及的数据处理方法。
本申请提供的数据处理方法、装置、电子设备及存储介质，针对电商系统提供的业务内容所产生的业务数据进行。首先获取查询请求，即需要获知业务数据的查询请求，其中，查询请求包括用户对业务数据的查询需求。而业务数据是在电商系统的运行中产生，并同业务内容以及业务日志表存储于预设数据库，然后通过实时数据传输模块从预设数据库中获取已产生的业务数据，并将获取到的业务数据存储至区别于预设数据库的查询数据库，再根据查询需求以及查询数据库确定数据处理结果。从而实现了业务数据的读写分离，并能够实时、快速地根据业务数据获取满足查询需求的相应数据，极大地降低了预设数据库的数据处理压力，有利于电商系统的自身运维，进而提高了电商系统的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理方法的应用场景图；
图2为本申请实施例提供的一种数据处理方法的流程示意图；
图3为本申请实施例提供的一种确定业务数据的流程示意图；
图4为本申请实施例提供的另一种数据处理方法的流程示意图；
图5为本申请实施例提供的一种数据处理装置的结构示意图；
图6为本申请实施例提供的另一种数据处理装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着电商行业的飞速发展，电商业务的访问量以及相应的交易量也在日益增加，随之则产生了海量的业务数据。对海量的业务数据进行数据分析，具有重要的应用价值，例如，针对用户对某项业务内容的浏览量进行统计分析，则能够得出不同用户对于不同业务内容的偏好，以此作为数据参考丰富业务内容，为用户提供更好的业务服务。通常，电商系统所产生的业务数据与业务内容以及业务日志表一并存储于数据库。当需要获得相应的业务数据时，则需根据查询需求直接进入数据库，在其中进行相应的操作以获得所需数据。然而，目前随着系统业务能力的不断加强，访问量随之不断增长，因而业务数据量也愈来愈大。再者，目前对于业务数据的查询频次也更为频繁，查询需求也更加多样，此类需求导致数据库的数据处理压力过大，并对响应能力产生影响，进而，对电商自身系统的运维以及用户体验均会产生不良影响。
针对上述现有技术所存在的技术问题，本申请实施了提供了一种数据处理方法、装置、设备及存储介质。本申请实施例提供的数据处理方法针对电商系统中业务内容所产生的业务数据进行。首先，获取查询请求，其中，查询请求中包括用户对业务数据的查询需求，例如，用户需要获知某一时间周期内针对某种业务内容的浏览量或交易量等。在获取到用户的查询请求之后，通过实时数据传输模块从预设数据库中获取业务数据并存储至查询数据库，再根据查询需求以及查询数据库确定数据处理结果。具体地，在现有技术中，将针对业务内容所产生的业务数据同业务内容、业务日志表一并存储于数据库中，换言之，该数据库为读写一体式，无法进行读写分离。当需要获取业务数据时，则需访问该数据库并对其进行操作。而随着系统业务能力的提升、业务访问量的增多，业务数据量随之增多，现有的确定模式对数据库造成巨大处理压力，进而对响应能力产生影响。而本申请实施例提供的数据处理方法，在获取到查询请求之后，通过实时数据传输模块从现有的数据库中获取业务数据，并将业务数据存储至另一数据库，即查询数据库，从而实现了数据的读写分离。继而再根据查询需求以及查询数据库确定业务数据的数据处理结果，极大地降低了已有数据库的数据处理压力，有利于电商系统的自身运维，进而提高了用户访问电商系统的使用体验。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1为本申请实施例提供的数据处理方法的应用场景图。如图1所示，本申请实施例提供的数据处理方法可以由电子设备执行，其中，电子设备可以是服务器或服务器集群，图1中以服务器100为例示出。本申请实施例提供的数据处理方法所涉及的数据是电商系统中业务内容所产生的业务数据，例如，通信运营商针对某些业务为集团服务对象提供的线上交易平台。其中，在该线上交易平台中进行业务内容相关活动所产生的数据即为业务数据，例如，集团服务对象的缴费信息、浏览量以及线上其他的产品交易等数据均为业务数据。可以理解的是，电商系统运行于终端，该终端可以是智能手机、笔记本电脑等，对于终端的类型本申请实施例不做限定，图1中以笔记本电脑200为例示出。
对于电商系统的提供者而言，业务数据具有重要的应用价值，因而，存在根据需求查询以及获取相关业务数据的需求。本申请实施例提供的数据处理方法，服务器100首先获取查询请求，其中，查询请求包括用户对业务数据的查询需求，此处的用户可以理解为电商系统的提供者，但也不仅限于此，此处的用户还可以是具有业务数据获取权限以及需求的任意用户。然后服务器100通过实时数据传输模块从预设数据库获取业务数据并存储至查询数据库，再根据查询需求以及查询数据库确定数据处理结果，以满足查询需求。其中，业务数据是运行于笔记本电脑200上的电商系统提供的业务服务所产生的数据，可以理解的是，业务数据与对应的业务内容以及业务日志表一并存储于同一个数据库，该数据库为预设数据库，例如通过分布式关系型数据库服务(Distributed Relational DatabaseService，以下简称DRDS)来实现。因而，本申请实施例提供的数据处理方法，服务器100在执行本方法时，通过实时数据传输模块从预设数据库获取到业务数据，并将其存储至查询数据库，再根据查询需求以及查询数据库确定数据处理结果，以满足查询需求。与现有技术相比，实现了业务数据的读写分离，极大地降低了预设数据库的数据处理压力，有利于电商系统的自身运维，进而提高了用户访问电商系统的使用体验。
图2为本申请实施例提供的一种数据处理方法的流程示意图。如图2所示，本实施例提供的数据处理方法，包括：
S101：获取查询请求。
其中，查询请求包括用户对业务数据的查询需求。
获取查询请求，查询请求中包括用户对业务数据的查询需求。具体地，用户具有对业务数据的查询需求，因此，用户提出查询请求。其中，此处的用户可以理解为电商系统的提供者，或其他具有业务数据获取权限的任意方。查询需求可以是对电商系统提供的业务内容的浏览量、交易量、订购量等数据的查询，业务数据为电商系统提供的业务内容在交易或被访问过程中产生的数据。
S102：通过实时数据传输模块从预设数据库获取业务数据，并将所获取的业务数据存储至查询数据库。
根据步骤S101中的描述，可知，业务数据为电商系统提供的业务内容在交易或被访问过程中所产生的数据。通常，电商系统提供业务内容，用户对业务内容进行访问，以及根据业务内容进行相关交易，例如，缴费。在访问或交易过程中产生相关数据，该相关数据即为业务数据，该数据在用户进行交易或访问的过程中产生，并与业务内容以及业务日志表一并存储于预设数据库，预设数据库可以通过DRDS实现。值得说明的是，本步骤S102中的用户是指电商系统所提供的业务内容的服务对象。
业务数据于电商系统的正常运行中产生，并存储于预设数据库。为了使得数据读写分离，则通过实时数据传输模块从预设数据库中获取业务数据，并将所获取的业务数据存储至查询数据库。换言之，实时数据传输模块能够实时根据预设数据库的动态变化获取其产生的业务数据，一旦产生业务数据，则进行获取，并将获取的业务数据存储于查询数据库，完全实现业务服务过程中的数据读写分离。其中，实时数据传输模块可以为支持关系型数据库、非关系型的数据库以及联机分析软件等数据源间的数据迁移、数据订阅及数据实时传输的功能模块，例如数据传输服务(Data Transmission Service，以下简称DTS)。而查询数据库区别于预设数据库，仅涉及业务数据，以根据查询需求得到相应的业务数据。查询数据库可以包括结构化语言查询模块，例如Phoenix，以执行条件运算、分组、分页等高级查询语法，通过标准结构化查询语言(Structured Query Language，以下简称SQL)的方式对数据库进行查询操作。
可选地，根据查询数据库以及业务数据确定索引，其中，索引用于分类存储业务数据。
查询数据库在存储业务数据时，根据业务数据确定索引，以分类存储业务数据。例如，针对业务内容所产生的业务数据按照服务对象所在的物理性区域确定索引，将归属于相同物理区域的服务对象所对应的业务数据存储于同一索引，有利于数据的后续统计处理以及快速查询。
S103：根据查询需求以及查询数据库确定数据处理结果。
在获取查询请求以及业务数据，并将业务数据存储至查询数据库之后，根据查询需求以及查询数据库确定数据处理结果，以满足查询需求。
例如，将查询请求所包括的查询需求通过查询数据库所支持的程序语言连接至查询数据库，从查询数据库中确定满足查询需求的相关业务数据，即确定数据处理结果，从而实现了以满足查询需求的实时、可靠、稳定以及快速地数据处理。其中，当查询数据库包括的结构化语言查询模块为Phoenix时，程序语言为Java。对于程序语言的选择，可以根据所采用的查询数据库进行，对此，本申请实施例不作限定。
本实施例提供的数据处理方法，针对电商系统提供的业务内容所产生的业务数据进行，首先获取查询请求，即需要获知业务数据的查询请求，其中，查询请求包括用户对业务数据的查询需求。而业务数据是在电商系统的运行中产生，并同业务内容以及业务日志表存储于预设数据库，然后通过实时数据传输模块从预设数据库中获取已产生的业务数据，并将获取到的业务数据存储至区别于预设数据库的查询数据库，再根据查询需求以及查询数据库确定数据处理结果。从而，将业务数据的读写分离，极大地降低了预设数据库的数据处理压力，并能够实时、快速地根据业务数据获取满足查询需求的相应数据，有利于电商系统的自身运维，进而提高了电商系统的使用体验。
通过上述实施例的描述可知，当电商系统的服务对象对业务内容进行访问或交易等过程中产生业务数据。因而，在通过实时数据传输模块从预设数据库获取业务数据，并将获取的业务数据存储至查询数据库之前，一种确定业务数据的可能的实施方式如图3所示，图3为本申请实施例提供的一种确定业务数据的流程示意图，本实施例提供的确定业务数据的方法，包括：
S201：将业务内容以及业务日志表存储至预设数据库。
其中，业务日志表与查询需求之间具有预设映射关系。
业务内容为电商系统提供给服务对象的服务内容。对于运营商向政企开放的电商系统而言，其线上的业务内容可以包括缴费、套餐使用量查询、积分查询、积分兑换等等。与每项业务内容对应的存在业务日志表，其中业务日志表用于记录服务对象在电商系统中的访问轨迹、浏览量、交易等信息。值得说明的是，业务日志表与查询需求之间具有预设映射关系，换言之，查询需求所要获知的内容只能是业务日志表包含的内容，例如，针对某项业务内容，业务日志表为交易量，针对该业务内容的查询需求只能是交易量，而不能是浏览量。而对每项业务内容所设置的业务日志表则由业务内容决定，对此，本申请实施例不作限定。
将业务内容以及业务日志表都存储于预设数据库，其中，预设数据库可以通过分布式数据库服务来实现，例如DRDS，一款分布式数据库的中间件产品，主要用于解决单机关系型数据库的扩展性问题，具备高度兼容MySQL协议和语法等特性，以及数据库全生命周期运维管控能力。
S202：根据业务访问请求、业务内容以及业务日志表确定业务数据，并将业务数据存储至预设数据库。
其中，业务访问请求用于访问业务内容。
服务对象访问电商系统，具体地，服务对象提出业务访问请求，根据业务访问请求对业务内容进行访问。例如，服务对象针对缴费这一业务内容，提出缴费请求，于电商平台上根据该业务内容完成缴费。假设缴费对应的业务日志表包括缴费时间、所交费用，则服务对象完成缴费时所产生的缴费时间、所缴费用等业务日志表中所包含的数据即为业务数据。
所确定的业务数据存储于预设数据库。预设数据库在通过分布式数据库服务的实现过程即为确定业务数据的过程，因为，所确定的业务数据也存储于预设数据库。
本实施例提供的确定业务数据的方法，在通过实时数据传输模块获取业务数据并存储至查询数据库之前进行，首先，将电商系统对服务对象提供的业务内容，以及针对业务内容所设置的业务日志表存储至预设数据库，其中，业务日志表与查询需求之间具有预设映射关系。然后服务对象提出业务访问请求，根据业务访问请求访问业务内容，访问过程中产生的与业务日志表相对应的数据即为业务数据，并将该业务数据存储至预设数据库。从而完成业务数据的确定，以使实时数据传输模块从预设数据库中获取到业务数据，并存储至查询数据库。
在上述实施例的基础上，步骤S103可以通过如图4所示的方式实现，图4为本申请实施例提供的另一种数据处理方法的流程示意图，如图4所示，该方法，包括：
S1031：通过预设数据分析模块对业务数据进行统计分析得到数据处理结果，并将数据处理结果存储至查询数据库。
当将业务数据存储至查询数据库之后，通过预设数据分析模块对业务数据进行统计分析，得到数据处理结果。其中，预设数据分析模块可以通过智能数据离线分析系统实现，智能数据离线分析系统为能够在离线状态下对相关数据进行相应分析处理的系统。而对于业务数据的统计分析，可以理解为，业务数据只是按照业务日志表的格式记录了服务对象对业务内容的访问量或交易量等数据，预设数据分析模块对其进行统计及分析处理，例如，统计出预设时间周期内的访问量或交易量等数据，还可以对统计出的数据进行分析，得到峰值、中值等相关分析数据，详细又全面的表征业务数据。将数据处理结果存储至查询数据库，减少预设数据库的负担，从而避免对电商系统的运行带来的影响。
S1032：根据查询需求以及预设查询接口获取数据处理结果。
其中，预设数据分析模块包括预设查询接口。
在确定了数据处理结果之后，用户根据查询需求以及预设查询接口获取数据处理结果，其中，数据处理结果满足查询需求。换言之，从数据处理结果中获取查询需求对应的数据，该数据则满足查询需求。另外，预设数据分析模块包括预设查询接口，用户通过调用预设查询接口获得数据处理结果。预设查询接口可以包括分布式服务框架(High SpeedFramework，以下简称HSF)，一款分布式远程过程调用服务框架，实现点对点的数据查询。值得被理解的是，调用预设查询接口的用户为具有获得业务数据权限的使用者。
本实施例提供的数据处理方法，对于存储至查询数据库的业务数据，通过预设数据分析模块对业务数据进行统计分析得到数据处理结果，详细又全面的表征业务数据，并将数据处理结果存储至查询数据库，避免获取业务数据对电商系统的正常运行所带来的影响。另外，预设数据分析模块包括预设查询接口，用户通过调用预设查询接口获得满足查询需求的数据处理结果。将业务数据的获取以及处理过程与其产生过程完全分离，对于上亿量的数据量而言，频繁的获取以及查询需求的多样性均不能对电商系统的运维产生影响，进而提高了电商系统的运维环境，以及服务对象对电商系统的使用体验。
下述为本申请装置实施例，可以用于执行上述任一方法实施例提供的数据处理方法的步骤。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图5为本申请实施例提供的一种数据处理装置的结构示意图。如图5所示，本实施例提供的数据处理装置500可以包括：
请求获取模块501，用于获取查询请求，其中，查询请求包括用户对业务数据的查询需求。
数据获取与存储模块502，用于通过实时数据传输模块从预设数据库获取业务数据，并将所获取的业务数据存储至查询数据库。
第一处理模块503，用于根据查询需求以及查询数据库确定数据处理结果。
可选地，数据处理装置500，还包括：
索引确定模块，用于根据查询数据库以及业务数据确定索引，其中，索引用于分类存储业务数据。
在图5所示实施例的基础上，图6为本申请实施例提供的另一种数据处理装置的结构示意图。如图6所示，本实施例提供的数据处理装置500，还包括：
存储模块504，用于将业务内容以及业务日志表存储至预设数据库，其中，业务日志表与查询需求之间具有预设映射关系；
第二处理模块505，用于根据业务访问请求、业务访问内容以及业务日志表确定业务数据，并将业务数据存储至预设数据库，其中，业务访问请求用于访问业务内容。
一种可能的设计中，第一处理模块503，具体用于：
通过预设数据分析模块对业务数据进行统计分析得到数据处理结果，并将数据处理结果存储至查询数据库；
根据查询需求以及预设查询接口获取数据处理结果，其中，预设数据分析模块包括预设查询接口。
值得说明的是，本申请所提供的装置实施例仅仅是示意性的，上述装置实施例中模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。
图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示，本实施例提供的电子设备700，包括：
至少一个处理器701；以及
与至少一个处理器701通信连接的存储器702；其中，
存储器702存储有可被至少一个处理器701执行的指令，指令被至少一个处理器701执行，以使至少一个处理器701能够执行上述方法实施例中的数据处理方法的各个步骤，具体可以参考前述方法实施例中的相关描述。
可选地，存储器702既可以是独立的，也可以跟处理器701集成在一起。
当存储器702是独立于处理器701之外的器件时，电子设备700，还可以包括：
总线703，用于连接处理器701以及存储器702。
此外，本申请实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述各实施例中的数据处理方法的各个步骤。例如，可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取查询请求，所述查询请求包括用户对业务数据的查询需求；
通过实时数据传输模块从预设数据库获取所述业务数据，并将所获取的所述业务数据存储至查询数据库；
根据所述查询需求以及所述查询数据库确定数据处理结果。
2.根据权利要求1所述的数据处理方法，其特征在于，在所述通过实时数据传输模块从预设数据库获取所述业务数据，并将获取的所述业务数据存储至查询数据库之前，还包括：
将业务内容以及业务日志表存储至所述预设数据库，所述业务日志表与所述查询需求之间具有预设映射关系；
根据业务访问请求、所述业务内容以及所述业务日志表确定所述业务数据，并将所述业务数据存储至所述预设数据库，其中，所述业务访问请求用于访问所述业务内容。
3.根据权利要求1或2所述的数据处理方法，其特征在于，所述根据所述查询需求以及所述查询数据库确定数据处理结果，包括：
通过预设数据分析模块对所述业务数据进行统计分析得到数据处理结果，并将所述数据处理结果存储至所述查询数据库；
根据所述查询需求以及预设查询接口获取所述数据处理结果，所述预设数据分析模块包括预设查询接口。
4.根据权利要求3所述的数据处理方法，其特征在于，所述方法，还包括：
根据所述查询数据库以及所述业务数据确定索引，所述索引用于分类存储所述业务数据。
5.根据权利要求4所述的数据处理方法，其特征在于，所述查询数据库包括结构化语言查询模块。
6.根据权利要求4所述的数据处理方法，其特征在于，所述预设查询接口包括分布式服务框架。
7.一种数据处理装置，其特征在于，包括：
请求获取模块，用于获取查询请求，所述查询请求包括用户对业务数据的查询需求；
数据获取与存储模块，用于通过实时数据传输模块从预设数据库获取所述业务数据，并将所获取的所述业务数据存储至查询数据库；
第一处理模块，用于根据所述查询需求以及所述查询数据库确定数据处理结果。
8.根据权利要求7所述的数据处理方法，其特征在于，所述数据处理装置，还包括：
存储模块，用于将业务内容以及业务日志表存储至所述预设数据库，所述业务日志表与所述查询需求之间具有预设映射关系；
第二处理模块，用于根据业务访问请求、所述业务内容以及所述业务日志表确定所述业务数据，并将所述业务数据存储至所述预设数据库，其中，所述业务访问请求用于访问所述业务内容。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的数据处理方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010196337.XA CN111382182A (zh) | 2020-03-19 | 2020-03-19 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010196337.XA CN111382182A (zh) | 2020-03-19 | 2020-03-19 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111382182A true CN111382182A (zh) | 2020-07-07 |
Family
ID=71215390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010196337.XA Pending CN111382182A (zh) | 2020-03-19 | 2020-03-19 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382182A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035557A (zh) * | 2020-09-02 | 2020-12-04 | 中国银行股份有限公司 | 交易日志报表展示方法及装置 |
| CN112214526A (zh) * | 2020-09-18 | 2021-01-12 | 广东电网有限责任公司广州供电局 | 一种用于电力系统运行参数的数据处理及查询方法 |
| CN112434037A (zh) * | 2020-11-24 | 2021-03-02 | 京东方科技集团股份有限公司 | 数据处理方法、处理装置、数据处理设备和存储介质 |
| CN113111047A (zh) * | 2021-03-18 | 2021-07-13 | 上海宜员网络技术有限公司 | 一种数据处理方法、装置及电子设备 |
| CN113610604A (zh) * | 2021-08-09 | 2021-11-05 | 上海微盟企业发展有限公司 | 一种数据处理方法、装置、设备及存储介质 |
-
2020
- 2020-03-19 CN CN202010196337.XA patent/CN111382182A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035557A (zh) * | 2020-09-02 | 2020-12-04 | 中国银行股份有限公司 | 交易日志报表展示方法及装置 |
| CN112035557B (zh) * | 2020-09-02 | 2024-04-16 | 中国银行股份有限公司 | 交易日志报表展示方法及装置 |
| CN112214526A (zh) * | 2020-09-18 | 2021-01-12 | 广东电网有限责任公司广州供电局 | 一种用于电力系统运行参数的数据处理及查询方法 |
| CN112434037A (zh) * | 2020-11-24 | 2021-03-02 | 京东方科技集团股份有限公司 | 数据处理方法、处理装置、数据处理设备和存储介质 |
| CN113111047A (zh) * | 2021-03-18 | 2021-07-13 | 上海宜员网络技术有限公司 | 一种数据处理方法、装置及电子设备 |
| CN113111047B (zh) * | 2021-03-18 | 2023-09-01 | 宜员(上海)信息科技有限公司 | 一种数据处理方法、装置及电子设备 |
| CN113610604A (zh) * | 2021-08-09 | 2021-11-05 | 上海微盟企业发展有限公司 | 一种数据处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111382182A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111506559B (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| CN111339171B (zh) | 数据查询的方法、装置及设备 | |
| CN110162512B (zh) | 一种日志检索方法、装置及存储介质 | |
| CN111210842B (zh) | 语音质检方法、装置、终端及计算机可读存储介质 | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN110198327B (zh) | 一种数据传输方法及相关设备 | |
| CN113342843A (zh) | 大数据在线分析方法和系统 | |
| CN112416991A (zh) | 一种数据处理方法、装置以及存储介质 | |
| CN110222046B (zh) | 列表数据的处理方法、装置、服务器和存储介质 | |
| CN114356712B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
| CN110266555A (zh) | 用于分析网站服务请求的方法 | |
| CN112114907A (zh) | 基于电子商务云计算的应用加载方法及人工智能计算中心 | |
| CN109992614B (zh) | 数据获取方法、装置和服务器 | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN111144987A (zh) | 异常购物行为的限制方法、限制组件及购物系统 | |
| CN108021464B (zh) | 一种应用程序响应数据的兜底处理的方法以及装置 | |
| CN116302278A (zh) | 业务系统的检测方法、装置以及存储介质 | |
| CN112491943A (zh) | 数据请求方法、装置、存储介质和电子设备 | |
| CN116028696A (zh) | 资源信息获取方法、装置、电子设备及存储介质 | |
| CN116089490A (zh) | 数据分析方法、装置、终端和存储介质 | |
| US11157506B2 (en) | Multiform persistence abstraction | |
| CN104125100A (zh) | 一种通信网管中dashboard实时监控的方法 | |
| CN110020166A (zh) | 一种数据分析方法及相关设备 | |
| CN113868141A (zh) | 数据测试方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |