CN114416817A - 用于处理数据的方法、装置、设备、系统及存储介质 - Google Patents
用于处理数据的方法、装置、设备、系统及存储介质 Download PDFInfo
- Publication number
- CN114416817A CN114416817A CN202111572472.0A CN202111572472A CN114416817A CN 114416817 A CN114416817 A CN 114416817A CN 202111572472 A CN202111572472 A CN 202111572472A CN 114416817 A CN114416817 A CN 114416817A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- query
- module
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000004220 aggregation Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种用于处理数据的方法、装置、设备、系统及存储介质。用于处理数据的方法应用于Lambda服务，通过获取目标数据的查询时间及时间周期；确定查询时间是否处于预设时段，其中时间周期包括多个时段，多个时段包括预设时段；在确定查询时间不处于预设时段的情况下，从第一数据模块中查找查询时间所在时段的查询记录；在从第一数据模块数据库中未能查找到查询记录的情况下，从第二数据模块数据库中获取时间周期内截止至查询时间所在时段的前一个时段的累计数据；确定查询时间所在的时段的实时数据；根据累计数据与实时数据得到所述目标数据，解决了目标数据不完整的问题，提高了目标数据的准确性。
Description
技术领域
本申请涉及处理数据技术领域，具体涉及一种用于处理数据的方法、一种用于处理数据的装置、一种用于处理数据的设备、一种用于处理数据的系统及存储介质。
背景技术
新零售业务运营过程中，为了得到更好的运营方案，运营商需要根据一些销售指标进行运营的规划与调整，例如，对于无人零售咖啡机，需要以周、月或年维度统计销售订单数、销售杯数、销售金额等指标。
目前的处理数据方法中，基于周、月、年维度的数据通常是属于T+1范畴内的，以周维度为例，当本周的某一天查询数据时，只能查到本周一到前一天的数据，无法得到本周一到当前查询时刻的所有数据，导致获得的不能及时且全面的反应销售情况。也就是说，利用目前的处理数据方法对一段时间内的数据进行统计时，统计结果不完整。
发明内容
本申请实施例的目的是提供一种用于处理数据的方法、装置、设备、系统及存储介质，旨在解决现有技术中对一段时间内的数据进行统计时，统计结果不完整的问题。
为了实现上述目的，本申请第一方面提供一种用于处理数据的方法，应用于Lambda服务，所述Lambda服务分别与第一数据模块和第二数据模块通信，用于处理数据的方法包括：
所述Lambda服务获取目标数据的查询时间及时间周期；
确定所述查询时间是否处于预设时段，其中所述时间周期包括多个时段，所述多个时段包括所述预设时段；
在确定所述查询时间不处于所述预设时段的情况下，从所述第一数据模块中查找所述查询时间所在时段的查询记录；
在从所述第一数据模块中未能查找到所述查询记录的情况下，从所述第二数据模块中获取所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据；
确定所述查询时间所在的时段的实时数据；
根据所述累计数据与所述实时数据得到所述目标数据。
在本申请实施例中，所述确定所述查询时间所在的时段的实时数据，包括：
根据所述查询时间所在的时段从所述第一数据模块中查找订单信息；
对所述订单信息进行聚合处理，以得到所述实时数据。
在本申请实施例中，用于处理数据的方法还包括：
获取所述订单信息的订单状态；
确定所述订单状态为交易最终状态的第一订单信息；
对所述第一订单信息进行聚合处理，以得到所述实时数据。
在本申请实施例中，所述第一数据模块用于存储订单状态为最新状态的订单信息以及截止所述时间周期内至所述查询时间所在时段的前一个时段的累计数据；所述第二数据模块用于存储所述时间周期内截止前一个时段的累计数据，或用于存储所述时间周期内截止前一个时段的累计数据和当前时段的实时数据。
在本申请实施例中，用于处理数据的方法还包括：
在确定所述查询时间处于所述预设时段的情况下，确定所述查询时间所在的时段的实时数据；
将所述实时数据进行聚合处理，得到所述目标数据，并输出所述目标数据至所述第二数据模块。
在本申请实施例中，用于处理数据的方法还包括：
在从所述第一数据模块中查找到所述查询记录的情况下，从所述第一数据模块中获取所述查询时间所在的时段对应的历史数据；
确定所述查询时间所在的时段的实时数据；
根据所述历史数据和所述实时数据得到所述目标数据，并输出所述目标数据至所述第二数据模块。
在本申请实施例中，所述根据所述累计数据与所述实时数据得到所述目标数据，包括：
将所述累计数据与所述实时数据进行聚合处理，得到所述目标数据。
在本申请实施例中，用于处理数据的方法还包括：
将所述累计数据输出至所述第一数据模块；
从所述第一数据模块获取所述查询时间所在的时段对应的历史数据；
根据所述历史数据和所述实时数据得到所述目标数据。
在本申请实施例中，所述第一数据模块为DynamoDB数据库，所述第二数据模块为MongoDB数据库。
本申请第二方面提供一种用于处理数据的装置，应用于Lambda服务，所述Lambda服务分别与第一数据模块和第二数据模块通信，用于处理数据的装置包括：
时间获取模块，用于获取目标数据的查询时间及时间周期；
时段确定模块，用于确定所述查询时间是否处于预设时段，其中所述时间周期包括多个时段，所述多个时段包括所述预设时段；
记录查找模块，用于在确定所述查询时间不处于所述预设时段的情况下，从所述第一数据模块中查找所述查询时间所在时段的查询记录；
累计数据确定模块，用于在从所述第一数据模块中未能查找到所述查询记录的情况下，从所述第二数据模块中获取所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据；
实时数据确定模块，用于确定所述查询时间所在的时段的实时数据；
目标数据确定模块，用于根据所述累计数据与所述实时数据得到所述目标数据。
本申请第二方面提供一种用于处理数据的设备，包括：
存储器，用于用于器件检测的程序；
处理器，被配置成从所述存储器调用所述用于处理数据的程序使得所述处理器能够执行上述的用于处理数据的方法。
本申请第三方面提供一种用于处理数据的系统，包括：第一级Lambda服务、第一数据模块和第二数据模块，所述第一级Lambda服务分别与所述第一数据模块和所述第二数据模块通信；其中，
所述第一级Lambda服务，用于获取目标数据的查询时间及时间周期，确定所述查询时间是否处于预设时段，其中所述时间周期包括多个时段，所述多个时段包括所述预设时段，在确定所述查询时间不处于所述预设时段的情况下，从所述第一数据模块中查找所述查询时间所在时段的查询记录，在从所述第一数据模块中未能查找到所述查询记录的情况下，从所述第二数据模块中获取所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据，确定所述查询时间所在的时段的实时数据，根据所述累计数据与所述实时数据得到所述目标数据；
所述第一数据模块，用于存储所述查询记录；
所述第二数据模块，用于存储所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据，或用于存储所述时间周期内截止前一个时段的累计数据和当前时段的实时数据。
本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的用于处理数据的方法。
通过上述技术方案，实现了一段时间内的累计数据和实时数据的获取，并根据累计数据和实时数据得到目标数据，解决了目标数据不完整的问题，提高了目标数据的准确性。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的用于处理数据的方法的应用环境示意图；
图2示意性示出了根据本申请实施例的用于处理数据的系统示意图；
图3示意性示出了根据本申请一实施例的用于处理数据的方法的流程示意图；
图4示意性示出了根据本申请另一实施例的用于处理数据的方法的流程示意图；
图5示意性示出了根据本申请又一实施例的用于处理数据的方法的流程示意图；
图6示意性示出了根据本申请实施例的用于处理数据的装置的结构框图；
图7示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本申请提供的用于处理数据的方法，可以应用于如图1所示的应用环境中。其中，设备通过物联网技术与云端的微服务实现信息的交互，云端的微服务是后端的开发者使用代码开发的逻辑，例如设备向云端发送订单信息，云端向设备下发开始制作的信息等。云端服务把所有的业务数据发送到业务数据库进行存储，同时把其中的一部分数据发送到存储设备，发送到存储设备中的数据，一方面供数据仓库进行批处理，得到下文所描述的累计数据，存储到业务数据库中，另一方面供图2中的系统进行实时处理，得到下文所描述的实时数据，存储到图2中的第一数据模块和第二数据模块中，其中图1中业务数据库和图2中的第二数据模块可以是同一个部件或者模块，例如二者都是MongoDB数据库。在一个示例中，物联网技术和云端服务可以是基于云计算服务AWS构建的，云端的微服务部署于AWS的云服务器上，业务数据库是MongoDB数据库。AWS的云服务器把所有的业务数据发送到MongoDB数据库进行存储，同时把其中的一部分数据(例如：订单金额、订单明细、饮品类型、优惠信息等交易方面的数据)发送到AWS的存储单元S3，供构建数据仓库的大数据工程师进行分析并且供2中的系统进行实时处理。
图2示意性示出了根据本申请实施例的用于处理数据的系统示意图。本申请实施例中的用于处理数据的方法可以基于该系统架构实现。具体地，第一级Lambda服务，用于获取目标数据的查询时间及时间周期，确定所述查询时间是否处于预设时段，其中所述时间周期包括多个时段，所述多个时段包括所述预设时段，在确定所述查询时间不处于所述预设时段的情况下，从所述第一数据模块中查找所述查询时间所在时段的查询记录，在从所述第一数据模块中未能查找到所述查询记录的情况下，从所述第二数据模块中获取所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据，确定所述查询时间所在的时段的实时数据，根据所述累计数据与所述实时数据得到所述目标数据；所述第一数据模块，用于存储所述查询记录；所述第二数据模块，用于存储所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据，或用于存储所述时间周期内截止前一个时段的累计数据和当前时段的实时数据。其中，第一数据模块和第二数据模块可以属于同一个数据库，也可以属于不同的数据库，例如，第一数据模块为DynamoDB数据库，第二数据模块为MongoDB数据库。
进一步地，用于处理数据的系统还可以包括：存储单元S3，用于获取原始数据；第二级Lambda服务，用于从存储单元S3获取原始数据，并对原始数据进行标识(例如，对每一笔订单信息添加租户ID，以标记这笔订单来自于哪个租户，当对于租户较多的情况可以方便找到对应租户的销售情况，这里的租户可以理解为将图1中的多个设备分别租给不同的租户)，得到待处理数据；所述第一级Lambda服务，还用于对待处理数据进行处理，计算出指标数据后，将指标数据输出至第二数据模块。
一并结合图1，设备端实时将业务相关的原始数据上传到云端的微服务，云端的微服务实时将原始数据写入到存储设备(如图2中的存储单元S3)中，存储单元S3中新增文件后，向第二级Lambda服务发送消息，第二级Lambda服务对原始数据进行标识，得到待处理数据。第一级Lambda服务对待处理数据进行处理，计算出指标数据。以原始数据是饮品的销售数据为例，指标数据可以是：不同租户周维度下销售订单数、销售杯数、销售金额，不同租户月维度下销售订单数、销售杯数、销售金额等。经过第一级Lambda服务处理后，得到的订单状态的流转会存储到第一数据模块(如DynamoDB数据库)中；另外，经过第一级Lambda服务处理后的指标数据会存到第二数据模块(如MongoDB数据库)中，以供开发人员根据业务指标获取指标数据。其中，将数据存储到MongoDB数据库中时，在数据库主键重复的情况下，后一条数据会把前一条数据的内容覆盖。
进一步地，用于处理数据的系统还可以包括：消息传输模块(如Amazon SNS FIFO服务)和队列控制台模块(如Amazon SQS FIFO服务)，消息传输模块和队列控制台模块依次设置在第二级Lambda服务和第一级Lambda服务之间，第二级Lambda服务得到待处理数据后，通过消息传输模块和队列控制台模块将待处理数据传输至第一级Lambda服务。
图3示意性示出了根据本申请一实施例的用于处理数据的方法的流程示意图。如图3所示，在本申请一实施例中，提供了一种用于处理数据的方法，应用于Lambda服务，Lambda服务分别与第一数据模块和第二数据模块通信，该方法可以包括以下步骤：
S10：Lambda服务获取目标数据的查询时间及时间周期。
应当理解的是，时间周期指目标数据的统计周期，当目标数据是以周维度进行统计时，时间周期为一周，当目标数据是以月维度进行统计时，时间周期是一个月，当目标数据是以年维度进行统计时，时间周期是一年，依此类推。
目标数据指需要获得的数据，包括查询时间当天的实时数据以及查询时间以前的累计数据。其中，实时数据通过实时处理任务得到，累计数据通过批处理任务得到。以时间周期是一周为例，假设批处理的定时开始时间是每日凌晨0:15，运行时长平均45分钟左右完成，为了便于陈述，假设在凌晨1:00可以完成批处理任务(批处理的是本周一零点到当天零点之前的数据，例如，周三凌晨0:15批处理周一零点到周三零点之前的数据)。显然，在第二天零点开始到批处理结束运行的时间范围内如何去统计本周的实时数据是一个值得思考的问题，这个问题可以拆成两部分来看：如果今天是周一，那么本周的实时数据就是当天发生的实时数据；如果今天是周一以外的其他时间(为方便陈述，以周二为例)，周二凌晨批处理未结束前查询，本周的数据＝周一的实时数据+周二的实时数据；周二凌晨批处理结束后查询，本周的数据＝周一的批处理数据+周二的实时数据。
理论上来讲如果周二凌晨批处理结束后，周一的批处理数据结果和周一的实时数据结果是一致的。考虑到数据模块可能存在自动覆盖机制，例如MongoDB数据库在第二天凌晨的批处理结束后，批处理结果会覆盖掉前一天的实时结果。本申请实施例在第二天凌晨的批处理结束后，采用的是周一的批处理数据，是因为批处理数据比实时处理的数据更可靠。
本申请实施例的执行主体是Lambda服务，在业务量较小、数据较少的情况下，采用Lambda服务来执行统计的核心逻辑，在使用时调起，无数据时释放，可以较好地控制成本。
S20：确定查询时间是否处于预设时段，其中时间周期包括多个时段，多个时段包括预设时段。
以时间周期是一周，时段是一天为例，一周有七天，即包括七个时段，预设时段是时间周期的第一天，即周一。为了方便描述，以下均以时间周期是一周，时段是一天、预设时段是周一为例进行说明。
具体地，可以通过将查询时间对应的时段与预设时段进行比较，判断查询时间对应的时段是否与预设时间相同，以确定查询时间是否处于预设时段。
S30：在确定查询时间不处于预设时段的情况下，从第一数据模块中查找查询时间所在时段的查询记录。
其中，第一数据模块用于存储订单状态为最新状态的订单信息以及截止时间周期内至查询时间所在时段的前一个时段的累计数据。第一数据模块可以是数据库，比如DynamoDB数据库。
以第一数据模块是DynamoDB数据库为例，在确定查询时间不是周一的情况下，可以从DynamoDB数据库中查找查询时间当天的查询记录。
S40：在从第一数据模块中未能查找到查询记录的情况下，从第二数据模块中获取时间周期内截止至查询时间所在时段的前一个时段的累计数据。
第二数据模块用于存储时间周期内截止前一个时段的累计数据，或用于存储时间周期内截止前一个时段的累计数据和当前时段的实时数据。第二数据模块可以是数据库，比如MongoDB数据库。
以第二数据模块是MongoDB数据库为例，MongoDB数据库中存储的是一周中截止查询时间的前一天的累计数据，或一周中截止查询时间的前一天的累计数据和当天的实时数据。
应当理解的是，在没有查找到查询记录的情况下，说明查询是当天的第一次查询，则从MongoDB数据库中获取截止至前一天的累计数据。
在一个示例中，当获取到累计数据后，还可以将累计数据插入到DynamoDB数据库。
S50：确定查询时间所在的时段的实时数据。
在具体实现中，可以根据查询时间所在的时段从第一数据模块中查找订单信息；对订单信息进行聚合处理，以得到实时数据。
在一个示例中，可以获取DynamoDB数据库中订单信息的订单状态；确定订单状态为交易最终状态的第一订单信息；对第一订单信息进行聚合处理，以得到实时数据。
其中，聚合处理包括求和和计数等，例如通过函数SUM对订单的金额求和，通过函数count对订单的ID进行计数。
S60：根据累计数据与实时数据得到目标数据。
在一个示例中，Lambda服务可以将实时数据与累计数据进行聚合处理，得到目标数据。
在另一个示例中，Lambda服务还可以从第一数据模块获取查询时间所在的时段对应的历史数据；根据历史数据和实时数据得到目标数据。
本申请实施例通过获取目标数据的查询时间及时间周期；确定查询时间是否处于预设时段，其中时间周期包括多个时段，多个时段包括预设时段；在确定查询时间不处于预设时段的情况下，从第一数据模块中查找查询时间所在时段的查询记录；在从第一数据模块数据库中未能查找到查询记录的情况下，从第二数据模块数据库中获取时间周期内截止至查询时间所在时段的前一个时段的累计数据；确定查询时间所在的时段的实时数据；根据累计数据与实时数据得到目标数据，解决了目标数据不完整的问题，提高了目标数据的准确性。
图4示意性示出了根据本申请另一实施例的用于处理数据的方法的流程示意图。如图4所示，在本申请另一实施例中，提供了一种用于处理数据的方法，该方法还可以包括以下步骤：
S31：在确定查询时间处于预设时段的情况下，确定查询时间所在的时段的实时数据。
S32：将实时数据进行聚合处理，得到目标数据，并输出目标数据至第二数据模块。
应当理解的是，在确定查询时间处于预设时段的情况下，本周的目标数据就是当天发生的实时数据，可以直接从第一数据模块中得到查询时间所在的时段的实时数据，并对实时数据进行求和、计数等聚合处理，得到目标数据，再将目标数据输出到第二数据模块中。
本申请实施例通过在查询时间处于预设时段的情况下，直接将实时数据进行处理后得到目标数据，提高了聚合统计的效率。
图5示意性示出了根据本申请又一实施例的用于处理数据的方法的流程示意图。如图5所示，在本申请又一实施例中，提供了一种用于处理数据的方法，该方法还可以包括以下步骤：
S41：在从第一数据模块中查找到查询记录的情况下，从第一数据模块中获取查询时间所在的时段对应的历史数据。
S42：确定查询时间所在的时段的实时数据。
S43：根据历史数据和实时数据得到目标数据，并输出目标数据至第二数据模块。
应当理解的是，在从第一数据模块中查找到查询记录的情况下，说明此次查询之前至少已经做过一次查询，在第二数据模块中的数据无论是前一天的实时数据还是批处理数据，都已经被插入到第一数据模块中，可以直接把第一数据模块中的历史数据和实时数据做拼接，得到本周截止到查询时间为止的实时数据，写入到第二数据模块中。
本申请实施例通过在从第一数据模块中查找到查询记录的情况下，从第一数据模块中获取历史数据，再根据历史数据和实时数据得到目标数据，提高了聚合统计的可靠性。
图3、图4和图5分别为一个实施例中用于处理数据的方法的流程示意图。应该理解的是，虽然图3、图4和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、图4和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种用于处理数据的装置，应用于Lambda服务，Lambda服务分别与第一数据模块和第二数据模块通信，用于处理数据的装置包括：包括时间获取模块10、时段确定模块20、记录查找模块30、累计数据确定模块40、实时数据确定模块50以及目标数据确定模块60，其中：时间获取模块10，用于获取目标数据的查询时间及时间周期；时段确定模块20，用于确定查询时间是否处于预设时段，其中时间周期包括多个时段，多个时段包括预设时段；记录查找模块30，用于在确定查询时间不处于预设时段的情况下，从第一数据模块中查找查询时间所在时段的查询记录；累计数据确定模块40，用于在从第一数据模块中未能查找到查询记录的情况下，从第二数据模块中获取时间周期内截止至查询时间所在时段的前一个时段的累计数据；实时数据确定模块50，用于确定查询时间所在的时段的实时数据；目标数据确定模块60，用于根据累计数据与实时数据得到目标数据。
进一步地，实时数据确定模块50，还用于根据查询时间所在的时段从第一数据模块中查找订单信息；对订单信息进行聚合处理，以得到实时数据。
进一步地，实时数据确定模块50，还用于获取订单信息的订单状态；确定订单状态为交易最终状态的第一订单信息；对第一订单信息进行聚合处理，以得到实时数据。
进一步地，实时数据确定模块50，还用于在确定查询时间处于预设时段的情况下，确定查询时间所在的时段的实时数据；目标数据确定模块60，还用于将实时数据进行聚合处理，得到目标数据，并输出目标数据至第二数据模块。
进一步地，累计数据确定模块40，还用于在从第一数据模块中查找到查询记录的情况下，从第一数据模块中获取查询时间所在的时段对应的历史数据；实时数据确定模块50，还用于确定查询时间所在的时段的实时数据；目标数据确定模块60，还用于根据历史数据和实时数据得到目标数据，并输出目标数据至第二数据模块。
进一步地，目标数据确定模块60，还用于将累计数据与实时数据进行聚合处理，得到目标数据。
进一步地，累计数据确定模块40，还用于将累计数据输出至第一数据模块，从第一数据模块获取查询时间所在的时段对应的历史数据；目标数据确定模块60，还用于根据历史数据和实时数据得到目标数据。
本申请实施例还提供了一种用于处理数据的设备，包括：存储器，用于用于器件检测的程序；处理器，被配置成从存储器调用用于处理数据的程序使得处理器能够执行上述用于处理数据的方法。
本申请实施例还提供了一种机器可读存储介质，其上存储有程序，该程序被处理器执行时实现上述用于处理数据的方法。
本申请实施例提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、显示屏A04、输入装置A05和存储器(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A06。该非易失性存储介质A06存储有操作系统B01和计算机程序B02。该内存储器A03为非易失性存储介质A06中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序被处理器A01执行时以实现一种用于处理数据的方法。该计算机设备的显示屏A04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置A05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种用于处理数据的方法，其特征在于，应用于Lambda服务，所述Lambda服务分别与第一数据模块和第二数据模块通信，所述方法包括：
所述Lambda服务获取目标数据的查询时间及时间周期；
确定所述查询时间是否处于预设时段，其中所述时间周期包括多个时段，所述多个时段包括所述预设时段；
在确定所述查询时间不处于所述预设时段的情况下，从所述第一数据模块中查找所述查询时间所在时段的查询记录；
在从所述第一数据模块中未能查找到所述查询记录的情况下，从所述第二数据模块中获取所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据；
确定所述查询时间所在的时段的实时数据；
根据所述累计数据与所述实时数据得到所述目标数据。
2.根据权利要求1所述的方法，其特征在于，所述确定所述查询时间所在的时段的实时数据，包括：
根据所述查询时间所在的时段从所述第一数据模块中查找订单信息；
对所述订单信息进行聚合处理，以得到所述实时数据。
3.根据权利要求2所述的方法，其特征在于，还包括：
获取所述订单信息的订单状态；
确定所述订单状态为交易最终状态的第一订单信息；
对所述第一订单信息进行聚合处理，以得到所述实时数据。
4.根据权利要求2所述的方法，其特征在于，
所述第一数据模块用于存储订单状态为最新状态的订单信息以及截止所述时间周期内至所述查询时间所在时段的前一个时段的累计数据；所述第二数据模块用于存储所述时间周期内截止前一个时段的累计数据，或用于存储所述时间周期内截止前一个时段的累计数据和当前时段的实时数据。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，还包括：
在确定所述查询时间处于所述预设时段的情况下，确定所述查询时间所在的时段的实时数据；
将所述实时数据进行聚合处理，得到所述目标数据，并输出所述目标数据至所述第二数据模块。
6.根据权利要求1至4中任意一项所述的方法，其特征在于，还包括：
在从所述第一数据模块中查找到所述查询记录的情况下，从所述第一数据模块中获取所述查询时间所在的时段对应的历史数据；
确定所述查询时间所在的时段的实时数据；
根据所述历史数据和所述实时数据得到所述目标数据，并输出所述目标数据至所述第二数据模块。
7.根据权利要求1所述的方法，其特征在于，所述根据所述累计数据与所述实时数据得到所述目标数据，包括：
将所述累计数据与所述实时数据进行聚合处理，得到所述目标数据。
8.根据权利要求1所述的方法，其特征在于，还包括：
将所述累计数据输出至所述第一数据模块；
从所述第一数据模块获取所述查询时间所在的时段对应的历史数据；
根据所述历史数据和所述实时数据得到所述目标数据。
9.根据权利要求1所述的方法，其特征在于，所述第一数据模块为DynamoDB数据库，所述第二数据模块为MongoDB数据库。
10.一种用于处理数据的装置，其特征在于，应用于Lambda服务，所述Lambda服务分别与第一数据模块和第二数据模块通信，用于处理数据的装置包括：
时间获取模块，用于获取目标数据的查询时间及时间周期；
时段确定模块，用于确定所述查询时间是否处于预设时段，其中所述时间周期包括多个时段，所述多个时段包括所述预设时段；
记录查找模块，用于在确定所述查询时间不处于所述预设时段的情况下，从所述第一数据模块中查找所述查询时间所在时段的查询记录；
累计数据确定模块，用于在从所述第一数据模块中未能查找到所述查询记录的情况下，从所述第二数据模块中获取所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据；
实时数据确定模块，用于确定所述查询时间所在的时段的实时数据；
目标数据确定模块，用于根据所述累计数据与所述实时数据得到所述目标数据。
11.一种用于处理数据的设备，其特征在于，包括：
存储器，用于用于器件检测的程序；
处理器，被配置成从所述存储器调用所述用于处理数据的程序使得所述处理器能够执行根据权利要求1至9中任意一项所述的用于处理数据的方法。
12.一种用于处理数据的系统，其特征在于，包括：第一级Lambda服务、第一数据模块和第二数据模块，所述第一级Lambda服务分别与所述第一数据模块和所述第二数据模块通信；其中，
所述第一级Lambda服务，用于获取目标数据的查询时间及时间周期，确定所述查询时间是否处于预设时段，其中所述时间周期包括多个时段，所述多个时段包括所述预设时段，在确定所述查询时间不处于所述预设时段的情况下，从所述第一数据模块中查找所述查询时间所在时段的查询记录，在从所述第一数据模块中未能查找到所述查询记录的情况下，从所述第二数据模块中获取所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据，确定所述查询时间所在的时段的实时数据，根据所述累计数据与所述实时数据得到所述目标数据；
所述第一数据模块，用于存储所述查询记录；
所述第二数据模块，用于存储所述时间周期内截止至所述查询时间所在时段的前一个时段的累计数据，或用于存储所述时间周期内截止前一个时段的累计数据和当前时段的实时数据。
13.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至9中任一项所述的用于处理数据的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111572472.0A CN114416817A (zh) | 2021-12-21 | 2021-12-21 | 用于处理数据的方法、装置、设备、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111572472.0A CN114416817A (zh) | 2021-12-21 | 2021-12-21 | 用于处理数据的方法、装置、设备、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114416817A true CN114416817A (zh) | 2022-04-29 |
Family
ID=81267049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111572472.0A Pending CN114416817A (zh) | 2021-12-21 | 2021-12-21 | 用于处理数据的方法、装置、设备、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114416817A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063441A (zh) * | 2014-06-12 | 2014-09-24 | 北京东进航空科技股份有限公司 | 数据库运维系统及其对数据的运维方法 |
| CN106446170A (zh) * | 2016-09-27 | 2017-02-22 | 努比亚技术有限公司 | 数据查询方法及装置 |
| CN106909495A (zh) * | 2016-06-03 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据的窗口统计方法、装置及系统 |
| CN108920498A (zh) * | 2018-05-23 | 2018-11-30 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置及设备 |
| CN109299164A (zh) * | 2018-09-03 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 一种数据查询方法、计算机可读存储介质及终端设备 |
| CN110442572A (zh) * | 2019-06-28 | 2019-11-12 | 阿里巴巴集团控股有限公司 | 用户特征值的确定方法及装置 |
| CN110442598A (zh) * | 2019-07-22 | 2019-11-12 | 阿里巴巴集团控股有限公司 | 一种数据查询方法和装置 |
| CN110502539A (zh) * | 2019-07-17 | 2019-11-26 | 苏宁云计算有限公司 | 一种olap动态缓存方法及装置 |
| CN111125109A (zh) * | 2019-12-24 | 2020-05-08 | 广州德久信息科技有限公司 | 一种基于时间分组累计算法的实时统计报表系统 |
| KR20210038859A (ko) * | 2020-06-30 | 2021-04-08 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 검색 방법, 장치, 전자기기 및 저장매체 |
| WO2021073260A1 (zh) * | 2019-10-17 | 2021-04-22 | 北京旷视科技有限公司 | 对象管理方法、装置、计算机设备和存储介质 |
| CN113515541A (zh) * | 2020-04-09 | 2021-10-19 | 奇安信安全技术(珠海)有限公司 | 数据库的数据查询方法、装置和系统 |
-
2021
- 2021-12-21 CN CN202111572472.0A patent/CN114416817A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063441A (zh) * | 2014-06-12 | 2014-09-24 | 北京东进航空科技股份有限公司 | 数据库运维系统及其对数据的运维方法 |
| CN106909495A (zh) * | 2016-06-03 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据的窗口统计方法、装置及系统 |
| CN106446170A (zh) * | 2016-09-27 | 2017-02-22 | 努比亚技术有限公司 | 数据查询方法及装置 |
| CN108920498A (zh) * | 2018-05-23 | 2018-11-30 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置及设备 |
| CN109299164A (zh) * | 2018-09-03 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 一种数据查询方法、计算机可读存储介质及终端设备 |
| CN110442572A (zh) * | 2019-06-28 | 2019-11-12 | 阿里巴巴集团控股有限公司 | 用户特征值的确定方法及装置 |
| CN110502539A (zh) * | 2019-07-17 | 2019-11-26 | 苏宁云计算有限公司 | 一种olap动态缓存方法及装置 |
| CN110442598A (zh) * | 2019-07-22 | 2019-11-12 | 阿里巴巴集团控股有限公司 | 一种数据查询方法和装置 |
| WO2021073260A1 (zh) * | 2019-10-17 | 2021-04-22 | 北京旷视科技有限公司 | 对象管理方法、装置、计算机设备和存储介质 |
| CN111125109A (zh) * | 2019-12-24 | 2020-05-08 | 广州德久信息科技有限公司 | 一种基于时间分组累计算法的实时统计报表系统 |
| CN113515541A (zh) * | 2020-04-09 | 2021-10-19 | 奇安信安全技术(珠海)有限公司 | 数据库的数据查询方法、装置和系统 |
| KR20210038859A (ko) * | 2020-06-30 | 2021-04-08 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 검색 방법, 장치, 전자기기 및 저장매체 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107026881B (zh) | 业务数据的处理方法、装置及系统 | |
| CN108960790B (zh) | 一种账单业务的处理方法、装置、服务器及系统 | |
| CN110138883B (zh) | 混合云资源分配方法和装置 | |
| CN110209686A (zh) | 数据的存储、查询方法及装置 | |
| CN111784318B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111160793A (zh) | 一种服务网点自助设备数量的配置方法、装置及设备 | |
| CN110018932B (zh) | 一种容器磁盘的监控方法及装置 | |
| CN108920326B (zh) | 确定系统耗时异常的方法、装置及电子设备 | |
| CN111857981A (zh) | 一种数据处理方法以及装置 | |
| US8924343B2 (en) | Method and system for using confidence factors in forming a system | |
| CN111915340B (zh) | 商户类型的识别方法、装置、设备及存储介质 | |
| CN114416817A (zh) | 用于处理数据的方法、装置、设备、系统及存储介质 | |
| CN111143546A (zh) | 一种获得推荐语的方法、装置及电子设备 | |
| CN116071123A (zh) | 商品数据处理方法、系统、电子设备及存储介质 | |
| US9009073B1 (en) | Product availability check using image processing | |
| CN114513469A (zh) | 分布式系统的流量整形方法、装置和存储介质 | |
| CN110442572B (zh) | 用户特征值的确定方法及装置 | |
| CN113469825A (zh) | 数据处理方法、装置、电子设备和计算机可读介质 | |
| CN109614066B (zh) | 信息显示方法及装置 | |
| US8738864B2 (en) | Automated data interface generation | |
| CN111966892A (zh) | 一种数据处理方法和装置，计算机存储介质和电子设备 | |
| CN112596974A (zh) | 一种全链路监控方法、装置、设备和存储介质 | |
| CN114490597A (zh) | 基于指标维度的实时数据处理方法、装置、系统及设备 | |
| US12039482B2 (en) | Data prediction and proactive request system using artificial intelligence | |
| KR102680687B1 (ko) | 데이터 통계 정보 제공 방법 및 그 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |