CN112016025A - 数据采集方法、装置及终端设备 - Google Patents

数据采集方法、装置及终端设备 Download PDF

Info

Publication number
CN112016025A
CN112016025A CN201910471230.9A CN201910471230A CN112016025A CN 112016025 A CN112016025 A CN 112016025A CN 201910471230 A CN201910471230 A CN 201910471230A CN 112016025 A CN112016025 A CN 112016025A
Authority
CN
China
Prior art keywords
data
storage area
real
time
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910471230.9A
Other languages
English (en)
Other versions
CN112016025B (zh
Inventor
贾延夺
温宗霖
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhen Xuesi Education Technology Co Ltd
Original Assignee
Beijing Yizhen Xuesi Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhen Xuesi Education Technology Co Ltd filed Critical Beijing Yizhen Xuesi Education Technology Co Ltd
Priority to CN201910471230.9A priority Critical patent/CN112016025B/zh
Publication of CN112016025A publication Critical patent/CN112016025A/zh
Application granted granted Critical
Publication of CN112016025B publication Critical patent/CN112016025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据采集方法、装置及终端设备。数据采集方法包括：从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域；实时采集消息队列中的用户数据以得到实时数据，并将实时数据累加存储至第一存储区域；按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将定时数据累加存储至预设的第三存储区域，其中，第一时间段的实时数据存储于第二存储区域中，第二存储区域为至少两个备选存储区域中除第一存储区域之外的备选存储区域，第一时间段为当前时间段之前的时间段。通过本实施例提供的方案存储的数据确定累加型数据，可以保证累加型数据的准确性以及实时性。

Description

数据采集方法、装置及终端设备
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据采集方法、装置及终端设备。
背景技术
在采集数据的过程中，经常需要采集累加型的数据，例如登录次数、浏览次数等。
现有的采集累加型数据的过程可以为：先使用spark集群读取卡夫卡(kafka)消息队列中的数据，然后根据读取到的数据进行统计，来确定累加型数据；若由于spark集群出现异常或卡夫卡消息队列出现异常等原因，导致从卡夫卡消息队列中读取数据失败时，会采用其他替代方法来读取数据。
当spark集群出现异常时，通常会调整读取卡夫卡消息队列时的偏移量，来重新读取卡夫卡消息队列中读取失败的数据，但是，若spark集群长时间宕机，会导致读取失败的数据超出卡夫卡消息队列中最大暂存数据的量，从而导致数据准确性降低，进而导致确定的累加型数据的准确性降低。当卡夫卡消息队列出现异常时，会从上游数据库中读取备份的卡夫卡消息队列的数据，并根据读取的数据进行统计，来确定累加型数据，但是，由于备份的数据并不会根据卡夫卡消息队列中的实时数据进行实时更新，导致读取到的数据实时性降低，进而导致确定的累加型数据的实时性降低。
有鉴于此，现有技术中亟需解决的技术问题是：如何提供一种能够保证累加型数据的准确性以及实时性的数据采集方案。
发明内容
有鉴于此，本发明实施例提供一种数据采集方法、装置及终端设备，以解决上述问题。
根据本发明实施例的第一方面，提供了一种数据采集方法，其包括：从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域；实时采集消息队列中的用户数据以得到所述实时数据，并将所述实时数据累加存储至所述第一存储区域；按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域，其中，第一时间段的实时数据存储于第二存储区域中，所述第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域，所述第一时间段为所述当前时间段之前的时间段。
根据本发明实施例的第二方面，提供了一种数据采集装置，其包括：第一存储区域确定模块，用于从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域；实时数据采集模块，用于实时采集消息队列中的数据以得到所述实时数据，并将所述实时数据累加存储至所述第一存储区域；定时数据采集模块，用于按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域；其中，第一时间段的实时数据存储于第二存储区域中，所述第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域，所述第一时间段为所述当前时间段之前的时间段。
根据本发明实施例的第三方面，提供了一种终端设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的数据采集方法对应的操作。
根据本发明实施例提供的方案，通过设置至少两个备选存储区域，并从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域，使得至少两个备选存储区域可以交替作为第一存储区域，可以避免出现定时数据被错误删除或覆盖等情况；通过实时采集以及生成定时数据，减少了对消息队列数据的依赖，避免了采集数据由于消息队列出现异常导致采集的数据出错的问题，且通过实时采集得到的实时数据保证了得到的累加型数据的实时性，以及通过根据定时数据以及实时数据的合并结果确定累加型数据，保证了累加型数据的准确性；另外，本申请中的第三存储区域可以等同于现有技术中用于定时备份消息队列的数据的上游数据库，则本申请与现有技术相比，所需的存储区域仅增加了至少两个备选存储区域，且备选存储区域中用于存储实时数据即可，与定时数据相比实时数据的数据量小，使得备选存储区域所需的存储空间较小，避免了空间的浪费。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的一种数据采集方法的步骤流程图；
图2a为本发明实施例二的一种数据采集方法的步骤流程图；
图2b为本发明实施例二的一种数据合并方法的步骤流程图；
图3为本发明实施例三的一种数据采集方法的步骤流程图；
图4a为时间为t1时各个存储区域的使用情况示意图；
图4b为时间为t2时各个存储区域的使用情况示意图；
图4c为时间为t3时各个存储区域的使用情况示意图；
图4d为时间为t4时各个存储区域的使用情况示意图；
图5为本发明实施例四的一种数据采集装置的结构框图；
图6为本发明实施例五的一种终端设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
参照图1，示出了根据本发明实施例一的一种数据采集方法的步骤流程图。
本实施例的数据采集方法包括以下步骤：
S101、从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域。
本实施例中，预设的至少两个备选存储区域可以为数据库中的存储区域，也可以为其他位置的存储区域，只要能够存储实时数据即可，本实施例对此不进行限定。
本实施例中，当前时间段可以为当前时间点对应的时间段，例如可以将当前时间点所在的一分钟、一小时或者一天作为当前时间段。
具体地，当前时间段可以是位于当前时间周期内的时间段，时间周期可以为定时采集的时间周期或者备选存储区域的切换周期，如时间周期以天计算，则当前时间段可以为位于当天内的一个时间段。
本实施例中，第一存储区域用于存储实时数据，具体实时数据的采集过程详见下述步骤S102。
S102、实时采集消息队列中的用户数据以得到实时数据，并将所述实时数据累加存储至所述第一存储区域。
本实施例中，消息队列是在消息的传输过程中保存消息的容器，因此，消息队列中的消息是实时更新的，使得实时采集消息队列中的数据后得到的实时数据包括最新的数据，进而保证了最终确定的累加型数据的实时性。
具体地，实时采集消息队列中的用户数据，可以通过监听消息队列中的用户数据实现，当监听到消息队列中的用户数据更新时，即可以采集得到实时数据。
当采集得到当前时间段的实时数据时，第一存储区域中可能已经存储有同一时间周期内之前采集得到的实时数据了，则可以将当前时间段采集的实时数据以累加的方式添加至第一存储区域中，以进行增量存储，而不将第一存储区域中已有的实时数据覆盖或删除，从而保证实时数据的完整性。
S103、按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域。
本实施例中，第一时间段的实时数据存储于第二存储区域中，所述第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域，所述第一时间段为所述当前时间段之前的时间段。
本实施例中，定时采集规则可以为用于限定生成定时数据的时间、用于限定生成定时数据的周期、用于限定生成的定时数据对应的时间段等的规则。本领域的技术人员可以根据需要设置具体的定时采集规则，例如每天生成一次定时数据、每次生成的定时数据为前一天的定时数据等，本实施例对此不进行限定。
在本发明的一个实施例中，定时采集规则中包括预设时间周期，则所述按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，包括：根据所述定时采集规则中的预设时间周期，生成与当前时间段所在当前时间周期的上一个时间周期的累加存储的实时数据对应的定时数据，其中，所述第一时间段为当前时间周期的上一个时间周期。
本实施例中，由于在步骤S101中确定了用于存储用户当前时间段的实时数据的第一存储区域，因此，至少两个备选存储区域中，除了其中作为第一存储区域的一个存储区域之外，其余的备选存储区域中可能存储有之前的实时数据，为了保证至少两个备选存储区域中，始终存在一个备选存储区域用于存储当前时间段的实时数据，本发明实施例会定时的生成至少两个备选存储区域中除第一存储区域之外的第二存储区域中之前的第一时间段内累加存储的实时数据对应的定时数据，并累加存储到预设的第三存储区域。
例如，备选存储区域的数量为两个，其中一个作为第一存储区域，另一个作为第二存储区域，第二存储区域中存储有之前的实时数据，该实时数据为第一时间段累加存储的实时数据，则生成的定时数据可以为时间范围与第二存储区域中第一时间段累加存储的实时数据的时间范围相同的定时数据。
在实际使用时，数据不仅会发送至消息队列，还会同时发送至消息队列对应的数据库中，则生成定时数据时，可以从消息队列对应的数据库中读取并生成定时数据。具体读取数据库中的数据并生成定时数据的方法可参考现有的相关技术，只要生成的定时数据为与第一时间段累加存储的实时数据对应的定时数据即可，本实施例对此不进行限定。
本实施例中，由于在上述步骤S101中，通过从至少两个备选存储区域中确定切换后的第一存储区域，与仅通过一个存储区域存储实时数据相比，通过从至少两个备选存储区域中确定切换后的第一存储区域，可以避免出现定时数据被错误删除或覆盖等情况。
本实施例中，定时数据可以累加存储至第三存储区域，以便于后续确定累加型数据时，可以直接将第三存储区域中的定时数据与备选存储区域中的实时数据进行合并。
本实施例提供的方案，通过设置至少两个备选存储区域，并从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域，使得至少两个备选存储区域可以交替作为第一存储区域，可以避免出现定时数据被错误删除或覆盖等情况；通过实时采集以及生成定时数据，减少了对消息队列数据的依赖，避免了采集数据由于消息队列出现异常导致采集的数据出错的问题，且通过实时采集得到的实时数据保证了得到的累加型数据的实时性，以及通过根据定时数据以及实时数据的合并结果确定累加型数据，保证了累加型数据的准确性；另外，本申请中的第三存储区域可以等同于现有技术中用于定时备份消息队列的数据的上游数据库，则本申请与现有技术相比，所需的存储区域仅增加了至少两个备选存储区域，且备选存储区域中用于存储实时数据即可，与定时数据相比实时数据的数据量小，使得备选存储区域所需的存储空间较小，避免了空间的浪费。
另外需要说明的是，本实施例中的步骤S101以及步骤S102两个步骤间并无时序关系，仅通过第一存储区域关联。
本实施例的数据采集方法可以由任意适当的具有数据处理能力的终端设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机。
实施例二
参照图2a，示出了根据本发明实施例二的一种数据采集方法的步骤流程图。
本实施例的数据采集方法包括以下步骤：
S201、从预设的至少两个备选存储区域中，按照预设切换规则确定用于存储用户当前时间段的实时数据的第一存储区域。
本实施例中，切换规则可以为用于限定作为第一存储区域的备选存储区域的切换规则。本领域的技术人员可以根据需要设置具体的切换规则，本实施例对此不进行限定。
本实施例的一种实施方式中，所述预设切换规则包括：所述至少两个备选存储区域按照预设切换顺序周期性的依次切换以作为所述第一存储区域。
具体地，假设备选存储区域的数量为三个，分别为A、B、C，则三个备选存储区域按照预设切换顺序周期性的依次切换以作为第一存储区域可以为：在第一个时间周期到来时，A作为第一存储区域；当第二个时间周期到来时，B作为第一存储区域；当第三个时间周期到来时，C作为第一存储区域；当第四个时间周期到来时，A又重新作为第一存储区域，即按A→B→C的顺序反复切换。
本实施例中，通过按照预设切换顺序周期性的依次切换，使得至少两个备选存储区域交替作为第一存储区域，可以使得至少两个备选存储区域中累加存储的实时数据具有时间上的先后关系，进而可以通过确定的时间上的先后关系确定后续步骤中用于生成第一时间段的定时数据对应的备选存储区域，方便后续的定时数据生成。
可选地，本实施例中，切换规则中还可以包括切换周期，例如，切换周期可以为一天，即每天切换一次作为第一存储区域的备选存储区域。
另外，本实施例中，所述第一存储区域具有对应的第一指示标记，并可以通过切换第一指示标记对应的索引，来实现作为第一存储区域的备选区域的切换，与直接切换存储区域相比，可以简化切换流程，实现时更加简单方便。
具体地，可以通过切换第一指示标记中存储的数据来实现索引的切换。例如，第一指示标记具体可以为key_switch_flag，作为切换后的第一存储区域的备选存储区域的索引可以为“A”，则，切换索引后的第一指示标记key_switch_flag中存储的数据可以切换为“A”。
或者，也可以通过对应关系表存储有第一指示标记对应的索引，从而可以通过切换对应关系表中的索引来切换第一指示标记对应的索引。
进一步地，第一指示标记还可以对应有采集时间段，用来指示第一存储区域中累加存储的实时数据具体为哪一个时间段的实时数据。具体地，第一指示标记中存储的内容具体可以为{′20190226′:′A′}，其中的“20190226”指示索引为“A”的备选区域存储的是2019.02.26这一天的实时数据；切换后的第一指示标记中存储的内容具体可以为{′20190227′:′B′}，其中的“20190227”指示索引为“B”的备选区域存储的是2019.02.27这一天的实时数据。
S202、实时采集消息队列中的数据以得到实时数据，并将所述实时数据累加存储至所述第一存储区域。
具体地，第一存储区域对应的具体位置，可以通过上述步骤中第一指示标记对应的索引确定。
例如，如果第一指示标记中存储的内容具体可以为{′20190226′:′A′}，则表示当前日期为2019.02.26，作为第一存储区域的备选存储区域的索引为“A”。
步骤S202的具体实现方案详见上述步骤S102，本实施例在此不再赘述。
S203、根据所述定时采集规则中的预设时间周期，生成与当前时间段所在当前时间周期的上一个时间周期的累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域。
本实施例中，所述第一时间段为当前时间周期的上一个时间周期。根据上述可知，第一时间段的实时数据存储于第二存储区域中，第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域。
例如，若备选存储区域的数量为5个，其中一个作为第一存储区域，剩余的四个为第二存储区域，则上一个时间周期的累加存储的实时数据可以为四个备选存储区域中的两个或三个中累加存储的实时数据。
本实施例中，上一个时间周期可以根据定时采集规则确定，例如，定时采集规则规定每三天采集一次定时数据，且第K1次采集的定时数据的日期为2019.02.22-2019.02.24，则第K1+1次采集定时数据的时间段可以为2019.02.25-2019.02.27，K1为正整数。
本实施例中，第一时间段可以与多个备选存储区域中累加存储的实时数据的时间段相同。例如，第一时间段为2019.02.25-2019.02.27(第K1+1次采集定时数据的时间段)，则其对应多个备选存储区域中累加存储的实时数据的时间段为2019.02.25-2019.02.27。
本实施例中，根据上述步骤S202可知，第一指示标记还可以对应作为第一存储区域的备选存储区域索引，以及对应有采集时间段，在具体使用时，可以将其存储，从而可以根据采集时间段直接确定第一时间段对应的备选存储区域。
当然，若预先确定好备选存储区域的切换顺序以及切换周期，则可以直接根据当前作为第一存储区域的备选存储区域，确定第一时间段对应的备选存储区域。
本实施例中，若备选存储区域的数量为n个，则定时数据的生成周期为第一存储区域的切换周期的k倍，k∈[1,n-1]，且k为整数。
可选地，为了配合生成定时数据，当所述备选存储区域的数量为两个时，k＝1，即所述第一存储区域的切换周期与所述定时数据的生成周期相同。当其中一个备选存储区域作为第一存储区域时，另一备选存储区域可以直接作为第二存储区域，且第一时间段中累加存储的实时数据即为第二存储区域中累加存储的实时数据。
本实施例中，将所述备选存储区域的数量设定为两个，可以节省管理成本、减少读取实时数据的时间、并使得后续步骤中合并定时数据以及实时数据的过程更加简单。
在本申请的另一实现方式中，备选存储区域的数量也可以大于两个，例如可以为五个，分别为“A”、“B”、“C”、“D”、“E”，五个备选存储区域按顺序交替使用，切换周期为一天；则，k∈[1,4]，即定时采集的预设时间周期可以为一天、两天、三天或四天。
可选地，步骤S203之后，所述方法还包括：
S204、删除所述第二存储区域中第一时间段累加存储的实时数据。
本实施例中，生成与第一时间段累加存储的实时数据对应的定时数据后，即可将第二存储区域中第一时间段累加存储的实时数据删除，由于第二存储区域为存储有之前的实时数据的备选存储区域，通过删除实时数据，可以使得存储有实时数据的备选存储区域为空，进而可以再次作为第一存储区域。
S205、在接收到获取用户累加型数据的指令时，将所述第三存储区域中累加存储的所述定时数据以及所述至少两个备选存储区域中累加存储的实时数据进行合并，根据合并结果得到所述用户对应的累加型数据。
本实施例中，获取用户累加型数据的指令，可以机器自动生成，也可以由用户进行触发生成，进行触发的用户和采集的用户累加型数据中的用户可以不同，也可以相同。
本实施例中，通过将定时数据和实时数据合并后确定累加型数据，通过实时采集消息队列中的数据并存储至第一存储区域，以及按照定时采集规则生成定时数据并存储至第三存储区域，使得采集得到的数据受消息队列出错的影响较小，避免了现有技术中直接读取消息队列中的数据来确定累加型数据时，由于消息队列出错导致采集到的数据准确性较低而导致的累加型数据准确性低的问题。
由于确定累加型数据时，是通过实时数据与定时数据的合并结果确定的，从而通过实时数据保证了累加型数据的实时性，避免了现有技术中根据上游数据库中备份的数据确定累加型数据导致的累加型数据的实时性降低的问题。
具体地，本实施例中，如图2b所示，步骤S205可以包括下述步骤S2051以及S2052。
S2051、根据所述第三存储区域的最新更新时间，从所述至少两个备选存储区域中确定需要合并的存储区域。
具体地，本实施例中，在每次更新第三存储区域以及第一存储区域中的数据时，可以通过记录时间戳的方式记录其更新时间。更新第三存储区域中的数据可以包括将生成的定时数据累加存储至第三存储区域中，更新第一存储区域中的数据可以包括将实时数据累加存储至第一存储区域中。
由于第一存储区域是从至少两个备选存储区域中确定的，则备选存储区域的更新时间为，其作为第一存储区域时第一存储区域的更新时间。
当然，也可以仅记载第三存储区域以及各个备选存储区域的最新更新时间。
本实施例中，第三存储区域的最新更新时间，代表最近一次将定时数据累加存储至第三存储区域的时间，可以等同为定时数据对应的目标时间段的最末时间点。则可以根据第三存储区域的更新时间，确定需要合并的存储区域，需要合并的存储区域可以为：还未生成对应定时数据的实时数据所在的存储区域。
具体地，步骤S2051包括：从所述至少两个备选存储区域中，确定最新更新时间晚于所述第三存储区域的最新更新时间的存储区域为需要合并的备选存储区域。
本实施例中，备选存储区域的最新更新时间可以为最近一次向其中存储实时数据的时间，则，通过比对更新时间，确定最新更新时间晚于所述第三存储区域的最新更新时间的存储区域为需要合并的备选存储区域，可以方便快捷地确定需要合并的备选存储区域。
S2052、对所述第三存储区域中累加存储的所述定时数据以及需要合并的存储区域中累加存储的实时数据进行合并，根据合并结果得到累加型数据。
另外，本申请的另一实现中，也可以直接合并至少两个备选存储区域中的实时数据以及第三存储区域中的定时数据。由于直接合并时可能会存在部分数据的重叠，因此，在合并时可以同时对数据进行去重处理，再得到合并结果。
具体如何将多个存储位置中的数据进行合并的方案可参考相关技术，本实施例对此不再赘述。
本实施例提供的方案，通过设置备选存储区域的数量为两个，可以节省管理成本、减少读取实时数据的时间、并使得后续步骤中合并定时数据以及实时数据的过程更加简单，并同时保证了累加型数据的实时性以及准确性。
本实施例的数据采集方法可以由任意适当的具有数据处理能力的终端设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机。
实施例三
参照图3，示出了根据本发明实施例三的一种数据采集方法的步骤流程图。
本实施例以kafka消息队列、Spark集群以及Redis数据库为例，对采集用户user_1的数据采集过程进行说明。
本实施例的数据采集方法包括以下步骤，下述步骤均可以通过Spark集群实现：
S301、从预设的两个备选存储区域user_1_A或user_1_B中，确定按照设定切换规则切换后的、用于存储实时数据的第一存储区域。
其中，user_1_A以及user_1_B分别为两个备选存储区域的索引，其指向的可以为Redis数据库中的存储区域。
具体地，可以通过第一指示标记指示第一存储区域对应的索引具体为user_1_A或user_1_B。
第一指示标记key_switch_flag对应的备选存储区域索引会每天切换一次，比如2019年2月26日在key_switch_flag中存的数据如下{′20190226′:′A′},2月27日就会切换为{′20190227′:′B′}，28日再次切换为{′20190228′:′A′}。
S302、实时采集消息队列中的数据以得到实时数据，并将所述实时数据累加存储至所述第一存储区域。
本实施例中，可以通过实时采集kafka消息队列中user_1对应的数据以得到实时数据。
本实施例中，在存储实时数据前，可以先读取第一指示标记key_switch_flag对应的备选存储区域索引，以确定第一指示标记指示的第一存储区域，然后再将实时数据存储至第一存储区域中。
对应的，由于第一指示标记指示的索引每天切换一次，则user_1在26日的存储会记录在索引user_1_A对应的备选存储区域中，user_1在27日的数据会存储在索引user_1_B对应的备选存储区域中，user_1在28日的数据会再次存储在索引user_1_A里(在存储28日的数据之前，会先清除掉之前存储的26日的数据，从而保证备选存储区域中只存储有同一天内产生的实时数据)。
S303、按照定时采集规则，生成与所述至少两个备选存储区域中除第一存储区域之外的第二存储区域中累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域user_1_history。
本实施例中，当第一存储区域为user_1_A对应的备选存储区域时，第二存储区域可以为user_1_B对应的备选存储区域。
第三存储区域的索引可以为user_1_history，索引user_1_history指向的同样可以为Redis数据库中的存储区域。
对Redis数据库中各个存储区域的使用情况可以参见图4a-图4d。
如图4a所示，当时间t1为2019-02-26 12:25:00时，第一指示标记key_switch_flag对应的备选存储区域索引为user_1_A，即user_1_A中累加存储有从2019-02-26 00:00:00开始到时间为t1时的实时数据，第三存储区域user_1_history中存储有从开始至2019-02-25 24:00:00的数据；user_1_B为空。
如图4b所示，当时间t2为2019-02-27 00:05:00时，第一指示标记key_switch_flag对应的备选存储区域索引已切换为user_1_B，即user_1_B中累加存储有从2019-02-2700:00:00开始到时间为t2时的实时数据，此时，开始生成目标时间段2019-02-26 00:00:00开始到24:00:00对应的定时数据。
如图4c所示，当时间t3为2019-02-27 00:35:00时，第一指示标记key_switch_flag对应的备选存储区域索引仍为user_1_B，即user_1_B中累加存储有从2019-02-27 00:00:00开始到时间为t3时的实时数据，此时，目标时间段2019-02-26 00:00:00开始到24:00:00对应的定时数据存储至第三存储区域user_1_history，且user_1_A中存储的实时数据已被删除。
如图4d所示，当时间t4为2019-02-28 00:05:00时，第一指示标记key_switch_flag对应的备选存储区域索引已切换为user_1_A，即user_1_A中累加存储有从2019-02-2800:00:00开始到时间为t4时的实时数据，此时，开始生成目标时间段2019-02-27 00:00:00开始到24:00:00对应的定时数据，然后将目标时间段2019-02-27 00:00:00开始到24:00:00对应的定时数据存储至第三存储区域user_1_history，并将user_1_B中存储的实时数据删除，使得存储区域的使用情况再次如图4a类似，但需适应性修改各个存储区域对应的时间段。
重复上述图4a-图4d的过程，并根据时间的修改适应性修改各个存储区域对应的时间段，从而持续采集消息队列中user_1的数据。
S304、将所述第三存储区域user_1_history中累加存储的所述定时数据以及两个备选存储区域user_1_A以及user_1_B中累加存储的实时数据进行合并，根据合并结果得到累加型数据。
本步骤可以在任意时间点执行，只要数据库中存在定时数据和实时数据即可，本实施例对此不进行限定。
具体地，合并方案可以如下：
1、当user_1_A以及user_1_B的最新更新时间晚于user_1_history的最新更新时间时，将user_1_A、user_1_B以及user_1_history对应的存储区域中的数据全部合并。
例如，
user_1_A：{“login_times”:5,“action”:1,“updateTime”:1551186644857}
user_1_B：{“login_times”:1,“action”:2,“updateTime”:1551100244000}
user_1_history：{“login_times”:15,“action”:6,“updateTime”:1551013844000}7
全部合并后的合并结果为：
user_1：{“login_times”:21,“action”:9,“updateTime”:1551186644857}
2、当user_1_A以及user_1_B中，user_1_B的最新更新时间早于user_1_history的最新更新时间时，将user_1_A以及user_1_history对应的存储区域中的数据合并。
例如，
user_1_A：{“login_times”:5,“action”:1,“updateTime”:1551186644857}
user_1_B：{“login_times”:1,“action”:2,“updateTime”:1551011844000}
user_1_history：{“login_times”:15,“action”:6,“updateTime”:1551013844000}
将user_1_A以及user_1_history合并后的合并结果为：
user_1：{“login_times”:20,“action”:7,“updateTime”:1551186644857}。
本实施例提供的方案，在数据库中所需的存储区域包括user_1_A、user_1_B以及user_1_history对应的存储区域，与现有技术相比，现有技术中在数据库中所需的存储区域包括用于定时备份消息队列的数据的存储区域，本申请中的user_1_history对应的第三存储区域可以等同于现有技术中用于定时备份消息队列的数据的存储区域，则本申请与现有技术相比，所需的存储区域仅增加了user_1_A、user_1_B对应的备选存储区域，且其中仅用于存储一天的实时数据即可，所占用的存储空间较小，避免了空间的浪费。
实施例四
参照图5，示出了根据本发明实施例四的一种数据采集装置的结构框图。
如图5所示，数据采集装置包括第一存储区域确定模块401、实时数据采集模块402、定时数据采集模块403。
第一存储区域确定模块401，用于从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域；
实时数据采集模块402，用于实时采集消息队列中的数据以得到所述实时数据，并将所述实时数据累加存储至所述第一存储区域；
定时数据采集模块403，用于按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域；其中，第一时间段的实时数据存储于第二存储区域中，所述第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域，所述第一时间段为所述当前时间段之前的时间段。
在一种可选的实施方式中，定时数据采集模块403具体用于：根据所述定时采集规则中的预设时间周期，生成与当前时间段所在当前时间周期的上一个时间周期的累加存储的实时数据对应的定时数据，其中，所述第一时间段为当前时间周期的上一个时间周期。
在一种可选的实施方式中，所述装置还包括删除模块，用于当所述定时数据采集模块403将所述定时数据累加存储至预设的第三存储区域之后，删除所述第二存储区域中所述第一时间段累加存储的实时数据。
在一种可选的实施方式中，所述装置还包括：合并模块，用于在接收到获取用户累加型数据的指令时，将所述第三存储区域中累加存储的所述定时数据以及所述至少两个备选存储区域中累加存储的实时数据进行合并，根据合并结果得到所述用户对应的累加型数据。
在一种可选的实施方式中，所述合并模块包括：需求确定模块，用于根据所述第三存储区域的最新更新时间，从所述至少两个备选存储区域中确定需要合并的存储区域；需求合并模块，用于对所述第三存储区域中累加存储的所述定时数据以及需要合并的存储区域中累加存储的实时数据进行合并。
在一种可选的实施方式中，所述需求确定模块具体用于，从所述至少两个备选存储区域中，确定最新更新时间晚于所述第三存储区域的最新更新时间的存储区域为需要合并的备选存储区域。
在一种可选的实施方式中，第一存储区域确定模块401具体用于：从所述至少两个备选存储区域中，按照预设切换顺序周期性地将备选存储区域作为所述第一存储区域。
在一种可选的实施方式中，所述备选存储区域的数量为两个，所述第一存储区域的切换周期与所述定时数据的生成周期相同。
本实施例提供的方案，通过设置至少两个备选存储区域，并从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域，使得至少两个备选存储区域可以交替作为第一存储区域，可以避免出现定时数据被错误删除或覆盖等情况；通过实时采集以及生成定时数据，减少了对消息队列数据的依赖，避免了采集数据由于消息队列出现异常导致采集的数据出错的问题，且通过实时采集得到的实时数据保证了得到的累加型数据的实时性，以及通过根据定时数据以及实时数据的合并结果确定累加型数据，保证了累加型数据的准确性；另外，本申请中的第三存储区域可以等同于现有技术中用于定时备份消息队列的数据的上游数据库，则本申请与现有技术相比，所需的存储区域仅增加了至少两个备选存储区域，且备选存储区域中用于存储实时数据即可，与定时数据相比实时数据的数据量小，使得备选存储区域所需的存储空间较小，避免了空间的浪费。
实施例五
一种终端设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的数据采集方法对应的操作。
具体地，参照图6，示出了根据本发明实施例五的一种终端设备的结构示意图，本发明具体实施例并不对终端设备的具体实现做限定。
如图6所示，该终端设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它终端设备或服务器进行通信。
处理器502，用于执行程序510，具体可以执行上述数据采集方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域；实时采集消息队列中的用户数据以得到所述实时数据，并将所述实时数据累加存储至所述第一存储区域；按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域，其中，第一时间段的实时数据存储于第二存储区域中，所述第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域，所述第一时间段为所述当前时间段之前的时间段。
在一种可选的实施方式中，按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，包括：根据所述定时采集规则中的预设时间周期，生成与当前时间段所在当前时间周期的上一个时间周期的累加存储的实时数据对应的定时数据，其中，所述第一时间段为当前时间周期的上一个时间周期。
在一种可选的实施方式中，在将所述定时数据累加存储至预设的第三存储区域之后，所述方法还包括：删除所述第二存储区域中所述第一时间段累加存储的实时数据。
在一种可选的实施方式中，所述方法还包括：在接收到获取用户累加型数据的指令时，将所述第三存储区域中累加存储的所述定时数据以及所述至少两个备选存储区域中累加存储的实时数据进行合并，根据合并结果得到所述用户对应的累加型数据。
在一种可选的实施方式中，所述将所述第三存储区域中累加存储的所述定时数据以及所述至少两个备选存储区域中累加存储的实时数据进行合并，包括：根据所述第三存储区域的最新更新时间，从所述至少两个备选存储区域中确定需要合并的存储区域；对所述第三存储区域中累加存储的所述定时数据以及需要合并的存储区域中累加存储的实时数据进行合并。
在一种可选的实施方式中，所述根据第三存储区域的最新更新时间，从所述至少两个备选存储区域中确定需要合并的存储区域，包括：从所述至少两个备选存储区域中，确定最新更新时间晚于所述第三存储区域的最新更新时间的存储区域为需要合并的备选存储区域。
在一种可选的实施方式中，所述从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域包括：从所述至少两个备选存储区域中，按照预设切换顺序周期性地将备选存储区域作为所述第一存储区域。
在一种可选的实施方式中，所述备选存储区域的数量为两个，所述第一存储区域的切换周期与所述定时数据的生成周期相同。
程序510中各步骤的具体实现可以参见上述数据采集方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本实施例的终端设备，通过设置至少两个备选存储区域，并从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域，使得至少两个备选存储区域可以交替作为第一存储区域，可以避免出现定时数据被错误删除或覆盖等情况；通过实时采集以及生成定时数据，减少了对消息队列数据的依赖，避免了采集数据由于消息队列出现异常导致采集的数据出错的问题，且通过实时采集得到的实时数据保证了得到的累加型数据的实时性，以及通过根据定时数据以及实时数据的合并结果确定累加型数据，保证了累加型数据的准确性；另外，本申请中的第三存储区域可以等同于现有技术中用于定时备份消息队列的数据的上游数据库，则本申请与现有技术相比，所需的存储区域仅增加了至少两个备选存储区域，且备选存储区域中用于存储实时数据即可，与定时数据相比实时数据的数据量小，使得备选存储区域所需的存储空间较小，避免了空间的浪费。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的数据采集方法。此外，当通用计算机访问用于实现在此示出的数据采集方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的数据采集方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种数据采集方法，其特征在于，包括：
从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域；
实时采集消息队列中的用户数据以得到所述实时数据，并将所述实时数据累加存储至所述第一存储区域；
按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域，其中，第一时间段的实时数据存储于第二存储区域中，所述第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域，所述第一时间段为所述当前时间段之前的时间段。
2.根据权利要求1所述的方法，其特征在于，按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，包括：
根据所述定时采集规则中的预设时间周期，生成与当前时间段所在当前时间周期的上一个时间周期的累加存储的实时数据对应的定时数据，其中，所述第一时间段为当前时间周期的上一个时间周期。
3.根据权利要求2所述的方法，其特征在于，在将所述定时数据累加存储至预设的第三存储区域之后，所述方法还包括：
删除所述第二存储区域中所述第一时间段累加存储的实时数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在接收到获取用户累加型数据的指令时，将所述第三存储区域中累加存储的所述定时数据以及所述至少两个备选存储区域中累加存储的实时数据进行合并，根据合并结果得到所述用户对应的累加型数据。
5.根据权利要求4所述的方法，其特征在于，所述将所述第三存储区域中累加存储的所述定时数据以及所述至少两个备选存储区域中累加存储的实时数据进行合并，包括：
根据所述第三存储区域的最新更新时间，从所述至少两个备选存储区域中确定需要合并的存储区域；
对所述第三存储区域中累加存储的所述定时数据以及需要合并的存储区域中累加存储的实时数据进行合并。
6.根据权利要求5所述的方法，其特征在于，所述根据第三存储区域的最新更新时间，从所述至少两个备选存储区域中确定需要合并的存储区域，包括：
从所述至少两个备选存储区域中，确定最新更新时间晚于所述第三存储区域的最新更新时间的存储区域为需要合并的备选存储区域。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域包括：从所述至少两个备选存储区域中，按照预设切换顺序周期性地将备选存储区域作为所述第一存储区域。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述备选存储区域的数量为两个，所述第一存储区域的切换周期与所述定时数据的生成周期相同。
9.一种数据采集装置，其特征在于，包括：
第一存储区域确定模块，用于从预设的至少两个备选存储区域中，确定用于存储用户当前时间段的实时数据的第一存储区域；
实时数据采集模块，用于实时采集消息队列中的数据以得到所述实时数据，并将所述实时数据累加存储至所述第一存储区域；
定时数据采集模块，用于按照定时采集规则，生成与第一时间段累加存储的实时数据对应的定时数据，并将所述定时数据累加存储至预设的第三存储区域；其中，第一时间段的实时数据存储于第二存储区域中，所述第二存储区域为所述至少两个备选存储区域中除所述第一存储区域之外的备选存储区域，所述第一时间段为所述当前时间段之前的时间段。
10.一种终端设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8任一项所述的数据采集方法对应的操作。
CN201910471230.9A 2019-05-31 2019-05-31 数据采集方法、装置及终端设备 Active CN112016025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910471230.9A CN112016025B (zh) 2019-05-31 2019-05-31 数据采集方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910471230.9A CN112016025B (zh) 2019-05-31 2019-05-31 数据采集方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112016025A true CN112016025A (zh) 2020-12-01
CN112016025B CN112016025B (zh) 2022-02-18

Family

ID=73506156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910471230.9A Active CN112016025B (zh) 2019-05-31 2019-05-31 数据采集方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112016025B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669530A (zh) * 2020-12-02 2021-04-16 武汉中电节能有限公司 一种提高空调时间型计量设备数据采集质量的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621400A (zh) * 2008-06-30 2010-01-06 中兴通讯股份有限公司 一种历史性能数据采集方法及性能数据采集系统
CN101631330A (zh) * 2009-08-17 2010-01-20 中兴通讯股份有限公司 一种性能数据的采集处理方法及装置
US20140281130A1 (en) * 2013-03-15 2014-09-18 The Boeing Company Accessing non-volatile memory through a volatile shadow memory
CN107241281A (zh) * 2017-05-27 2017-10-10 上海东土远景工业科技有限公司 一种数据处理方法及其装置
CN109639732A (zh) * 2019-01-23 2019-04-16 上海逸涵信息科技有限公司 一种开放式数据采集系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621400A (zh) * 2008-06-30 2010-01-06 中兴通讯股份有限公司 一种历史性能数据采集方法及性能数据采集系统
CN101631330A (zh) * 2009-08-17 2010-01-20 中兴通讯股份有限公司 一种性能数据的采集处理方法及装置
US20140281130A1 (en) * 2013-03-15 2014-09-18 The Boeing Company Accessing non-volatile memory through a volatile shadow memory
CN107241281A (zh) * 2017-05-27 2017-10-10 上海东土远景工业科技有限公司 一种数据处理方法及其装置
CN109639732A (zh) * 2019-01-23 2019-04-16 上海逸涵信息科技有限公司 一种开放式数据采集系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669530A (zh) * 2020-12-02 2021-04-16 武汉中电节能有限公司 一种提高空调时间型计量设备数据采集质量的方法

Also Published As

Publication number Publication date
CN112016025B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110399380B (zh) 一种数据处理方法、电子装置及存储介质
CN112434039A (zh) 数据的存储方法、装置、存储介质以及电子装置
CN112559592B (zh) 实时数据处理方法、装置及设备
WO2018006721A1 (zh) 日志文件的存储方法及装置
CN113472858B (zh) 埋点数据处理方法、装置及电子设备
CN112486915B (zh) 数据存储方法及装置
CN112016025B (zh) 数据采集方法、装置及终端设备
CN114417200B (zh) 网络数据的采集方法、装置及电子设备
CN111061802A (zh) 一种电力数据管理处理方法、装置及存储介质
US9497339B2 (en) Information processing system, information processing method and recording medium storing an information processing program
CN108038127B (zh) 一种数据同步的方法、装置、终端设备及存储介质
CN113419897A (zh) 一种文件处理方法、装置、电子设备及其存储介质
CN110908885B (zh) 一种日志收集方法、装置及相关组件
CN110554992B (zh) 一种分布式元数据路径管理方法、系统、终端及存储介质
CN112148712A (zh) 一种数据处理方法、装置、设备及介质
CN111275846B (zh) 数据记录的生成方法、装置、电子设备及存储介质
CN105868057A (zh) 一种数据处理的方法、装置和移动终端
CN114281250A (zh) 存储文件的清理方法及装置、存储介质、电子装置
CN107995014B (zh) 基于告警信息发现功能拓扑的方法及装置
CN111274219B (zh) 数据存储方法及装置、存储介质、电子装置
CN110333968B (zh) 应用于数据库的数据管理方法、装置及计算机设备
CN113486237A (zh) 一种航班信息的推荐方法、系统、存储介质和电子设备
CN108805778B (zh) 电子装置、采集征信数据的方法及存储介质
CN111831211A (zh) 数据传输方法、装置、设备及存储介质
CN110674214A (zh) 大数据同步方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant