CN110659272A - 数据清洗方法和系统 - Google Patents
数据清洗方法和系统 Download PDFInfo
- Publication number
- CN110659272A CN110659272A CN201910818973.9A CN201910818973A CN110659272A CN 110659272 A CN110659272 A CN 110659272A CN 201910818973 A CN201910818973 A CN 201910818973A CN 110659272 A CN110659272 A CN 110659272A
- Authority
- CN
- China
- Prior art keywords
- terminal
- data
- identifier
- distribution
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims description 27
- 238000012795 verification Methods 0.000 claims description 24
- 238000012546 transfer Methods 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及数据处理领域中的数据标准化，特别涉及一种数据清洗方法和系统。方法包括：终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据终端标识确定终端集群中的分配终端和执行终端；分配终端查询执行终端对应的终端标识，并获取待清洗数据，并将待清洗数据发送至与终端标识对应的执行终端；分配终端向执行终端发送数据清洗指令，数据清洗指令携带有第一数据标识执行终端根据第一数据标识从待清洗数据中选取第一目标数据进行清洗，并将清洗完成的第一目标数据发送至数据服务器；分配终端查询第二数据标识，根据第二数据标识从待清洗数据中选取第二目标数据进行清洗，并将清洗完成的第二目标数据发送至数据服务器。采用本方法能够降低成本。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种数据清洗方法和系统。
背景技术
随着计算机技术的发展，可以通过计算机采集相关企业的数据，如不同的企业的业务数据，进而可以分析相关企业的行为。
传统地，在采集到企业相关的数据时，为了便于数据的使用，则需要传回到服务器进行统一的数据清洗，而当数据量过大时，则服务器统一进行数据清洗则需要占用大量服务器空间，而为了保证数据的清洗效率，则需要升级硬件产品，从而导致成本高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低成本的数据清洗方法和系统。
一种数据清洗方法，所述方法包括：
终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据所述终端标识确定所述终端集群中的分配终端和执行终端；所述分配终端查询执行终端对应的终端标识，并获取待清洗数据，并将所述待清洗数据发送至与所述终端标识对应的执行终端；
所述分配终端向执行终端发送数据清洗指令，所述数据清洗指令携带有第一数据标识；
所述执行终端根据所述第一数据标识从所述待清洗数据中选取第一目标数据进行清洗，并将清洗完成的所述第一目标数据发送至数据服务器；
所述分配终端查询第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器。
在一个实施例中，所述分配终端查询第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器之后，包括；
所述分配终端获取监控时刻，根据所述监控时刻向所述执行终端发送状态验证信息；
所述分配终端接收所述执行终端根据所述状态验证信息返回的反馈信息；
所述分配终端根据所述反馈信息统计所述执行终端对应的清洗完成数据量。
在一个实施例中，所述分配终端获取监控时刻，根据所述监控时刻向所述执行终端发送状态验证信息之后，包括：
所述分配终端查询未返回反馈信息的所述执行终端对应的终端标识，作为待查询标识；
所述分配终端根据所述待查询标识查询当前清洗数据量，并获取与待查询标识所对应的分配数据量；
当所述当前清洗数据量低于所述分配数据量时，则所述分配终端查询与所述待查询标识对应的未完成数据；
所述分配终端提取所述未完成数据对应的未完成数据标识，并将所述未完成数据标识发送至返回所述反馈信息的执行终端。
在一个实施例中，所述分配终端根据所述反馈信息统计所述执行终端对应的清洗完成数据量之后，包括；
所述分配终端根据所述清洗完成数据量得到每个执行终端的未完成数据量；
所述分配终端根据所述未完成数据量提取任务转移标识；
所述分配终端根据所述任务转移标识查询待转移数据，并将所述待转移数据对应的待转移数据标识发送至不同的执行终端。
在一个实施例中，所述分配终端将所述待转移数据对应的待转移数据标识发送至不同的执行终端，包括：
所述分配终端查询返回所述反馈信息的执行终端的第一待完成数据量，并查询当前存储的第二待完成数据量；
所述分配终端根据所述第一待完成数据量以及第二待完成数据量，选取待分配终端；
所述分配终端获取所述待分配终端对应的当前位置坐标，根据所述当前位置坐标，发送所述待转移数据标识。
在一个实施例中，所述终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据所述终端标识确定所述终端集群中的分配终端和执行终端，包括：
所述终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识；
所述终端集群中的不同终端根据所述终端标识发送数据交互请求；
所述终端集群中的不同的终端根据接收到的，与所述数据交互请求对应的数据相应信息确定分配终端和执行终端。
一种数据清洗系统，所述数据清洗系统包括分配服务器、数据服务器以及终端集群；
所述分配服务器用于向所述终端集群发送，在所述终端集群中已启动的终端对应的终端标识；
所述终端集群用于接收所述终端标识，并根据所述终端标识确定所述终端集群中的分配终端和执行终端，通过所述分配终端查询执行终端对应的终端标识，并获取待清洗数据，并将所述待清洗数据发送至与所述终端标识对应的执行终端；通过所述分配终端向所述执行终端发送数据清洗指令，所述数据清洗指令携带有第一数据标识；通过所述执行终端根据所述第一数据标识从所述待清洗数据中选取第一目标数据进行清洗，并将清洗完成的所述第一目标数据发送至数据服务器；通过所述分配终端查询第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器。
所述数据服务器用于接收所述终端集群清洗完成的第一目标数据，以及清洗完成的第二目标数据。
在一个实施例中，所述终端集群还用于通过所述分配终端获取监控时刻，根据所述监控时刻向所述执行终端发送状态验证信息；通过所述分配终端接收所述执行终端根据所述状态验证信息返回的反馈信息；并通过所述分配终端根据所述反馈信息统计所述执行终端对应的清洗完成数据量。
在一个实施例中，所述终端集群还用于通过所述分配终端查询未返回反馈信息的所述执行终端对应的终端标识，作为待查询标识；通过所述分配终端根据所述待查询标识查询当前清洗数据量，并获取与待查询标识所对应的分配数据量；当所述当前清洗数据量低于所述分配数据量时，则通过所述分配终端查询与所述待查询标识对应的未完成数据；通过所述分配终端提取所述未完成数据对应的未完成数据标识，并将所述未完成数据标识发送至返回所述反馈信息的执行终端。
在一个实施例中，所述终端集群还用于通过所述分配终端根据所述清洗完成数据量得到每个执行终端的未完成数据量；并通过所述分配终端根据所述未完成数据量提取任务转移标识；并通过所述分配终端根据所述任务转移标识查询待转移数据，并将所述待转移数据对应的待转移数据标识发送至不同的执行终端。
上述数据清洗方法和系统不同的终端在采集到数据时，并不需要将数据回传至服务器再进行清洗，而是终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据终端标识确定终端集群中的分配终端和执行终端，进而分配终端获取到执行终端对应的终端标识，并查询到预存储的待清洗数据，进而将待清洗数据发送至与终端标识对应的执行终端，并向终端标识对应的执行终端发送数据清洗指令，数据清洗指令携带有第一数据标识，从而执行终端可以根据第一数据标识从待清洗数据中选取第一目标数据进行清洗，且清洗完成后将第一目标数据发送至数据服务器，进而获取到第二数据标识，根据第二数据标识从待清洗数据中选取第二目标数据进行清洗，并将清洗完成的第二目标数据发送至数据服务器，从而实现将数据清洗在终端实现，避免服务器负载过大，从而避免为了降低服务器负载需要持续对服务器进行升级，降低成本。
附图说明
图1为一个实施例中数据清洗方法的应用场景图；
图2为一个实施例中数据清洗方法的流程示意图；
图3为一个实施例中数据清洗数量统计步骤的流程示意图；
图4为一个实施例中数据转移步骤的流程示意图；
图5为一个实施例中终端选择步骤的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据清洗方法，可以应用于如图1所示的应用环境中。其中，终端集群102、分配服务器104以及数据服务器106通过网络进行通信，其中终端集群102中包括有分配终端102a，以及执行终端102b，且终端集群102接收到分配服务108发送的，在终端集群102中已启动的终端对应的终端标识，并根据终端标识确定终端集群102中的分配终端102a和执行终端102b，分配终端102a查询到执行终端102b对应的终端标识，并获取预存储的待清洗数据，分配终端102a将待清洗数据发送至与终端标识对应的执行终端102b，分配终端102a向执行终端102b发送数据清洗指令，且该数据清洗指令携带有第一数据标识，执行终端102b可以根据第一数据标识从待清洗数据中选取到第一目标数据进行清洗，执行终端102b将清洗完成的第一目标数据发送至数据服务器108，进而分配终端102a查询第二数据标识，分配终端102a可以根据第二数据标识从待清洗数据中选取第二目标数据进行清洗，并将清洗完成的第二目标数据发送至数据服务器108。其中，分配终端102a可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，执行终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，分配服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，数据服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据清洗方法，以该方法应用于图1中的终端集群102为例进行说明，包括以下步骤：
S202：终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据终端标识确定终端集群中的分配终端和执行终端。
具体地，终端集群是指用于采集数据，从而可以完成数据清洗的终端所组成的集群。分配服务器是指用于当监听不同的终端开始进行数据采集，获取到不同终端的终端标识，并向不同的终端反馈当前进行数据采集的终端的终端标识的服务器。分配终端是指终端集群中不同的终端进行确定得到的，用于分配待清洗数据，并监控不同执行终端的执行状态的终端。执行终端是指进行数据采集，且可以被分配终端分配待清洗数据，并完成数据清洗的终端。终端标识是指不同的执行终端对应的，唯一查找到该终端的标志，终端标识可以是网络地址等。
具体地，在不同的终端中安装有应用程序，且应用程序对应有初始代码段，当应用程序启动时，则分配终端监听到初始代码段被执行，则服务器获取到运行应用程序的终端地址，进而分配服务器统计预设时间段内，监听到初始代码段运行的终端标识，并将统计到的终端标识作为终端集群，当不同的终端启动应用程序时，则向服务器发送获取到在预设时间段内启动应用程序的终端标识的获取请求，不同的终端从分配服务器获取到其他终端的终端标识时，则根据终端标识选取到对应的分配终端，进而未被选取为分配终端的终端作为执行终端，
S204：分配终端查询执行终端对应的终端标识，并获取待清洗数据，并将待清洗数据发送至与所述终端标识对应的执行终端。
分配终端和执行终端均进行数据采集，且执行终端根据分配终端的终端标识，将采集到的数据发送至分配终端进行存储，因此，分配终端所采集的数据、以及从不同的执行终端所接收到的数据作为待清洗数据，当分配终端以及执行终端对数据采集完成时，分配终端查询到从分配服务器获取到的执行终端的终端标识，并且查询到预存储的待清洗数据，
根据终端标识，将预存储的待清洗数据发送至执行终端，不同的执行终端中存储有其他执行终端以及分配终端所采集到的数据，便于后续进行清洗处理。
S206：分配终端向执行终端发送数据清洗指令，所述数据清洗指令携带有第一数据标识。
以使所述执行终端根据所述第一数据标识从所述待清洗数据中选取第一目标数据进行清洗，并将清洗完成的所述第一目标数据发送至数据服务器。
具体地，数据清洗指令是指分配终端向执行终端发送的，指示执行终端进行数据清洗的命令。第一数据标识是指执行终端所要清洗的数据的标志，可以理解的是，当待清洗数据以数据文件形式存储时，则第一数据标识可以是数据文件名称，也可以是待清洗数据对应的数据字段，使得执行终端查找到对应的数据字段，即可查询到所需清洗的数据。第一目标数据是指执行终端按照第一数据标识，从待清洗数据中选取到的所需要进行清洗的数据。数据服务器是指用于接收清洗后的数据的服务器。
具体地，分配终端查询到待清洗数据的数据总量，以及终端集群中所有的终端的终端数量，并根据待清洗数据的数据总量以及所有终端的终端数据，计算得到每个终端所需进行清洗的终端清洗数量，根据终端清洗数量，从待清洗数据中按照顺序生成不同的数据标识，且需要执行终端进行数据清洗的数据所对应的数据标识为第一数据标识，进而分配终端向执行终端发送对应的待清洗数据时，分配终端接收不同的执行终端返回的接收信息，分配终端根据接收信息，根据终端标识，向执行终端发送数据清洗指令，且该数据清洗指令上携带有第一数据标识。可以是，分配终端向执行终端发送对应的待清洗数据时，分配终端接收不同的执行终端返回的接收信息，该接收信息即表明执行终端接收到所有的待清洗数据，分配终端向执行终端发送数据清洗指令，且该第一数据标识是分配终端查询到待清洗数据的数据总量，以及终端集群中所有的终端的终端数量，并根据待清洗数据的数据总量以及所有终端的终端数据，计算得到每个终端所需进行清洗的终端清洗数量，根据终端清洗数量，从待清洗数据中按照顺序生成不同的数据标识，且生成的数据标识为执行终端所要清洗的数据对应的数据标识为第一数据标识。需要说明的是，当分配终端在预设时间段内未接收到执行终端所返回的接收信息时，则该执行终端无法进行数据通信，因此，分配终端查找未发送执行信息的执行终端，并将该执行终端所对应的执行标识进行删除，后续无需向该删除后的终端标识发送数据清洗指令。
S208：执行终端根据第一数据标识从待清洗数据中选取第一目标数据进行清洗，并将清洗完成的第一目标数据发送至数据服务器。
当执行终端接收到数据清洗指令时，则查询到数据清洗指令所携带的第一数据标识，执行终端根据第一数据标识，从待清洗数据中查询到第一目标数据，进而查询预存储的数据清洗逻辑，根据数据清洗逻辑对第一目标数据进行清洗，当第一目标数据清洗完成时，则将第一目标数据直接发送至数据服务器进行存储。
可以是，执行终端接收到数据清洗指令时，则提取到数据清洗指令携带的第一数据标识，可以是数据字段，执行终端根据数据字段与接收到的待清洗数据所对应的清洗字段进行匹配，当匹配成功时，则选取到匹配成功的清洗字段对应的数据作为第一目标数据，进而执行终端查询到需要对第一目标数据删除特殊字符，则执行终端对第一目标数据中的特殊字符进行删除，从而完成对第一目标数据的清洗，当执行终端对第一目标数据清洗完成时，则将清洗完成的第一目标数据无需再发送至对应的分配服务器，可以直接发送至数据服务器。
S210：分配终端查询第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器。
具体地，第二数据标识是指分配终端所要清洗的数据的标志，可以理解的是，当待清洗数据以数据文件形式存储时，则第二数据标识可以是数据文件名称，也可以是待清洗数据对应的数据字段，使得分配终端查找到对应的数据字段，即可查询到所需清洗的数据。
具体地，分配终端按照上述步骤生成不同的数据标识，其中分配终端所进行清洗的数据对应的数据标识为第二数据标识，因此由于分配终端也需要对待清洗数据进行清洗，因此分配终端从待清洗数据中选取到所要清洗的数据，分配终端从待清洗数据中查询所要清洗的数据可以是查询到第二数据标识，如查询到所要清洗数据的数据字段，进而分配终端根据数据字段从待清洗数据中选取第二目标数据，并查询预存储的清洗逻辑，该清洗逻辑可以是对数据中的特殊字段进行删除等，进而分配终端根据清洗逻辑对第二目标数据进行清洗，并将清洗完成的第二目标数据直接发送至数据服务器。
上述数据清洗方法中，对采集到的数据清洗均在终端中完成，避免数据服务器接收到数据时再进行数据清洗时导致负载过大，且为了保证数据清洗效率则需要升级硬件产品，则可以降低成本，且在数据清洗过程中，清洗完成的数据无需通过执行终端返回至分配终端，直接发送至数据服务器进行存储，则避免对分配终端的空间占用较大，节省存储空间，且可以避免多次数据传输导致数据传输不安全，且可以保证数据服务器快速接收到清洗完成的数据。
在一个实施例中，请参见图3，提供以一数据清洗数量统计步骤的流程示意图，数据清洗数量统计步骤，也即获取第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器之后，包括；S302：分配终端获取监控时刻，根据监控时刻向执行终端发送状态验证信息。S304：分配终端接收执行终端根据状态验证信息返回的反馈信息。S306：分配终端根据反馈信息统计执行终端对应的清洗完成数据量。
具体地，监控时刻是指分配终端需要获取执行终端对第一目标数据的清洗状态的时刻，可以理解的是，监控时刻可以是分配终端按照预设时间间隔所设定的时刻。状态验证信息是指分配终端向执行终端发送的，用于查询执行终端对第一目标数据的清洗的执行状态的查询信息，且该状态验证信息上还可以携带有分配终端的对第二目标数据的清洗的执行状态。反馈信息是指执行终端根据状态验证信息，向分配终端返回的当前的数据清洗完成状态的信息。
具体地，在执行数据清洗的过程中，需要对清洗完成的数据量进行统计，因此，分配终端获取预存储的监控时刻，分配终端根据预存储的监控时刻向执行终端发送有状态验证信息，执行终端接收到状态验证信息时，提取到状态验证信息上携带的与分配终端所对应的分配终端对数据清洗的完成状态，并查询与当前完成清洗的第一目标数据所对应的数据完成标识以及对应的终端标识，生成反馈信息，执行终端将反馈信息发送至分配终端，当分配终端接收到反馈信息时，根据反馈信息所携带的数据完成标识，从待清洗数据中查询到已完成清洗的数据，并统计执行终端所完成的清洗完成数据量，其中，统计执行终端所完成的清洗完成数据量可以是根据不同的执行终端所对应的终端标识，分别统计每个终端标识对应的清洗完成数据量。
本实施例中，分配终端可以根据监控时刻统计执行终端的清洗完成数据量，可以实时监控数据清洗的执行情况，保证数据清洗过程的准确执行，且保证数据清洗的效率。
在一个实施例中，可继续参见图3，步骤S302之后，也即分配终端获取监控时刻，根据所述监控时刻向所述执行终端发送状态验证信息之后，包括：分配终端查询未返回反馈信息的执行终端对应的终端标识，作为待查询标识。分配终端根据待查询标识查询当前清洗数据量，并获取与待查询标识所对应的分配数据量。当当前清洗数据量低于分配数据量时，则分配终端查询与待查询标识对应的未完成数据。分配终端提取未完成数据对应的未完成数据标识，并将未完成数据标识发送至返回反馈信息的执行终端。
具体地，未完成数据标识是指未完成清洗的数据对应的数据标志，可以是，当待清洗数据以数据文件形式存储时，则未完成数据标识为未完成清洗的数据对应的数据文件名称，也可以是为完成清洗的数据对应的数据字段
具体地，当前清洗数量是指未返回反馈信息的执行终端已完成清洗的数据对应的数据量。具体地，当分配终端按照监控时刻向执行终端发送状态验证信息时，分配终端可以提取反馈信息所携带的终端标识，分配终端根据反馈信息携带的终端标识，可以查询到未返回反馈信息的执行终端对应的终端标识，并将未返回反馈信息的执行终端对应的终端标识作为待查询标识，进而分配终端根据待查询标识，查询待查询标识对应的终端之前返回的反馈信息所对应的数据完成标识，查询到当前清洗数据量，进而分配终端查询到待查询标识所对应的分配数据量，也即分配至该待查询标识对应的执行终端所要清洗数据的数量，分配终端比较当前清洗数据量与分配数据量，当当前清洗数据量低于分配数据量时，则该待查询标识对应的执行终端并未完成清洗任务，且也并未返回反馈信息，则该待查询标识对应的执行终端进入关机或休眠模型，则为了保证数据清洗效率，则需要将待查询标识对应的执行终端未完成清洗的数据分配至正常工作的执行终端，因此，分配终端根据待查询标识对应的执行终端之前的反馈信息，查询到已完成数据，从而得到未完成数据，分配终端根据未完成数据，提取到未完成数据对应的未完成数据标识，分配终端将未完成数据标识发送至其他执行终端，可以发送至返回反馈信息的执行终端，使得返回反馈信息的执行终端可以继续对未完成数据进行清洗。
本实施例中，分配终端可以将未返回反馈信息，且未完成清洗的执行终端对应的未完成数据发送至其他执行终端，保证数据清洗不中断，也即可以根据不同执行终端的执行状态分配清洗数据，增强适用性，且保证数据清洗的效率。
在一个实施例中，可参见图4，提供一数据转移步骤的流程示意图，步骤转移步骤，也即分配终端根据反馈信息统计执行终端对应的清洗完成数据量之后，包括；S402：分配终端根据清洗完成数据量得到每个执行终端的未完成数据量。S404：分配终端根据未完成数据量提取任务转移标识。S406：分配终端根据任务转移标识查询待转移数据，并将待转移数据对应的待转移数据标识发送至不同的执行终端。
具体地，任务转移标识是指需要转移至其他执行终端的数据标志。具体地，当分配终端根据统计得到的清洗完成数据量，获取到每个执行终端所对应的分配数据量，根据分配数据量与清洗完成数据量得到未完成数据量，分配终端查询到最大的未完成数据量，并查询最大的未完成数据量对应的执行终端的终端标识，并将该终端标识提取作为任务转移标识，也即该执行终端所完成清洗的数据量最小，则为了保证数据清洗效率，则可以将未完成清洗的数据分配至其他执行终端，因此，分配终端根据任务转移标识查询到需要进行数据转移的执行终端的反馈信息，并根据该反馈信息查询到已完成数据，从而可以查询到未完成数据，并从未完成数据中提取待转移数据，分配终端获取到待转移数据对应的待转移数据标识，并将待转转移数据标识发送至不同的执行终端。其中，分配终端从未完成数据中提取待转移数据可以是，获取到预设提取数量，根据预设提取数量，从未完成数据中提取与预设提取数量的数据作为待转移数据，也可以是，查询不同的执行终端中最小的未完成数据量，根据最小的未完成数据量与最大的未完成数据量的差值，从未完成数据中提取与差值对应数量的数据作为待转移数据。
本实施例中，分配终端可以根据未完成数据量将未完成数据进行转移，从而保证数据清洗的效率。
在一个实施例中，分配终端将待转移数据对应的待转移数据标识发送至不同的执行终端，可以包括：分配终端查询返回反馈信息的执行终端的第一待完成数据量，并查询当前存储的第二待完成数据量；分配终端根据第一待完成数据量以及第二待完成数据量，选取待分配终端；分配终端获取待分配终端对应的当前位置坐标，根据当前位置坐标，发送待转移数据标识。
具体地，第一待完成数据量是指已返回反馈信息的执行终端中，未完成数据清洗的数据的数据量。第二待完成数据量是指分配终端中，未完成数据清洗的数据的数据量。待分配终端是指进行初始选取，待完成数据量较少的执行终端。
具体地，分配终端选择需要将待转移数据标识发送至不同的执行终端时，可以先查询不同执行终端的未完成数据量，进而为了保证数据传输的稳定，可以再考虑位置，从而选取到接收待转移数据标识的执行终端。也即分配终端根据反馈信息查询到不同的执行终端的已完成清洗的数据，从而分配终端得到的不同执行终端的未完成数据，进而统计未完成数据的第一待完成数据量，且由于分配终端也进行数据清洗，因此，分配终端查询当前自身进行数据清洗的，第二待完成数据量，并将第一待完成数据量与第二待完成数据量进行比较得到比较结果，选取比较结果小的终端作为待分配终端，进而为了保证传输的稳定性，因此，分配终端获取到选择的待分配终端的当前位置坐标，分配终端查询分配终端位置坐标，则根据获取到的不同的当前位置坐标以及分配终端位置坐标，计算不同的距离，并选取距离最小的当前位置坐标对应的待分配终端作为接收待转移数据标识的终端，分配终端并将待转移数据标识进行发送。
本实施例中，分配终端将待转移数据标识进行发送时，会结合不同的终端的待完成数据量，以及不同终端的位置选择，从而保证数据传输的稳定性，且可以保证数据清洗的效率。
在一个实施例中，请参见图5，提供一终端选择步骤的流程示意图，终端选择步骤，也即终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据终端标识确定终端集群中的分配终端和执行终端，包括：S502：终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识。S504：终端集群中的不同终端根据终端标识发送数据交互请求。S506：终端集群中的不同的终端根据接收到的，与数据交互请求对应的数据相应信息确定分配终端和执行终端。
具体地，是通过分配终端执行获取到执行终端对应的终端标识，并查询预存储的待清洗数据，且选择分配终端可以是，当不同的终端启动应用程序时，则向服务器发送获取到在预设时间段内启动应用程序的终端标识的获取请求，分配服务器根据获取请求，向不同的终端发送其他终端的终端标识，不同的终端接收到分配服务器发送的其他终端的终端标识，不同的终端根据接收到的终端标识，互相发送数据交互指令，进而不同的终端可以接收到其他终端返回的与数据交互指令所对应的数据响应信息，且不同的终端将接收到的数据响应信息均广播至其他终端，则广播的数据响应信息最多的终端作为分配终端，也即该终端时接收到数据请求指令最多，且反馈的数据响应信息最多，从而较稳定，因此选择该终端作为分配终端。
需要说明的是，当不同的终端向其他终端发送数据交互指令时，可以统计最快返回数据响应信息的终端，进而将最快返回数据响应信息广播至其他终端，将最快反馈数据响应信息最多的终端作为分配终端，也即当前分配终端最稳定，且响应速度快。
另外，在数据清洗过程中，分配终端会在监控时刻向不同的执行终端发送状态验证信息，当不同的执行终端在预设时间段内未收到分配终端发送的状态验证信息，则当前的分配终端可能关机或者休眠模式，无法继续进行数据清洗，因此，采用如上步骤重新选取到新的分配终端，新的分配终端并根据之前分配终端反馈的状态验证信息，将之前分配终端未完成数据清洗的数据重新进行分配。
本实施例中，选择分配终端也是通过终端直接进行选择，无需分配服务器参与选择终端，从而将数据清洗任务均在终端进行，减少服务器与终端之间的交互次数，从而提高数据清洗效率。
在一个实施例中，以清洗ERP(Enterprise Resource Planning，企业资源计划)管理系统中所需数据为例进行说明，对于ERP系统对应的数据服务器所需存储有企业数据，而由于数据服务器所要求的数据格式等不相同，则需要进行统一的数据清洗，而本实施例中，为了避免持续升级数据服务器的硬件，则数据清洗过程均在采集数据的终端中进行，另外，对于本实施例中，采集数据的终端可以安装有对应的应用程序，且可以通过分配服务器控制安装在采集数据的终端上的应用程序，该分配服务器可以是提供应用程序的企业所对应的服务器，如是第三方企业对应的服务器，也可以是ERP系统所对应的企业的服务器。
分配服务器监听到运行有应用程序的终端，则终端开始采集数据，进而分配服务器选取到预设时间段内均运行应用程序的终端集群，并统计不同的终端的终端标识，不同的终端可以从分配服务器中获取到对应的终端标识，并根据终端标识互相发送数据交互指令，并根据接收到与数据交互指令对应的数据响应信息选取出分配终端，其他终端作为执行终端，此后所有数据清洗任务均在终端中进行操作，也即分配终端可以接收到不同执行终端采集完成的待清洗数据，并将待清洗数据发送至不同的执行终端，进而分配终端会发送数据清洗指令至不同的执行终端，不同的执行终端根据数据清洗指令携带的第一数据标识选取第一目标数据进行清洗，并将清洗完成的第一目标数据返回至ERP系统所对应的数据服务器，且分配终端也需要对待清洗数据进行清洗，因此分配终端会查询第二数据标识，根据第二数据标识从待清洗数据中选取第二目标数据进行清洗，并将清洗完成的第二目标数据返回至ERP系统所对应的数据服务器，从而完成数据清洗。本过程中，无需任何服务器参与，且终端完成的数据清洗会直接反馈至ERP系统所对应的数据服务器，也即若提供数据采集的应用程序的分配服务器为第三方服务器，则由于无需将清洗完成的数据发送至分配服务器，则保证数据安全性。另外，在数据清洗过程中，分配终端和执行终端可以互相监控执行状态，即使将未完成数据清洗的数据重新调配，避免有终端关机或进入休眠模式而导致数据清洗失败。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种数据清洗系统，包括：分配服务器、数据服务器以及终端集群，其中：
分配服务器用于向终端集群发送，在终端集群中已启动的终端对应的终端标识。
终端集群用于接收终端标识，并根据终端标识确定终端集群中的分配终端和执行终端，通过分配终端查询执行终端对应的终端标识，并获取待清洗数据，并将待清洗数据发送至与终端标识对应的执行终端。通过分配终端向执行终端发送数据清洗指令，数据清洗指令携带有第一数据标识。通过执行终端根据第一数据标识从待清洗数据中选取第一目标数据进行清洗，并将清洗完成的第一目标数据发送至数据服务器。通过分配终端查询第二数据标识，根据第二数据标识从待清洗数据中选取第二目标数据进行清洗，并将清洗完成的第二目标数据发送至数据服务器。
数据服务器用于接收终端集群清洗完成的第一目标数据，以及清洗完成的第二目标数据。
在一个实施例中，终端集群还用于通过分配终端获取监控时刻，根据监控时刻向执行终端发送状态验证信息。通过分配终端接收执行终端根据状态验证信息返回的反馈信息。并通过分配终端根据反馈信息统计执行终端对应的清洗完成数据量。
在一个实施例中，终端集群还用于通过分配终端查询未返回反馈信息的执行终端对应的终端标识，作为待查询标识。通过分配终端根据待查询标识查询当前清洗数据量，并获取与待查询标识所对应的分配数据量。当当前清洗数据量低于分配数据量时，则通过分配终端查询与待查询标识对应的未完成数据。通过分配终端提取未完成数据对应的未完成数据标识，并将未完成数据标识发送至返回反馈信息的执行终端。
在一个实施例中，终端集群还用于通过分配终端根据清洗完成数据量得到每个执行终端的未完成数据量。并通过分配终端根据未完成数据量提取任务转移标识。并通过分配终端根据任务转移标识查询待转移数据，并将待转移数据对应的待转移数据标识发送至不同的执行终端。
在一个实施例中，终端集群还用于通过分配终端查询返回反馈信息的执行终端的第一待完成数据量，并查询当前存储的第二待完成数据量。通过分配终端根据第一待完成数据量以及第二待完成数据量，选取待分配终端。通过分配终端获取待分配终端对应的当前位置坐标，根据当前位置坐标，发送待转移数据标识。
在一个实施例中，终端集群还用于接收分配服务器发送的，终端集群中已启动的终端对应的终端标识。不同终端根据终端标识发送数据交互请求。不同的终端根据接收到的，与数据交互请求对应的数据相应信息确定分配终端和执行终端。
关于数据清洗系统的具体限定可以参见上文中对于数据清洗方法的限定，在此不再赘述。上述数据清洗系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据清洗方法，所述方法包括：终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据所述终端标识确定所述终端集群中的分配终端和执行终端；
所述分配终端查询执行终端对应的终端标识，并获取待清洗数据，并将所述待清洗数据发送至与所述终端标识对应的执行终端；
所述分配终端向所述执行终端发送数据清洗指令，所述数据清洗指令携带有第一数据标识；
所述执行终端根据所述第一数据标识从所述待清洗数据中选取第一目标数据进行清洗，并将清洗完成的所述第一目标数据发送至数据服务器；
所述分配终端查询第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器。
2.根据权利要求1所述的方法，其特征在于，所述分配终端查询第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器之后，包括；
所述分配终端获取监控时刻，根据所述监控时刻向所述执行终端发送状态验证信息；
所述分配终端接收所述执行终端根据所述状态验证信息返回的反馈信息；
所述分配终端根据所述反馈信息统计所述执行终端对应的清洗完成数据量。
3.根据权利要求2所述的方法，其特征在于，所述分配终端获取监控时刻，根据所述监控时刻向所述执行终端发送状态验证信息之后，包括：
所述分配终端查询未返回反馈信息的所述执行终端对应的终端标识，作为待查询标识；
所述分配终端根据所述待查询标识查询当前清洗数据量，并获取与待查询标识所对应的分配数据量；
当所述当前清洗数据量低于所述分配数据量时，则所述分配终端查询与所述待查询标识对应的未完成数据；
所述分配终端提取所述未完成数据对应的未完成数据标识，并将所述未完成数据标识发送至返回所述反馈信息的执行终端。
4.根据权利要求2所述的方法，其特征在于，所述分配终端根据所述反馈信息统计所述执行终端对应的清洗完成数据量之后，包括；
所述分配终端根据所述清洗完成数据量得到每个执行终端的未完成数据量；
所述分配终端根据所述未完成数据量提取任务转移标识；
所述分配终端根据所述任务转移标识查询待转移数据，并将所述待转移数据对应的待转移数据标识发送至不同的执行终端。
5.根据权利要求4所述的方法，其特征在于，所述分配终端将所述待转移数据对应的待转移数据标识发送至不同的执行终端，包括：
所述分配终端查询返回所述反馈信息的执行终端的第一待完成数据量，并查询当前存储的第二待完成数据量；
所述分配终端根据所述第一待完成数据量以及第二待完成数据量，选取待分配终端；
所述分配终端获取所述待分配终端对应的当前位置坐标，根据所述当前位置坐标，发送所述待转移数据标识。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识，并根据所述终端标识确定所述终端集群中的分配终端和执行终端，包括：
所述终端集群接收分配服务器发送的，终端集群中已启动的终端对应的终端标识；
所述终端集群中的不同终端根据所述终端标识发送数据交互请求；
所述终端集群中的不同的终端根据接收到的，与所述数据交互请求对应的数据相应信息确定分配终端和执行终端。
7.一种数据清洗系统，其特征在于，所述数据清洗系统包括分配服务器、数据服务器以及终端集群；
所述分配服务器用于向所述终端集群发送，在所述终端集群中已启动的终端对应的终端标识；
所述终端集群用于接收所述终端标识，并根据所述终端标识确定所述终端集群中的分配终端和执行终端，通过所述分配终端查询执行终端对应的终端标识，并获取待清洗数据，并将所述待清洗数据发送至与所述终端标识对应的执行终端；通过所述分配终端向所述执行终端发送数据清洗指令，所述数据清洗指令携带有第一数据标识；通过所述执行终端根据所述第一数据标识从所述待清洗数据中选取第一目标数据进行清洗，并将清洗完成的所述第一目标数据发送至数据服务器；通过所述分配终端查询第二数据标识，根据所述第二数据标识从所述待清洗数据中选取第二目标数据进行清洗，并将清洗完成的所述第二目标数据发送至数据服务器；
所述数据服务器用于接收所述终端集群清洗完成的第一目标数据，以及清洗完成的第二目标数据。
8.根据权利要求7所述的系统，其特征在于，所述终端集群还用于通过所述分配终端获取监控时刻，根据所述监控时刻向所述执行终端发送状态验证信息；通过所述分配终端接收所述执行终端根据所述状态验证信息返回的反馈信息；并通过所述分配终端根据所述反馈信息统计所述执行终端对应的清洗完成数据量。
9.根据权利要求8所述的系统，其特征在于，所述终端集群还用于通过所述分配终端查询未返回反馈信息的所述执行终端对应的终端标识，作为待查询标识；通过所述分配终端根据所述待查询标识查询当前清洗数据量，并获取与待查询标识所对应的分配数据量；当所述当前清洗数据量低于所述分配数据量时，则通过所述分配终端查询与所述待查询标识对应的未完成数据；通过所述分配终端提取所述未完成数据对应的未完成数据标识，并将所述未完成数据标识发送至返回所述反馈信息的执行终端。
10.根据权利要求8所述的系统，其特征在于，所述终端集群还用于通过所述分配终端根据所述清洗完成数据量得到每个执行终端的未完成数据量；并通过所述分配终端根据所述未完成数据量提取任务转移标识；并通过所述分配终端根据所述任务转移标识查询待转移数据，并将所述待转移数据对应的待转移数据标识发送至不同的执行终端。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818973.9A CN110659272A (zh) | 2019-08-30 | 2019-08-30 | 数据清洗方法和系统 |
| PCT/CN2020/087664 WO2021036319A1 (zh) | 2019-08-30 | 2020-04-29 | 数据清洗方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818973.9A CN110659272A (zh) | 2019-08-30 | 2019-08-30 | 数据清洗方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110659272A true CN110659272A (zh) | 2020-01-07 |
Family
ID=69037881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910818973.9A Pending CN110659272A (zh) | 2019-08-30 | 2019-08-30 | 数据清洗方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110659272A (zh) |
| WO (1) | WO2021036319A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111522803A (zh) * | 2020-04-14 | 2020-08-11 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| WO2021036319A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳壹账通智能科技有限公司 | 数据清洗方法和系统 |
| CN113835843A (zh) * | 2021-09-29 | 2021-12-24 | 平安养老保险股份有限公司 | redis集群的模糊操作方法、装置、计算机设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110072082A1 (en) * | 2008-05-14 | 2011-03-24 | Masaya Fujiwaka | Information processing system and information processing method |
| US20150156087A1 (en) * | 2013-07-13 | 2015-06-04 | Tencent Technology (Shenzhen) Company Limited | Method For Acquiring Monitoring Data and System Thereof, Task Distribution Server and Agent |
| CN106790723A (zh) * | 2017-03-23 | 2017-05-31 | 泰康保险集团股份有限公司 | 应用服务的监控方法、负载均衡设备与监控设备 |
| CN107273527A (zh) * | 2017-06-27 | 2017-10-20 | 北京云和时空科技有限公司 | 一种Hadoop集群和分布式系统 |
| CN108345643A (zh) * | 2018-01-12 | 2018-07-31 | 联动优势电子商务有限公司 | 一种数据处理方法及装置 |
| CN109684082A (zh) * | 2018-12-11 | 2019-04-26 | 中科恒运股份有限公司 | 基于规则算法的数据清洗方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659272A (zh) * | 2019-08-30 | 2020-01-07 | 深圳壹账通智能科技有限公司 | 数据清洗方法和系统 |
-
2019
- 2019-08-30 CN CN201910818973.9A patent/CN110659272A/zh active Pending
-
2020
- 2020-04-29 WO PCT/CN2020/087664 patent/WO2021036319A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110072082A1 (en) * | 2008-05-14 | 2011-03-24 | Masaya Fujiwaka | Information processing system and information processing method |
| US20150156087A1 (en) * | 2013-07-13 | 2015-06-04 | Tencent Technology (Shenzhen) Company Limited | Method For Acquiring Monitoring Data and System Thereof, Task Distribution Server and Agent |
| CN106790723A (zh) * | 2017-03-23 | 2017-05-31 | 泰康保险集团股份有限公司 | 应用服务的监控方法、负载均衡设备与监控设备 |
| CN107273527A (zh) * | 2017-06-27 | 2017-10-20 | 北京云和时空科技有限公司 | 一种Hadoop集群和分布式系统 |
| CN108345643A (zh) * | 2018-01-12 | 2018-07-31 | 联动优势电子商务有限公司 | 一种数据处理方法及装置 |
| CN109684082A (zh) * | 2018-12-11 | 2019-04-26 | 中科恒运股份有限公司 | 基于规则算法的数据清洗方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021036319A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳壹账通智能科技有限公司 | 数据清洗方法和系统 |
| CN111522803A (zh) * | 2020-04-14 | 2020-08-11 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| CN111522803B (zh) * | 2020-04-14 | 2023-05-19 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| CN113835843A (zh) * | 2021-09-29 | 2021-12-24 | 平安养老保险股份有限公司 | redis集群的模糊操作方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021036319A1 (zh) | 2021-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108924250B (zh) | 基于区块链的业务请求处理方法、装置和计算机设备 | |
| CN107832126B (zh) | 一种线程的调整方法及其终端 | |
| CN109040227B (zh) | 基于区块链的业务请求响应方法、装置和计算机设备 | |
| CN109558162B (zh) | 应用程序发布方法、装置、计算机设备及存储介质 | |
| CN110659272A (zh) | 数据清洗方法和系统 | |
| CN107861811B (zh) | 工作流系统中的任务信息传输方法、装置和计算机设备 | |
| CN110750267A (zh) | 业务信息更新方法、装置、计算机设备和存储介质 | |
| CN110995513A (zh) | 物联网系统中的数据发送、接收方法、物联网设备及平台 | |
| CN111159233B (zh) | 分布式缓存方法、系统、计算机设备以及存储介质 | |
| CN108965450B (zh) | 业务请求响应方法、装置、计算机设备和存储介质 | |
| CN110795171A (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
| CN111177121A (zh) | 订单数据反馈方法、装置、计算机设备及存储介质 | |
| CN109327499B (zh) | 业务接口的管理方法及装置、存储介质、终端 | |
| CN112232902B (zh) | 订单数据处理方法、装置、系统、计算机设备和存储介质 | |
| CN110298549B (zh) | 机场建设工程的项目任务处理方法、装置、设备和介质 | |
| CN113065887A (zh) | 资源处理方法、装置、计算机设备和存储介质 | |
| CN110648052B (zh) | 风控决策方法、装置、计算机设备和存储介质 | |
| CN105893150B (zh) | 接口调用频度控制、接口调用请求处理方法及装置 | |
| CN110457614B (zh) | 降低数据并发量的数据增量更新方法、装置和计算机设备 | |
| CN112003930A (zh) | 任务分配方法、装置、设备及存储介质 | |
| CN109460278B (zh) | 云桌面建筑设计软件管理方法、装置和计算机设备 | |
| CN114090268B (zh) | 容器管理方法及容器管理系统 | |
| CN115510366A (zh) | 业务消息推送方法、装置、计算机设备和存储介质 | |
| CN114896337A (zh) | 一种数据上链方法、系统、设备和计算机可读存储介质 | |
| CN112217849B (zh) | Sd-wan系统中的任务调度方法、系统和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200107 |