CN113360557A - 一种数据集成速度的调整方法、装置、设备及介质 - Google Patents
一种数据集成速度的调整方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113360557A CN113360557A CN202110590928.XA CN202110590928A CN113360557A CN 113360557 A CN113360557 A CN 113360557A CN 202110590928 A CN202110590928 A CN 202110590928A CN 113360557 A CN113360557 A CN 113360557A
- Authority
- CN
- China
- Prior art keywords
- time period
- current time
- data volume
- determining
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010354 integration Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001133 acceleration Effects 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请公开了一种数据集成速度的调整方法、装置、设备及介质，由于本申请实施例中，可以根据确定的数据源中当前时间段的数据量的信息，预测当前时间段之后的目标时间段的目标数据量的信息，并基于预先保存的数据量的信息与运行参数的对应关系，确定目标运行参数并调整数据集成的速度，从而能够保证数据量动态变化与数据集成速度调整的动态平衡，进而能够保证数据源以及数据仓库的稳定运行，避免数据仓库与数据源出现宕机。
Description
技术领域
本申请涉及数据集成技术领域，尤其涉及一种数据集成速度的调整方法、装置、设备及介质。
背景技术
随着大数据技术的快速发展，海量数据在汇聚、分析和挖掘等数据处理领域发挥着越来越重要的作用，也成为了越来越重要的数据资产。但是在数据处理的过程中，原始数据零散的分布在不同的数据源中，也就是形成了数据孤岛，因此可以将这些零散分布的数据写入到数据仓库中，从而实现数据共享，并保证存储在数据仓库中的数据能够供人们直接使用。
然而数据源中的数据量是实时变化的，且可能存在数据量动态变化太剧烈而影响数据集成的效果以及数据源的稳定性。因此，基于数据源中的数据量的变化趋势，动态调整数据集成的速度至关重要，现有技术中，传统的数据集成技术无法根据数据量的变化趋势，动态调整数据集成的速度，因此利用现有技术无法保证数据源以及数据仓库的稳定运行，甚至会导致数据仓库与数据源出现宕机。
发明内容
本申请提供了一种数据集成速度的调整方法、装置、设备及介质，用以解决现有技术无法动态调整数据集成的速度，从而无法保证数据源以及数据仓库的稳定运行，甚至会导致数据仓库与数据源出现宕机的问题。
本申请提供了一种数据集成速度的调整方法，所述方法包括：
确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；
根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
进一步地，所述确定数据源中当前时间段的数据量的信息之前，所述方法还包括：
确定当前时间段是否为首次确定的时间段；
所述确定数据源中当前时间段的数据量的信息包括：
若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；
若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。
进一步地，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；
根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
进一步地，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
本申请提供了一种数据集成速度的调整装置，该装置包括：
确定模块，用于确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；
调整模块，用于根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
进一步地，所述确定模块，还用于确定当前时间段是否为首次确定的时间段；若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。
进一步地，所述确定模块，具体用于若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
进一步地，所述确定模块，具体用于若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
本申请提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述数据集成速度的调整方法的步骤。
本申请提供了一种计算机可读存储介质，其存储有可由终端执行的计算机程序，当所述程序在所述终端上运行时，使得所述终端执行上述任一项所述数据集成速度的调整方法的步骤。
本申请实施例中，确定数据源中当前时间段的数据量的信息，根据该当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息，根据预先保存的数据量的信息与运行参数的对应关系，确定目标数据量的信息对应的目标运行参数，并根据该目标运行参数，调整数据集成的速度。由于本申请实施例中，可以根据确定的数据源中当前时间段的数据量的信息，预测当前时间段之后的目标时间段的目标数据量的信息，并基于预先保存的数据量的信息与运行参数的对应关系，确定目标运行参数并调整数据集成的速度，从而能够保证数据量动态变化与数据集成速度调整的动态平衡，进而能够保证数据源以及数据仓库的稳定运行，避免数据仓库与数据源出现宕机。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一些实施例提供的一种数据集成速度的调整方法的过程示意图；
图2为本申请一些实施例提供的一种数据量的信息与运行参数的对应关系的示意图；
图3为本申请一些实施例提供的一种数据集成的过程示意图；
图4为本申请一些实施例提供的一种数据集成速度的调整装置结构示意图；
图5为本申请一些实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本发申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请实施例中，确定数据源中当前时间段的数据量的信息，根据该当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息，根据预先保存的数据量的信息与运行参数的对应关系，确定目标数据量的信息对应的目标运行参数，并根据该目标运行参数，调整数据集成的速度。由于本申请实施例中，可以根据确定的数据源中当前时间段的数据量的信息，预测当前时间段之后的目标时间段的目标数据量的信息，并基于预先保存的数据量的信息与运行参数的对应关系，确定目标运行参数并调整数据集成的速度，从而能够保证数据量动态变化与数据集成速度调整的动态平衡，进而能够保证数据源以及数据仓库的稳定运行，避免数据仓库与数据源出现宕机。
为了保证数据源以及数据仓库的稳定运行，避免数据仓库与数据源出现宕机，本申请实施例提供了一种数据集成速度的调整方法、装置、设备及介质。
图1为本申请一些实施例提供的一种数据集成速度的调整方法的过程示意图，该过程包括以下步骤：
S101：确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息。
本申请实施例提供的数据集成速度的调整方法应用于电子设备，该电子设备可以是基于Java语言的分布式架构开发的数据同步工具或系统，该工具或系统可以部署在PC上，也可以部署在服务器等电子设备上。
在本申请中，由于原始数据零散的分布在不同的数据源中，且数据源中的数据量是实时变化的，因此，为了基于数据源中的数据量的变化趋势，调整数据集成的速度，需要确定数据源中当前时间段的数据量的信息。其中，该时间段的长度可以为5分钟，也可以为3分钟等等，具体的，该时间段的长度根据需求进行设置。其中，该数据量的信息可以为数据源中当前时间段的数据量的增量的信息，也可以为当前子时间段任意时刻中能够查询到的数据总量的信息，具体的，在本申请中，该数据量的信息可以为数据量的增量和/或数据量的增速，其中，该当前时间段的数据量的增量为当前时间段内的增加的数据的条数，也就是当前时间段末的数据量与当前时间段初的数据量的差值，该当前时间段的数据量的增速为当前时间段内数据增长的速度。
在本申请中，在确定当前时间段的数据量的信息后，为了确定当前时间段之后的目标时间段的目标数据量的信息，也就是说，为了根据当前时间段的数据量的信息，预测目标时间段的目标数据量的信息，预先设定了函数，在获得当前时间段的数据量的信息后，根据该当前时间段的数据量的信息以及预先设定的函数，确定目标当前时间段之后的目标时间段对应的目标数据量的信息，其中，该目标数据量的信息可以为目标数据量的增量，也可以为目标数据量的增速。
在本申请中，该目标时间段为当前时间段之后的且与当前时间段相邻的时间段，比如，每个时间段的时长为5分钟，当前时间段为9:00-9:05，则目标时间段为9:05-9:10。
S102：根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
为了确定当前时间段之后的目标时间段的目标运行参数，在本申请中，预先保存了数据量的信息以及运行参数的对应关系，基于该对应关系，确定目标数据量的信息对应的目标运行参数，其中，该运行参数可以为任务数、线程数、单次数据同步集成条数等中的一种或几种。
在确定目标数据量的增量和/或目标数据量的增速后，根据该预先保存的数据量的信息以及运行参数的对应关系，确定目标时间段的目标任务数、目标线程数、目标单次数据同步集成条数。在确定目标运行参数后，为了保证数据量的动态变化与数据集成的速度保持动态平衡，在本申请中，根据该目标运行参数，控制该书记集成的速度，也就是说，根据目标任务数、目标线程数、目标单次数据同步集成条数，调整数据集成的速度。
图2为本申请一些实施例提供的一种数据量的信息与运行参数的对应关系的示意图，现针对图2进行说明：
数据量的信息包括数据量的增量以及数据量的增速。运行参数包括任务数、线程数以及单次数据同步集成条数，在确定当前时间段的数据量的增量以及数据量的增速后，根据预先保存的数据量的信息与运行参数的对应关系，确定目标任务数、目标线程数以及目标单次数据同步集成条数，比如，若确定数据量的增量为0-20万条中的19万条，数据量的增速为0-20条/s，则根据预先保存的数据量的信息与运行参数的对应关系，确定目标任务数为3、线程数为8以及单次数据同步集成条为10000条。
具体的，在确定目标运行参数之后，为了便于基于该目标参数对数据集成的速度进行调整，可以将该目标运行参数写入到重申(redis)中，具体的，可以将目标运行参数以key-value的形式写入到redis中，其中，key为数据源的标识，value为运行参数，其中，该数据源的标识用来表征该运行参数对应的数据源的名称，比如，若基于数据源1的数据量的信息，确定当前时间段之后的目标时间段对应的目标数据量的增量为9万，数据量的增速为0-20/s，则根据预先保存的数据量的信息与运行参数的对应关系，确定目标任务数为3，则在将该目标任务数写入到redis时，可以将key设置为数据源1的任务数，该value为3。其中，将目标运行参数以key-value的形式写入到redis的过程为现有技术，在此不做赘述。
在根据目标运行参数，调整数据集成的速度的过程中，可以利用redis实现分布式锁技术，该利用redis实现分布式锁技术用于在数据集成的过程中，控制能够同时进行数据集成的任务数，控制线程的大小，以及单次数据同步集成条数。在控制能够同时进行的数据集成的任务数时，可以基于getLock()进行加锁，基于unLock()进行释放锁，在加锁的过程中，将任务数的参数减1，说明此时已经有一个任务被占用，则确定是否还存在其他未被占用的任务，若存在，则后续存在数据集成的需求时，占用该未被占用的任务，若不存在未被占用的任务，则说明此时可占用的任务数已经达到上限。若其中任意一个任务结束，则释放锁，任务数的参数加1。
比如，在确定目标任务数为2时，若存在一个数据集成的需求1时，则进行加锁，将目标任务数对应的参数减1，也就是将目标任务数对应的参数变为1，后续又存在一个数据集成的需求2时，此时确定目标任务数的参数为1，也就是确定存在其他未被占用的任务，则占用该未被占用的任务，具体的，进行加锁，将目标任务数对应的参数减1，也就是将目标任务数对应的参数变为0。若上述任意两个任务在数据集成的过程存在一个任务完成，则释放锁，将目标任务数对应的参数加1，后续若存在数据集成的需求3时，则继续进行数据集成。若上述任意两个任务中不存在任何一个任务完成，则后续存在数据集成的需求3时，由于此时目标任务数对应的参数为0，已经达到可数据集成的任务数的上限，因此，不能继续占用任务。在控制线程的大小时，也可以基于getLock()进行加锁，基于unLock()进行释放锁，此外，还引用了wait()以及notify()函数，该控制过程与控制能够同时进行的数据集成的任务数的过程相同，在此不做赘述。
其中，基于redis实现分布式锁技术进行数据集成速度的过程为现有技术，在此不做赘述。
由于本申请实施例中，可以根据确定的数据源中当前时间段的数据量的信息，预测当前时间段之后的目标时间段的目标数据量的信息，并基于预先保存的数据量的信息与运行参数的对应关系，确定目标运行参数并调整数据集成的速度，从而能够保证数据量动态变化与数据集成速度调整的动态平衡，进而能够保证数据源以及数据仓库的稳定运行，避免数据仓库与数据源出现宕机。
为了确定当前时间段的数据量的信息，在上述实施例的基础上，在本申请实施例中，所述确定数据源中当前时间段的数据量的信息之前，所述方法还包括：
确定当前时间段是否为首次确定的时间段；
所述确定数据源中当前时间段的数据量的信息包括：
若当前时间段为非首次确定的时间段，则根据所述当前时间段的之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；
若当前时间段为首次确定的时间段，则根据数据源中当前时间段末的数据量以及预先设置的时间间隔，确定当前时间段的数据量的信息。
在申请中，在确定当前时间段的数据量的信息时，由于该当前时间段可能是首次确定的时间段，也可能不是首次确定的时间段，因此，在确定当前时间段的数据量的信息之前，需要确定当前时间段是否为首次确定的时间段。
若当前时间段为非首次确定的时间段，则说明当前时间段之前存在其他时间段，为了确定当前时间段与当前时间段之前的时间段的联系，进而提高确定当前时间段的数据量的信息的准确性，可以根据当前时间段之前的每个时间段确定的数据量的信息以及该预先设定的函数，确定当前时间段的数据量的信息。
若当前时间段为首次确定的时间段，则说明当前时间段之前不存在其他时间段，为了确定当前时间段的数据量的信息，根据数据源中当前时间段末的数据量、当前时间段初的数据量以及预先设置的时间段对应的时间长度，确定当前时间段的数据量的信息。比如，当前时间段为9：00-9：05，则当前时间段末为9：05，当前时间段初为9：00，假如，9：00查询到数据源中的数据量为1万条，9：05查询到数据源中的数据量为2万条，则当前时间段的数据量的增量为1万条，当前时间段的数据量的增速为
条/s。
由于数据一般存储在电子设备中的系统表中，因此，为了获得当前时间段的数据量的信息，可以启动一个后台守护线程(daemon)，且该线程利用@schedule定时执行，用于按照设定的时间间隔查询数据源中的数据，其中，该设定的时间间隔等于当前时间段的时长，且每个时间段的时长都等于该设定的时间间隔。在本申请中，可以每5分钟查询一次数据源中的数据，此时当前子时间段以及其他子时间段的时长均为5分钟，且可以根据两次查询结果，确定当前时间段的数据量的增量，根据当前时间段的数据量的增量以及预先设置的时间间隔，确定该当前时间段的数据量的增速。
此外，由于该数据量的信息存储在数据源的系统表中，因此，在查询当前时间段的数据量的信息时，还可以将数据库名、表名、表中携带的数据量、统计时间，一并记录入数据库中，供后续确定目标运行参数后，将目标运行参数以key-value的形式写入到redis中时使用。
为了确定当前时间段之后的目标时间段对应的目标数据量的信息，在上述各实施例的基础上，在本申请实施例中，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；
根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
在本申请中，若当前时间段为非首次确定的时间段，则在确定当前时间段之后的目标时间段的目标数据量的信息时，为了增进当前时间段、当前时间段之前的时间段与当前时间段之后的目标时间段的联系，进而提高确认当前时间段之后的目标时间段的数据量的信息的准确性，在确定目标时间段的目标数据量的信息时，可以考虑当前时间段的数据量的信息以及当前时间段之前的时间段的数据量的信息，且由于离当前时间段越近的时间段的数据量的信息与当前时间段的数据量的信息的关联越大，离当前时间段越远的时间段的数据量的信息与当前时间段的数据量的信息的关联越小，因此，在确定目标时间段的目标数据量的信息时，可以对当前时间段以及当前时间段之前的时间段设置不同的权重。
在本申请中，可以根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的各时间段对应的权重，其中，该编号用来表示从首次确定的时间段开始，该当前时间段为第几个时间段。假如，9:00-9:05为确定的第一个时间段，则该时间段9:00-9:05对应的编号为1，时间段9:05-9:10对应的编号为2。由于与当前时间段越近的时间段的编号相对于其他时间段来说，对应的编号越大，因此，编号越大的时间段对应的权重越大，也就是说，与当前时间段越近的时间段对应的权重越大。
具体的，在根据当前时间段的编号以及当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重的过程中，可以根据
确定该当前时间段与所述当前时间段之前的时间段对应的权重，其中，ωi为编号为i的时间段对应的权重，k为当前时间段的编号。
在确定当前时间段与当前时间段之前的时间段对应的权重后，为了确定目标数据量的信息中的目标数据量的增速，根据该当前时间段与当前时间段之前的时间段对应的权重，以及该当前时间段与当前时间段之前的时间段的数据量的信息中携带的数据量增速，针对当前时间段与当前时间段之前的时间段中的每个时间段，确定该时间段的数据量增速与该时间段的权重的乘积，并确定所有乘积的和值，也就是说，确定数据量增速的权重和，然后确定该权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，并将该第一和值确定为目标时间段对应的目标数据量的增速。
为了确定目标数据量的信息中的目标数据量的增量，在本申请中，先确定目标数据量的增速与预先设定的第一数值的第一乘积，其中，该预先设定的第一数值为当前时间段的时长，然后确定该第一乘积与当前时间段末的数据量的第二和值，其中，该当前时间段末的数据量为该当前时间段的最后时刻统计的在数据源中的数据量，将该第二和值确定为目标时间段对应的目标数据量的增量。
为了确定目标数据量的信息中的目标数据量的增量以及目标数据量的增速，在上述各实施例的基础上，在本申请实施例中，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
在本申请中，若该当前时间段为首次确定的时间段时，则在确定当前时间段之后的目标时间段的目标数据量的信息时，为了增进当前时间段、当前时间段之前的时间段与当前时间段之后的目标时间段的联系，进而提高确认当前时间段之后的目标时间段的数据量的信息的准确性，因此在确定目标时间段的目标数据量的信息时，可以考虑当前时间段的数据量的信息以及当前时间段之前的时间段的数据量的信息，由于该当前时间段为首次确定的时间段，在当前时间段之前不存在时间段，因此，只需要考虑当前时间段、与当前时间段之后的目标时间段的联系。
具体的，若当前时间段为首次确定的时间段，在确定目标时间段的目标数据量的增速时，确定该当前时间段的数据量的增速与预先设定的第二数值的第二乘积，其中，该预先设定的第二数值为2，在确定第二乘积后，将该第二乘积确定为目标时间段对应的目标数据量的增速。
为了确定目标时间段的目标数据量的增量，在确定目标数据量的增速后，确定该目标数据量的增速与预先设定的第一数值的第三乘积，其中，该预先设定的第一数值为当前时间段的时长，并在确定第三乘积后，确定该第三乘积与当前时间段的数据量的信息中携带的数据量的增量的第三和值，将该第三和值确定为该目标时间段对应的目标数据量的增量。
图3为本申请一些实施例提供的一种数据集成的过程示意图，现针对图3进行说明：
假如存在两个数据源，也就是说，存在源数据库1和源数据库2，按照设定的时间间隔读取源数据库1和源数据库2的数据量，并数据量统计线程，将统计的数据量存入到统计库中，读取统计库中的数据，就利用回归算法确定当前时间段的数据量的增量以及数据量的增速，并分析匹配性能规则，也就是说根据预先保存的数据量的信息与运行参数的对应关系，确定目标运行参数，也就是说，确定目标任务数、目标线程数以及目标单次数据同步集成条数，并将该目标运行参数存储在redis中，实时读取redis中存储的目标运行参数，并基于redis实现分布式锁技术，以及目标任务数、目标线程数以及目标单次数据同步集成条数进行数据集成速度。也就是说，在数据集成的过程中，任务动态调整参数：任务数、线程数、单次数据同步集成条数，最终将数据同步集成到目标库中，该目标库也就是数据仓库。
图4为本申请一些实施例提供的一种数据集成速度的调整装置结构示意图，该装置包括：
确定模块401，用于确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；
调整模块402，用于根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
在一种可能的实施方式中，所述确定模块401，还用于确定当前时间段是否为首次确定的时间段；若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。
在一种可能的实施方式中，所述确定模块401，所述确定模块，具体用于若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
在一种可能的实施方式中，所述确定模块401，具体用于若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
在上述各实施例的基础上，本申请一些实施例还提供了一种电子设备，如图5所示，包括：处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
所述存储器503中存储有计算机程序，当所述程序被所述处理器501执行时，使得所述处理器501执行如下步骤：
确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；
根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
进一步地，所述处理器501，还用于确定当前时间段是否为首次确定的时间段；若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。
进一步地，所述处理器501，还用于若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
进一步地，所述处理器501，还用于若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；
根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
进一步地，所述确定数据源中当前时间段的数据量的信息之前，所述方法还包括：
确定当前时间段是否为首次确定的时间段；
所述确定数据源中当前时间段的数据量的信息包括：
若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；
若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。
进一步地，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；
根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
进一步地，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种数据集成速度的调整方法，其特征在于，所述方法包括：
确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；
根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
2.根据权利要求1所述的方法，其特征在于，所述确定数据源中当前时间段的数据量的信息之前，所述方法还包括：
确定当前时间段是否为首次确定的时间段；
所述确定数据源中当前时间段的数据量的信息包括：
若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；
若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；
根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：
若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；
确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
5.一种数据集成速度的调整装置，其特征在于，所述装置包括：
确定模块，用于确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；
调整模块，用于根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，还用于确定当前时间段是否为首次确定的时间段；若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。
7.根据权利要求5或6所述的装置，其特征在于，所述确定模块，具体用于若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。
8.根据权利要求5或6所述的装置，其特征在于，所述确定模块，具体用于若当前时间段为首次确定的时间段，则确定所述当前时间段的数据量的信息中携带的数据量的增速与预先设定的第二数值的第二乘积，将所述第二乘积确定为所述目标时间段对应的目标数据量的增速；确定所述目标数据量的增速与预先设定的第一数值的第三乘积，并确定所述第三乘积与当前时间段末的数据量的第三和值，将所述第三和值确定为所述目标时间段对应的目标数据量的增量。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述权利要求1-4任一所述数据集成速度的调整方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-4任一所述数据集成速度的调整方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110590928.XA CN113360557A (zh) | 2021-05-28 | 2021-05-28 | 一种数据集成速度的调整方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110590928.XA CN113360557A (zh) | 2021-05-28 | 2021-05-28 | 一种数据集成速度的调整方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113360557A true CN113360557A (zh) | 2021-09-07 |
Family
ID=77528022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110590928.XA Pending CN113360557A (zh) | 2021-05-28 | 2021-05-28 | 一种数据集成速度的调整方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360557A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110489058A (zh) * | 2019-07-02 | 2019-11-22 | 深圳市金泰克半导体有限公司 | 固态硬盘速度调整方法、装置、固态硬盘和存储介质 |
| CN110502471A (zh) * | 2019-07-31 | 2019-11-26 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| CN110688066A (zh) * | 2019-09-06 | 2020-01-14 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、电子设备及存储介质 |
| CN111132234A (zh) * | 2018-11-01 | 2020-05-08 | 华为终端有限公司 | 一种数据传输方法及对应的终端 |
| CN111291021A (zh) * | 2020-01-21 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 一种数据库管理方法、装置、电子设备及存储介质 |
| CN112612583A (zh) * | 2020-12-16 | 2021-04-06 | 平安消费金融有限公司 | 数据同步方法、装置、计算机设备和可读存储介质 |
| CN112631754A (zh) * | 2020-12-29 | 2021-04-09 | 浙江大华技术股份有限公司 | 数据处理方法、装置、存储介质及电子装置 |
| CN112817687A (zh) * | 2019-11-15 | 2021-05-18 | 北京京东尚科信息技术有限公司 | 一种数据同步方法和装置 |
| CN112835867A (zh) * | 2021-01-11 | 2021-05-25 | 中国农业银行股份有限公司 | 一种数据预处理方法及装置 |
-
2021
- 2021-05-28 CN CN202110590928.XA patent/CN113360557A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111132234A (zh) * | 2018-11-01 | 2020-05-08 | 华为终端有限公司 | 一种数据传输方法及对应的终端 |
| CN110489058A (zh) * | 2019-07-02 | 2019-11-22 | 深圳市金泰克半导体有限公司 | 固态硬盘速度调整方法、装置、固态硬盘和存储介质 |
| CN110502471A (zh) * | 2019-07-31 | 2019-11-26 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| CN110688066A (zh) * | 2019-09-06 | 2020-01-14 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、电子设备及存储介质 |
| CN112817687A (zh) * | 2019-11-15 | 2021-05-18 | 北京京东尚科信息技术有限公司 | 一种数据同步方法和装置 |
| CN111291021A (zh) * | 2020-01-21 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 一种数据库管理方法、装置、电子设备及存储介质 |
| CN112612583A (zh) * | 2020-12-16 | 2021-04-06 | 平安消费金融有限公司 | 数据同步方法、装置、计算机设备和可读存储介质 |
| CN112631754A (zh) * | 2020-12-29 | 2021-04-09 | 浙江大华技术股份有限公司 | 数据处理方法、装置、存储介质及电子装置 |
| CN112835867A (zh) * | 2021-01-11 | 2021-05-25 | 中国农业银行股份有限公司 | 一种数据预处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9195693B2 (en) | Transaction prediction modeling method | |
| US10503671B2 (en) | Controlling access to a shared resource | |
| MX2015007248A (es) | Metodo y dispositivo para visualizar software de aplicacion. | |
| CN109391680B (zh) | 一种定时任务数据处理方法、装置及系统 | |
| CN108388509B (zh) | 一种软件测试方法、计算机可读存储介质及终端设备 | |
| CN107967173A (zh) | 一种资源调度的方法、装置和系统 | |
| CN104424294A (zh) | 一种信息处理方法及装置 | |
| CN113360557A (zh) | 一种数据集成速度的调整方法、装置、设备及介质 | |
| CN107844496B (zh) | 统计信息输出方法及装置 | |
| CN107958414B (zh) | 一种清除cics系统长交易的方法及系统 | |
| CN115905113A (zh) | 一种生成数据快照的方法及装置 | |
| CN107368281B (zh) | 一种数据处理方法及装置 | |
| CN107748711A (zh) | 自动优化Storm并行度的方法、终端设备及存储介质 | |
| CN114936187A (zh) | 数据文件的处理方法、装置、设备及存储介质 | |
| CN113837878A (zh) | 一种数据比对方法、装置、设备及存储介质 | |
| CN113342676A (zh) | 一种软件测试的评估方法、装置、计算设备及存储介质 | |
| CN111400368A (zh) | 一种分布式服务器系统的日志查找方法及装置 | |
| CN116501653B (zh) | 一种软件回归测试方法及装置 | |
| CN113590298B (zh) | 一种资源调度方法、装置、服务器及存储介质 | |
| CN114860562A (zh) | 一种检测流式处理应用的方法及装置 | |
| CN111414162B (zh) | 一种数据处理方法、装置及其设备 | |
| CN115344587A (zh) | 数据处理方法、装置、设备及介质 | |
| CN114021623A (zh) | 一种异常样本确定方法、装置、设备及介质 | |
| CN115202727A (zh) | 灰度发布方法、装置、计算机设备及存储介质 | |
| CN115829299A (zh) | 供应链管理的方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220829 Address after: 266071 4th floor, building B3, Hisense R & D center, 399 Songling Road, Laoshan District, Qingdao, Shandong Province Applicant after: QINGDAO HISENSE TRANSTECH Co.,Ltd. Applicant after: Qingdao Guochuang Wisdom Cloud Brain Technology Co.,Ltd. Address before: 266071 4th floor, building B3, Hisense R & D center, 399 Songling Road, Laoshan District, Qingdao, Shandong Province Applicant before: QINGDAO HISENSE TRANSTECH Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |
|
| RJ01 | Rejection of invention patent application after publication |