CN111046091B - 数据交换系统的运行方法、装置及设备 - Google Patents
数据交换系统的运行方法、装置及设备 Download PDFInfo
- Publication number
- CN111046091B CN111046091B CN201911018953.XA CN201911018953A CN111046091B CN 111046091 B CN111046091 B CN 111046091B CN 201911018953 A CN201911018953 A CN 201911018953A CN 111046091 B CN111046091 B CN 111046091B
- Authority
- CN
- China
- Prior art keywords
- data exchange
- load state
- early warning
- task
- warning threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000737 periodic effect Effects 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 230000003044 adaptive effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提出了一种数据交换系统的运行方法、装置及设备，其中，方法包括：响应于当前运行的数据交换任务，获取目标数据库的负载状态；比较负载状态与预设的预警阈值；若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。由此，能够根据数据库的负载状态，自适应调节数据交换损耗，降低对生产作业的性能影响，且通过自适应调整，在降低负载的同时实现更优的交换速率。
Description
技术领域
本申请涉及数据传输技术领域，尤其涉及一种数据交换系统的运行方法、装置及设备。
背景技术
ETL(Extract-Transform-Load)用于描述将数据从来源端经过抽取、交互转换、加载至目的端的过程。目前，数据交换系统通常采用集群的方式进行部署，由控制节点统一管理工作节点进行作业调度，将数据交换任务分配给一个或多个工作节点运行。工作节点连接源数据库和目的数据库，根据数据交换任务进行抽取、交互转换和加载。
相关技术中，源数据库或目的数据库进行生产作业时，如果并行处理数据交换任务，会导致数据库系统CPU(Central Processing Unit，中央处理器)、内存、硬盘读写或网络等资源消耗较大，影响生产作业的处理性能。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种数据交换系统的运行方法，以根据数据库的负载状态，自适应调节数据交换损耗，降低对生产作业的性能影响，且通过自适应调整，在降低负载的同时实现更优的交换速率。
本申请的第二个目的在于提出一种数据交换系统的运行装置。
本申请的第三个目的在于提出一种计算机设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
本申请第一方面实施例提出了一种数据交换系统的运行方法，包括：
响应于当前运行的数据交换任务，获取目标数据库的负载状态；
比较所述负载状态与预设的预警阈值；
若所述负载状态大于所述预警阈值，则通过阶梯调整的方式降低所述数据交换任务的速率，以使所述负载状态小于等于所述预警阈值。
另外，根据本申请上述实施例的数据交换系统的运行方法还可以具有如下附加技术特征：
可选地，在比较所述负载状态与预设的预警阈值之后，还包括：若所述负载状态小于所述预警阈值，则比较所述负载状态与预设的提速阈值，其中，所述提速阈值小于所述预警阈值；若所述负载状态小于所述提速阈值，则提高所述数据交换任务的速率，以使所述负载状态大于等于所述提速阈值。
可选地，所述获取目标数据库的负载状态包括：获取预设时间内所述目标数据库的负载，根据所述负载和所述预设时间计算平均值，将所述平均值作为所述负载状态。
可选地，所述当前运行的数据交换任务存在多个，所述通过阶梯调整的方式降低所述数据交换任务的速率包括：获取多个数据交换任务的优先级；按照所述优先级由低到高的顺序依次降低所述多个数据交换任务的速率，直至所述负载状态小于等于所述预警阈值。
可选地，在所述通过阶梯调整的方式降低所述数据交换任务的速率之后，还包括：获取各数据交换任务的当前速率；比较所述当前速率与预设的最低限速值，确定所述当前速率小于所述最低限速值的目标任务，并暂停所述目标任务。
可选地，所述数据交换任务包括周期任务，所述方法还包括：获取所述目标数据库的历史负载状态，根据所述历史负载状态分析获取波峰波谷信息；确定与所述波谷信息对应的目标时间段，并在所述目标时间段运行所述周期任务。
可选地，在比较所述负载状态与预设的预警阈值之后，还包括：若获知所述负载状态大于所述预警阈值，则按照预设的交换数量将所述数据交换任务分为多组子任务，并依次运行所述多组子任务。
本申请第二方面实施例提出了一种数据交换系统的运行装置，包括：
获取模块，用于响应于当前运行的数据交换任务，获取目标数据库的负载状态；
判断模块，用于比较所述负载状态与预设的预警阈值；
控制模块，用于若所述负载状态大于所述预警阈值，则通过阶梯调整的方式降低所述数据交换任务的速率，以使所述负载状态小于等于所述预警阈值。
另外，根据本申请上述实施例的数据交换系统的运行装置还可以具有如下附加技术特征：
可选地，所述的装置还包括：处理模块，用于若所述负载状态小于所述预警阈值，则比较所述负载状态与预设的提速阈值，其中，所述提速阈值小于所述预警阈值；若所述负载状态小于所述提速阈值，则提高所述数据交换任务的速率，以使所述负载状态大于等于所述提速阈值。
可选地，所述获取模块具体用于：获取预设时间内所述目标数据库的负载，根据所述负载和所述预设时间计算平均值，将所述平均值作为所述负载状态。
可选地，所述当前运行的数据交换任务存在多个，所述控制模块具体用于：获取多个数据交换任务的优先级；按照所述优先级由低到高的顺序依次降低所述多个数据交换任务的速率，直至所述负载状态小于等于所述预警阈值。
可选地，所述的装置还包括：暂停模块，用于获取各数据交换任务的当前速率；比较所述当前速率与预设的最低限速值，确定所述当前速率小于所述最低限速值的目标任务，并暂停所述目标任务。
可选地，所述数据交换任务包括周期任务，所述的装置还包括：运行模块，用于获取所述目标数据库的历史负载状态，根据所述历史负载状态分析获取波峰波谷信息；确定与所述波谷信息对应的目标时间段，并在所述目标时间段运行所述周期任务。
可选地，所述的装置还包括：分组模块，用于若获知所述负载状态大于所述预警阈值，则按照预设的交换数量将所述数据交换任务分为多组子任务，并依次运行所述多组子任务。
本申请第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的数据交换系统的运行方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的数据交换系统的运行方法。
上述申请中的一个实施例具有如下优点或有益效果：由于采用了通过响应于当前运行的数据交换任务，获取目标数据库的负载状态；比较负载状态与预设的预警阈值；若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。由此，能够根据数据库的负载状态，自适应调节数据交换损耗，降低对生产作业的性能影响，实现对目标数据库减压的目的，且通过自适应调整，在降低负载的同时实现更优的交换速率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
图1为本申请实施例所提供的一种数据交换系统的运行方法的流程示意图；
图2为本申请实施例所提供的一种数据交换系统的示意图；
图3为本申请实施例所提供的另一种数据交换系统的运行方法的流程示意图；
图4为本申请实施例所提供的另一种数据交换系统的运行方法的流程示意图；
图5为本申请实施例所提供的一种数据交换系统的运行装置的结构示意图；
图6为本申请实施例所提供的另一种数据交换系统的运行装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的数据交换系统的运行方法、装置及设备。
图1为本申请实施例所提供的一种数据交换系统的运行方法的流程示意图，如图1所示，该方法包括：
步骤101，响应于当前运行的数据交换任务，获取目标数据库的负载状态。
本申请实施例的数据交换系统的运行方法，应用于数据交换系统，参照图2，数据交换系统可包括源数据库、目的数据库、控制节点、至少一个工作节点，图2中以2个工作节点为例。可选地，在创建数据交换任务时，根据数据库监控和保护功能设置监控的资源项，监控的资源项包括数据库系统CPU、内存、硬盘读写或网络等资源中的一种或多种。控制节点创建数据交换任务配置，分配数据交换任务到一个或者多个工作节点，并同步监控和保护数据源信息。工作节点获知数据交换任务配置后，分别建立与源数据库和目的数据库的连接，并按照初始最大能力，从源数据库抽取数据，交换到目的数据库。
本实施例中，响应于当前运行的数据交换任务，工作节点获取目标数据库的负载状态，并将监控到的目标数据库负载状态实时同步至控制节点。其中，目标数据库包括源数据库、目的数据库。
作为一种示例，工作节点可以定期(比如每秒)获取目标数据库的负载，并将获取到的负载作为目标数据库的负载状态同步至控制节点。
作为另一种示例，工作节点可以定期获取目标数据库的负载，并将目标数据库的负载同步至控制节点。控制节点根据预设时间内获取的负载以及该预设时间计算平均值，将平均值作为目标数据库的负载状态。由于目标数据库除数据交换任务外，还可能存在其他并行生产作业的影响，从而出现数据库负载出现波动的情况，由此，通过计算平均值作为负载状态，能够降低负载波动的影响。其中，预设时间可以根据需要进行设置，例如可以为5秒、10秒等。
可选地，由控制节点定期通知工作节点获取目标数据库的负载状态，并由工作节点将获取的负载状态同步至控制节点，若工作节点存在多个，当控制节点控制某一个工作节点收集目标数据库的负载状态后，无需控制其他工作节点重复获取目标数据库的负载状态。
步骤102，比较负载状态与预设的预警阈值。
本实施例中，预先设置预警阈值，进而，控制节点获取到目标数据库的负载状态后，比较负载状态与预警阈值的大小。其中，预警阈值可以根据需要进行设置，此处不作具体限制。
步骤103，若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。
本实施例中，可以根据负载状态与预警阈值比较结果，在负载状态大于预警阈值时，降低数据交换任务的速率，以使负载状态小于等于预警阈值。
在本申请的一个实施例中，若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。可选地，若负载状态大于预警阈值，则根据预设的第一比例降低数据交换任务的速率。进而，再次获取目标数据库的负载状态，并比较负载状态与预警阈值，若负载状态仍大于预警阈值，则根据预设的第二比例降低数据交换任务的速率；若负载状态小于等于预警阈值，则比较当前负载状态与预警阈值之间的差值是否小于预设阈值，若是，则停止调整，若否，则根据预设的第三比例提高数据交换任务的速率。由此，通过重复上述步骤逐步调整数据交换任务的速率，以使负载状态小于等于预警阈值并接近预警阈值，能够在根据数据库的负载状态自适应调节数据交换损耗的同时，实现更优的交换速率。
作为一种示例，根据预设的第一比例降低数据交换任务的速率包括：将数据交换任务的抽取速率降低至当前抽取速率的一半。其中，第一比例、第二比例、第三比例、预设阈值可以根据需要进行设置。
本申请实施例的数据交换系统的运行方法，通过响应于当前运行的数据交换任务，获取目标数据库的负载状态；比较负载状态与预设的预警阈值；若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。由此，能够根据数据库的负载状态，自适应调节数据交换损耗，降低对生产作业的性能影响，实现对目标数据库减压的目的，且通过自适应调整，在降低负载的同时实现更优的交换速率。
在本申请的一个实施例中，在步骤102之后，若负载状态小于预警阈值，还可以比较负载状态与预设的提速阈值，其中，提速阈值小于预警阈值。若负载状态小于提速阈值，则提高数据交换任务的速率，以使负载状态大于等于提速阈值；若负载状态大于等于提速阈值，则不进行调整。
在本申请的一个实施例中，若负载状态等于预警阈值，则不调整数据交换任务的速率。由此，实现了在目标数据库负载状态位于某一区间内时不调整数据交换速率，能够降低负载波动的影响。
下面结合数据交换系统同时运行多个数据交换任务的场景进行说明。
图3为本申请实施例所提供的另一种数据交换系统的运行方法的流程示意图，如图3所示，该方法包括：
步骤301，响应于当前运行的数据交换任务，获取目标数据库的负载状态。
步骤302，比较负载状态与预设的预警阈值。
前述实施例对步骤101、步骤102的解释说明同样适用于步骤301、步骤302，此处不再赘述。
步骤303，若负载状态大于预警阈值，获取多个数据交换任务的优先级。
本实施例中，当前运行的数据交换任务存在多个，当控制节点获知目标数据库负载状态大于预警阈值后，通过对比分析获取多个数据交换任务的优先级，以根据优先级调整数据交换任务的速率。
步骤304，按照优先级由低到高的顺序依次降低多个数据交换任务的速率，直至负载状态小于等于预警阈值。
本实施例中，控制节点可以根据优先级确定各数据交换任务的优先级高低，按照优先级由低到高的顺序依次降低多个数据交换任务的速率，直至负载状态小于等于预警阈值。可选地，对于降低数据交换任务速率的方式可以参照前述实施例中阶梯调整的方式。
作为一种示例，控制节点获取优先级最低的第一数据交换任务，并降低第一数据交换任务的速率。进而，若降低第一数据交换任务的速率后，并不能使目标数据库的负载状态小于等于预警阈值，则获取优先级次低的第二数据交换任务，并降低第二数据交换任务的速率。重复上述步骤，直至目标数据库的负载状态小于等于预警阈值。
作为另一种示例，若多个数据交换任务不存在优先级或者优先级相同，可以同时降低多个相同优先级的数据交换任务的速率，以使负载状态小于等于预警阈值。
在本申请的一个实施例中，还可以在降低各数据交换任务的速率之后，获取各数据交换任务的当前速率。进而，比较当前速率与预设的最低限速值，从各数据交换任务中确定当前速率小于最低限速值的目标任务，并暂停目标任务。
可知，通过降低数据交换任务的速率，能够实现降低目标数据库的负载压力，但同时延长了工作节点完成数据交换任务的时间。对于限速较低的情况，数据交换任务会长期占用工作节点的交换进程，造成资源的浪费。因此，通过设置最低限速值，当控制节点判断有多个目标数据库的数据交换任务，且数据交换任务限速后速率低于最低限速值，则可以通过暂停部分数据交换任务，实现降低目标数据库的负载状态，并避免资源浪费。
需要说明的是，上述根据最低限速值暂停部分数据交换任务的实现方式仅为一种示例，例如，还可以在降低数据交换任务的速率之前，预先计算获取降低后的速率，并将预先计算的速率与最低限速值进行比较，确定计算的速率小于最低限速值的目标任务，并暂停目标任务，此处不作限制。
可选地，实现降低目标数据库负载压力的方式还可以包括：对数据交换任务分批次进行交换，并控制每批次的交换数量。例如，可以预先设置交换数量N，若获知负载状态大于预警阈值，则按照交换数量N将数据交换任务分为多组子任务，其中每组子任务对应的交换数量小于等于N，并依次运行多组子任务。由此，能够通过控制每批次交换数量，实现对目标数据库减压的目的。
本申请实施例的数据交换系统的运行方法，通过响应于当前运行的数据交换任务，获取目标数据库的负载状态，并比较负载状态与预设的预警阈值。若负载状态大于预警阈值，获取多个数据交换任务的优先级，按照优先级由低到高的顺序依次降低多个数据交换任务的速率，直至负载状态小于等于预警阈值。由此，能够保证优先级较高的数据交换任务的速率，通过联动调节多个数据交换任务的速率，实现数据交换系统的整体调节。并且，根据最低限速值暂停部分数据交换任务，实现降低目标数据库的负载状态，并避免资源浪费。
图4为本申请实施例所提供的另一种数据交换系统的运行方法的流程示意图，如图4所示，该方法包括：
步骤401，获取目标数据库的历史负载状态，根据历史负载状态分析获取波峰波谷信息。
本实施例中，数据交换任务包括周期任务，可以由控制节点获取目标数据库的历史负载状态，根据历史负载状态分析获取负载状态的波峰波谷信息。其中，目标数据库包括源数据库、目的数据库。
作为一种示例，可以持续收集目标数据库的负载状态，并根据负载状态分析目标数据库负载状态大小的周期性变化，获取负载状态的波峰和波谷。可以理解，数据交换系统可包括数据交换任务外的其他并行生产作业，例如每天预设时间段内的售票作业等，因此目标数据库的负载状态可以存在周期性的波峰和波谷。
步骤402，确定与波谷信息对应的目标时间段，并在目标时间段运行周期任务。
本实施例中，可以根据周期任务的工作周期，以及目标数据库负载状态的波峰波谷信息，运行周期任务，以实现安排数据交换任务进行错峰调度。
作为一种示例，根据历史负载状态分析获取每天目标数据库负载状态的波峰波谷信息，进而在一天内目标数据库的历史负载状态处于波谷时对应的时间段，运行周期任务，由此，避开在波峰时对负载压力的加剧，实现系统自适应调度。
本申请实施例的数据交换系统的运行方法，通过获取目标数据库的历史负载状态，根据历史负载状态分析获取波峰波谷信息。进而，根据波峰波谷信息运行周期任务。由此，通过收集分析获取目标数据库的负载状态的波峰波谷，自适应的调节数据交换任务在波谷时间运行，有效减轻系统负载。
为了实现上述实施例，本申请还提出一种数据交换系统的运行装置。
图5为本申请实施例所提供的一种数据交换系统的运行装置的结构示意图，如图5所示，该装置包括：获取模块10，判断模块20，控制模块30。
其中，获取模块10，用于响应于当前运行的数据交换任务，获取目标数据库的负载状态。
判断模块20，用于比较负载状态与预设的预警阈值。
控制模块30，用于若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。
作为一种可能的实现方式，获取模块10具体用于：获取预设时间内目标数据库的负载，根据负载和预设时间计算平均值，将平均值作为负载状态。
在图5的基础上，图6所示的装置还包括：处理模块40，暂停模块50，运行模块60，分组模块70。
其中，处理模块40，用于若负载状态小于所述预警阈值，则比较负载状态与预设的提速阈值，其中，提速阈值小于所述预警阈值；若负载状态小于提速阈值，则提高数据交换任务的速率，以使负载状态大于等于提速阈值。
作为一种可能的实现方式，当前运行的数据交换任务存在多个，控制模块30具体用于：获取多个数据交换任务的优先级；按照优先级由低到高的顺序依次降低多个数据交换任务的速率，直至负载状态小于等于预警阈值。
暂停模块50，用于获取各数据交换任务的当前速率；比较当前速率与预设的最低限速值，确定当前速率小于最低限速值的目标任务，并暂停目标任务。
数据交换任务包括周期任务，运行模块60，用于获取目标数据库的历史负载状态，根据历史负载状态分析获取波峰波谷信息；确定与所述波谷信息对应的目标时间段，并在所述目标时间段运行周期任务。
分组模块70，用于若获知负载状态大于预警阈值，则按照预设的交换数量将数据交换任务分为多组子任务，并依次运行多组子任务。
需要说明的是，前述实施例对数据交换系统的运行方法的解释说明同样适用于本实施例的数据交换系统的运行装置，此处不再赘述。
本申请实施例的数据交换系统的运行装置，通过响应于当前运行的数据交换任务，获取目标数据库的负载状态；比较负载状态与预设的预警阈值；若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。由此，能够根据数据库的负载状态，自适应调节数据交换损耗，降低对生产作业的性能影响，实现对目标数据库减压的目的，且通过自适应调整，在降低负载的同时实现更优的交换速率。
为了实现上述实施例，本申请还提出一种计算机设备，包括处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述任一实施例所述的数据交换系统的运行方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的数据交换系统的运行方法。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的数据交换系统的运行方法。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种数据交换系统的运行方法，其特征在于，包括：
响应于当前运行的数据交换任务，获取目标数据库的负载状态，其中，所述目标数据库包括源数据库和目的数据库，所述当前运行的数据交换任务存在多个；
比较所述负载状态与预设的预警阈值；
若所述负载状态小于所述预警阈值，则比较所述负载状态与预设的提速阈值，若所述负载状态小于所述提速阈值，则提高所述数据交换任务的速率，以使所述负载状态大于等于所述提速阈值，其中，所述提速阈值小于所述预警阈值；
若所述负载状态大于所述预警阈值，则获取多个数据交换任务的优先级，按照所述优先级由低到高的顺序，根据预设的第一比例依次降低所述多个数据交换任务的速率，再次获取目标数据库的负载状态，若再次获取目标数据库的负载状态依旧大于预警阈值，则根据预设的第二比例依次降低所述多个数据交换任务的速率，重复上述步骤逐步调整所述数据交换任务的速率，直至所述负载状态小于等于所述预警阈值。
2.如权利要求1所述的方法，其特征在于，所述获取目标数据库的负载状态包括：
获取预设时间内所述目标数据库的负载，根据所述负载和所述预设时间计算平均值，将所述平均值作为所述负载状态。
3.如权利要求1所述的方法，其特征在于，所述数据交换任务包括周期任务，所述方法还包括：
获取所述目标数据库的历史负载状态，根据所述历史负载状态分析获取波峰波谷信息；
确定与所述波谷信息对应的目标时间段，并在所述目标时间段运行所述周期任务。
4.如权利要求1所述的方法，其特征在于，在比较所述负载状态与预设的预警阈值之后，还包括：
若获知所述负载状态大于所述预警阈值，则按照预设的交换数量将所述数据交换任务分为多组子任务，并依次运行所述多组子任务。
5.一种数据交换系统的运行装置，其特征在于，包括：
获取模块，用于响应于当前运行的数据交换任务，获取目标数据库的负载状态，其中，所述目标数据库包括源数据库和目的数据库，所述当前运行的数据交换任务存在多个；
判断模块，用于比较所述负载状态与预设的预警阈值；
处理模块，用于若所述负载状态小于所述预警阈值，则比较所述负载状态与预设的提速阈值，若所述负载状态小于所述提速阈值，则提高所述数据交换任务的速率，以使所述负载状态大于等于所述提速阈值，其中，所述提速阈值小于所述预警阈值；
控制模块，用于若所述负载状态大于所述预警阈值，则获取多个数据交换任务的优先级，按照所述优先级由低到高的顺序，根据预设的第一比例依次降低所述多个数据交换任务的速率，再次获取目标数据库的负载状态，若再次获取目标数据库的负载状态依旧大于预警阈值，则根据预设的第二比例依次降低所述多个数据交换任务的速率，重复上述步骤逐步调整所述数据交换任务的速率，直至所述负载状态小于等于所述预警阈值；
暂停模块，用于获取各数据交换任务的当前速率，比较所述当前速率与预设的最低限速值，确定所述当前速率小于所述最低限速值的目标任务，并暂停所述目标任务。
6.如权利要求5所述的装置，其特征在于，所述获取模块具体用于：
获取预设时间内所述目标数据库的负载，根据所述负载和所述预设时间计算平均值，将所述平均值作为所述负载状态。
7.如权利要求5所述的装置，其特征在于，所述数据交换任务包括周期任务，所述装置还包括：
运行模块，用于获取所述目标数据库的历史负载状态，根据所述历史负载状态分析获取波峰波谷信息；
确定与所述波谷信息对应的目标时间段，并在所述目标时间段运行所述周期任务。
8.如权利要求5所述的装置，其特征在于，还包括：
分组模块，用于若获知所述负载状态大于所述预警阈值，则按照预设的交换数量将所述数据交换任务分为多组子任务，并依次运行所述多组子任务。
9.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-4中任一项所述的数据交换系统的运行方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的数据交换系统的运行方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911018953.XA CN111046091B (zh) | 2019-10-24 | 2019-10-24 | 数据交换系统的运行方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911018953.XA CN111046091B (zh) | 2019-10-24 | 2019-10-24 | 数据交换系统的运行方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046091A CN111046091A (zh) | 2020-04-21 |
| CN111046091B true CN111046091B (zh) | 2023-12-08 |
Family
ID=70231804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911018953.XA Active CN111046091B (zh) | 2019-10-24 | 2019-10-24 | 数据交换系统的运行方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046091B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131077A (zh) * | 2020-09-21 | 2020-12-25 | 中国建设银行股份有限公司 | 故障节点的定位方法和定位装置、以及数据库集群系统 |
| CN112347173A (zh) * | 2020-11-09 | 2021-02-09 | 杭州数梦工场科技有限公司 | 数据交换控制方法及装置 |
| CN113821330B (zh) * | 2021-11-24 | 2022-03-15 | 腾讯科技（深圳）有限公司 | 任务调度方法、装置、计算机设备和存储介质 |
| CN117608831A (zh) * | 2023-11-22 | 2024-02-27 | 杭州玖青数字科技有限公司 | 分布式数据交换系统的作业管理方法、装置及服务器 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH098907A (ja) * | 1995-04-20 | 1997-01-10 | Fujitsu Ltd | 集中管理・制御型ネットワークの負荷規制制御システム |
| CN102611605A (zh) * | 2011-01-20 | 2012-07-25 | 华为技术有限公司 | 一种数据交换网的调度方法、装置和系统 |
| CN103841042A (zh) * | 2014-02-19 | 2014-06-04 | 华为技术有限公司 | 在高运行效率下传输数据的方法和装置 |
| US8818988B1 (en) * | 2003-12-08 | 2014-08-26 | Teradata Us, Inc. | Database system having a regulator to provide feedback statistics to an optimizer |
| WO2017114199A1 (zh) * | 2015-12-31 | 2017-07-06 | 阿里巴巴集团控股有限公司 | 一种数据同步方法和装置 |
| CN107294083A (zh) * | 2016-04-10 | 2017-10-24 | 国网山东省电力公司经济技术研究院 | 基于营配调贯通的负荷实测分析方法 |
| CN109359158A (zh) * | 2018-08-22 | 2019-02-19 | 中国联合网络通信集团有限公司 | 数据同步方法、装置及存储介质 |
| CN109471847A (zh) * | 2018-09-18 | 2019-03-15 | 华中科技大学 | 一种i/o拥塞控制方法及控制系统 |
| CN109495202A (zh) * | 2018-12-20 | 2019-03-19 | 北京明朝万达科技股份有限公司 | 一种时间同步方法及装置 |
| CN110196767A (zh) * | 2018-03-05 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 服务资源控制方法、装置、设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7882323B2 (en) * | 2007-09-07 | 2011-02-01 | International Business Machines Corporation | Scheduling of background scrub commands to reduce high workload memory request latency |
| CN108009016B (zh) * | 2016-10-31 | 2021-10-22 | 华为技术有限公司 | 一种资源负载均衡控制方法及集群调度器 |
-
2019
- 2019-10-24 CN CN201911018953.XA patent/CN111046091B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH098907A (ja) * | 1995-04-20 | 1997-01-10 | Fujitsu Ltd | 集中管理・制御型ネットワークの負荷規制制御システム |
| US8818988B1 (en) * | 2003-12-08 | 2014-08-26 | Teradata Us, Inc. | Database system having a regulator to provide feedback statistics to an optimizer |
| CN102611605A (zh) * | 2011-01-20 | 2012-07-25 | 华为技术有限公司 | 一种数据交换网的调度方法、装置和系统 |
| CN103841042A (zh) * | 2014-02-19 | 2014-06-04 | 华为技术有限公司 | 在高运行效率下传输数据的方法和装置 |
| WO2017114199A1 (zh) * | 2015-12-31 | 2017-07-06 | 阿里巴巴集团控股有限公司 | 一种数据同步方法和装置 |
| CN107294083A (zh) * | 2016-04-10 | 2017-10-24 | 国网山东省电力公司经济技术研究院 | 基于营配调贯通的负荷实测分析方法 |
| CN110196767A (zh) * | 2018-03-05 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 服务资源控制方法、装置、设备和存储介质 |
| CN109359158A (zh) * | 2018-08-22 | 2019-02-19 | 中国联合网络通信集团有限公司 | 数据同步方法、装置及存储介质 |
| CN109471847A (zh) * | 2018-09-18 | 2019-03-15 | 华中科技大学 | 一种i/o拥塞控制方法及控制系统 |
| CN109495202A (zh) * | 2018-12-20 | 2019-03-19 | 北京明朝万达科技股份有限公司 | 一种时间同步方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046091A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046091B (zh) | 数据交换系统的运行方法、装置及设备 | |
| CN108762896B (zh) | 一种基于Hadoop集群任务调度方法及计算机设备 | |
| US7890620B2 (en) | Monitoring system and monitoring method | |
| CN106557369B (zh) | 一种多线程的管理方法及系统 | |
| CN104317658A (zh) | 一种基于MapReduce的负载自适应任务调度方法 | |
| US7191446B2 (en) | Method for resource management in a real-time embedded system | |
| CN105955809B (zh) | 线程调度方法和系统 | |
| CN113434253B (zh) | 集群资源调度方法、装置、设备及存储介质 | |
| US20150113539A1 (en) | Method for executing processes on a worker machine of a distributed computing system and a distributed computing system | |
| CN108270805B (zh) | 用于数据处理的资源分配方法及装置 | |
| CN111580949B (zh) | 一种网络收包模式自动调节方法 | |
| Muthuvelu et al. | On-line task granularity adaptation for dynamic grid applications | |
| CN114661482B (zh) | 一种gpu算力管理方法、介质、设备及系统 | |
| US7096471B2 (en) | Apparatus for resource management in a real-time embedded system | |
| CN112948097A (zh) | 一种iec61499的功能块执行调度方法及装置 | |
| CN113535387A (zh) | 一种异构感知的gpu资源分配与调度方法及系统 | |
| CN110728372B (zh) | 一种人工智能模型动态加载的集群设计方法及集群系统 | |
| CN111399995A (zh) | 保证延迟敏感程序服务质量的调节方法及系统 | |
| CN115858155A (zh) | 一种算力网络平台的应用资源动态扩缩容方法及装置 | |
| CN115237571A (zh) | 一种微服务架构下基于强化学习的计算机资源调度系统 | |
| TWI584667B (zh) | 多請求的排程方法及排程裝置 | |
| US20030023660A1 (en) | Real-time embedded resource management system | |
| CN115639762A (zh) | 机器人智能调度方法、装置、计算设备及计算机存储介质 | |
| EP1262871A2 (en) | Real-time embedded resource management system | |
| CN115562844A (zh) | 一种异构任务协同调度方法、系统、终端以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |