CN114625502A - 一种投词任务处理方法、装置、存储介质和电子设备 - Google Patents

一种投词任务处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN114625502A
CN114625502A CN202210202454.1A CN202210202454A CN114625502A CN 114625502 A CN114625502 A CN 114625502A CN 202210202454 A CN202210202454 A CN 202210202454A CN 114625502 A CN114625502 A CN 114625502A
Authority
CN
China
Prior art keywords
word
throwing
task
data
target database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210202454.1A
Other languages
English (en)
Inventor
唐杰成
潘仕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Tianyanchawei Technology Co ltd
Original Assignee
Yancheng Jindi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Jindi Technology Co Ltd filed Critical Yancheng Jindi Technology Co Ltd
Priority to CN202210202454.1A priority Critical patent/CN114625502A/zh
Publication of CN114625502A publication Critical patent/CN114625502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开实施例公开了一种投词任务处理方法和装置，以及存储介质和电子设备，其方法包括：响应于投词平台通过启动器监听到任务队列中的至少一个投词任务，投词平台通过启动器将至少一个投词任务中每个投词任务对应的配置信息投入投词平台的调度器中；针对至少一个投词任务中的每个投词任务，调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，同时根据对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。

Description

一种投词任务处理方法、装置、存储介质和电子设备
技术领域
本发明涉及计算机技术领域，具体涉及一种投词任务处理方法、装置、存储介质、电子设备和计算机程序产品。
背景技术
在实际业务场景中，针对具有不同类型的数据迁移或投词类型的投词任务，具体地，针对每一种类型的数据迁移对应的投词任务，或者是针对每一种投词类型的投词任务，均需要单独开发对应程序来实现对应的投词任务，这样，投词任务处理过程不仅不具有通用性，而且针对投词任务的任务处理效率较低。
如何解决现有投词任务处理过程不具有通用性的问题、且如何提高现有的投词任务处理效率，是待解决的技术问题。
发明内容
基于此，有必要针对基于现有的投词任务处理过程不具有通用性、且投词任务处理的效率低的问题，提供一种投词任务处理方法、装置、存储介质、电子设备和计算机程序产品。
第一方面，本公开实施例提供了一种消息去重处理方法，所述方法包括：响应于所述投词平台通过启动器监听到任务队列中的至少一个投词任务，所述投词平台通过所述启动器将所述至少一个投词任务中每个投词任务对应的配置信息投入所述投词平台的调度器中；
针对所述至少一个投词任务中的每个投词任务，所述调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，同时根据所述对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在一种实施方式中，针对每个投词任务，所述调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，包括所述调度器：
对所接收到的与该投词任务对应的配置信息进行解析，以提取源数据库配置参数和目标数据库配置参数；
根据提取的源数据库配置参数，确定该投词任务所针对的源数据库；以及
根据提取的目标数据库配置参数，确定该投词任务所针对的目标数据库。
在一种实施方式中，针对每个投词任务，所述调度器根据所述对应的配置信息从投词任务所针对的源数据库中获取投词数据，包括所述调度器：
对所接收到的与该投词任务对应的配置信息进行解析，以提取投词方式配置参数和投词量配置参数；
根据提取的投词方式配置参数所表征的投词方式，以及根据提取的投词量配置参数，从该投词任务所针对的源数据库中获取对应的投词数据，其中，所述投词方式包括以下至少之一：定时投词、非定时单次投词和非定时循环投词。
在一种实施方式中，调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中，包括：在所述目标数据库为队列型数据库的情况下，
在所述目标数据库的剩余队列长度大于或等于获取的投词数据的数据量的情况下，调用所述投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在一种实施方式中，调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中，还包括：在所述目标数据库为队列型数据库的情况下，
在所述目标数据库的剩余队列长度小于获取的投词数据的数据量的情况下，根据所述投词平台的阻断器返回的阻断信号，先暂时阻断所述投词平台通过所述投词器将获取的投词数据投入投词任务所针对的目标数据库中，待本次阻断结束后，再通过所述投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在一种实施方式中，将获取的投词数据投入投词任务所针对的目标数据库中，包括：
将获取的投词数据直接投入投词任务所针对的目标数据库中；或者
将获取的投词数据先进行格式处理后再投入投词任务所针对的目标数据库中。
第二方面，本公开实施例提供了一种投词任务处理装置，应用于投词平台，所述装置包括：
配置信息投入单元，用于响应于所述投词平台通过启动器监听到任务队列中的至少一个投词任务，所述投词平台通过所述启动器将所述至少一个投词任务中每个投词任务对应的配置信息投入所述投词平台的调度器中；
处理单元，用于针对所述至少一个投词任务中的每个投词任务，所述调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库；以及同时根据所述对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。
第三方面，本公开实施例提供一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述的方法步骤。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述的方法步骤。
第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的方法步骤。
在本公开实施例中，响应于投词平台通过启动器监听到任务队列中的至少一个投词任务，投词平台通过启动器将至少一个投词任务中每个投词任务对应的配置信息投入投词平台的调度器中；针对至少一个投词任务中的每个投词任务，调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，同时根据对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。本公开实施例提供的投词任务处理方法，用于引入了投词平台，能够对不同类型的投词任务对应的配置信息分别进行配置，并通过该投词平台的启动器将每个投词任务对应的配置信息投入至该投词平台的调度器中进行投词处理，这样，通过投词平台对各种类型的投词任务的处理过程不仅具有通用性；此外，由于无需针对每一类投词任务均开发不同的投词任务处理程序，从而大大地提高了投词任务的任务处理效率。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本公开一示例性实施例提供的投词任务处理方法的流程图；
图2为根据本公开一示例性实施例提供的具体应用场景下的投词任务处理方法的流程图；
图3为根据本公开一示例性实施例提供的投词任务处理装置300的结构示意图；
图4示出了本公开一示例性实施例提供的一种电子设备的示意图；
图5示出了本公开一示例性实施例提供的一种计算机可读介质的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参考图1，其示出了本申请的一些实施方式所提供的一种投词任务处理方法的流程图，如图1所示，投词任务处理方法应用于投词平台，该投词任务处理方法可以包括以下步骤：
步骤S101：响应于投词平台通过启动器监听到任务队列中的至少一个投词任务，投词平台通过启动器将至少一个投词任务中每个投词任务对应的配置信息投入投词平台的调度器中；
步骤S102：针对至少一个投词任务中的每个投词任务，调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，同时根据对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在一种可能的实现方式中，针对每个投词任务，调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，包括调度器：
对所接收到的与该投词任务对应的配置信息进行解析，以提取源数据库配置参数和目标数据库配置参数；
根据提取的源数据库配置参数，确定该投词任务所针对的源数据库；以及
根据提取的目标数据库配置参数，确定该投词任务所针对的目标数据库。
在一种可能的实现方式中，针对每个投词任务，调度器根据对应的配置信息从投词任务所针对的源数据库中获取投词数据，包括调度器：
对所接收到的与该投词任务对应的配置信息进行解析，以提取投词方式配置参数和投词量配置参数；
根据提取的投词方式配置参数所表征的投词方式，以及根据提取的投词量配置参数，从该投词任务所针对的源数据库中获取对应的投词数据，其中，投词方式包括以下至少之一：定时投词、非定时单次投词和非定时循环投词。
需要说明的是，在本公开实施例提供的投词任务处理方法中，对上述投词方式为定时投词所对应的定时时长并不做具体限制，可以根据不同应用场景的需求，对定时投词所对应的定时时长进行配置，在此不再赘述。
同样，对对上述投词方式为非定时循环投词所对应的循环次数并不做具体限制，可以根据不同应用场景的需求，对非定时循环投词所对应的循环次数进行配置，在此不再赘述。
在一种可能的实现方式中，本公开实施例提供的投词任务处理方法还包括以下步骤：
在当前投词任务为定时投词任务的情况下，遍历并完成所有的投词任务；
统计对应的投词成功数值、投词失败数值和断点标识。
通过上述步骤所统计的每一个投词任务所对应的投词成功数值以及投词失败数值，去对本公开实施例提供的投词任务处理流程进行迭代及优化，直至统计出的预设数量的投词任务所对应的投词成功数值均大于或者等于预设值时为止。
在实际应用场景中，可以对预设值以及预设数量进行配置，在此对预设值和预设数量不做具体限制，可以根据不同应用场景的需求进行调整。
在当前投词任务为非定时投词任务或者为非定时循环投词任务的情况下，对投词任务处理流程进行迭代及优化的过程，与上述定时投词任务对应的投词任务处理流程的迭代及优化过程类似，在此不再赘述。
在一种可能的实现方式中，调用投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中，包括：在目标数据库为队列型数据库的情况下，
在目标数据库的剩余队列长度大于或等于获取的投词数据的数据量的情况下，调用投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在实际应用场景中，在目标数据库的剩余队列长度大于或等于获取的投词数据的数据量的情况下，就可以确保有足够多的剩余队列可以处理获取的所有投词数据，这样，有效地避免了可能出现的投词数据的等待处理现象，从而提高了投词任务处理的处理效率。
在一种可能的实现方式中，调用投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中，还包括以下步骤：在目标数据库为队列型数据库的情况下，
在目标数据库的剩余队列长度小于获取的投词数据的数据量的情况下，根据投词平台的阻断器返回的阻断信号，先暂时阻断投词平台通过投词器将获取的投词数据投入投词任务所针对的目标数据库中，待本次阻断结束后，再通过投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在实际应用场景中，在目标数据库的剩余队列长度小于获取的投词数据的数据量的情况下，根据投词平台的阻断器返回的阻断信号的上述阻断处理，先阻断上述针对投词数据的投词处理过程，直至有充足的目标数据库的剩余队列长度可以处理获取的所有投词数据为止，才重新启动上述投词过程，通过投词器将获取的投词数据投入投词任务所针对的目标数据库中。
通过上述阻断器基于返回的阻断信号所执行的针对投词任务的阻断处理操作，能够有效地避免因投词数据量过大而可能出现的队列拥堵现象，从而最终提高了投词任务处理的处理效率。
在一种可能的实现方式中，将获取的投词数据投入投词任务所针对的目标数据库中，包括以下步骤：
将获取的投词数据直接投入投词任务所针对的目标数据库中；这样，在确保投词数据为投词平台能够直接处理的标准格式的投词数据的情况下，直接将获取的投词数据直接投入投词任务所针对的目标数据库中，从而大大地提高了投词任务处理的处理效率。
在一种可能的实现方式中，将获取的投词数据投入投词任务所针对的目标数据库中，包括以下步骤：
将获取的投词数据先进行格式处理后再投入投词任务所针对的目标数据库中；这样，在获取的投词数据为投词平台不能直接处理的非标准格式的投词数据的情况下，先对获取的投词数据进行格式处理，得到投词平台能够识别且能够进行投词处理的具有标准格式的投词数据，以将处理后的具有标准格式的投词数据投入投词任务所针对的目标数据库中。
在一种可能的实现方式中，本公开实施例提供的投词任务处理方法还包括以下步骤：
响应于目标用户在投词平台的可视化界面的第一触控操作，启动当前投词任务；这样，便于用户操作。由于投词平台具有对用户友好的可视化界面，从而提高了用户体验度。
在实际应用场景中，在启动当前投词任务之后，还可以通过投词平台的可视化界面，实时监测投词任务处理进程。
在一种可能的实现方式中，本公开实施例提供的投词任务处理方法还包括以下步骤：
响应于目标用户在投词平台的可视化界面的第二触控操作，暂停当前投词任务。
在实际应用场景中，在启动当前投词任务之后，在通过投词平台的可视化界面监测到目标数据库的剩余队列长度小于获取的投词数据的数据量时，则通过响应于目标用户在投词平台的可视化界面的第二触控操作，暂停当前投词任务；这样，先阻断上述针对投词数据的投词处理过程，直至有充足的目标数据库的剩余队列长度可以处理获取的所有投词数据为止，才通过响应于目标用户在投词平台的可视化界面的第一触控操作，再次重新启动当前投词任务所对应的投词过程，通过投词器将获取的投词数据投入投词任务所针对的目标数据库中。
通过上述响应于目标用户在投词平台的可视化界面的第二触控操作，暂停当前投词任务，能够有效地避免因投词数据量过大而可能出现的队列拥堵现象，从而最终提高了投词任务处理的处理效率。
在一种可能的实现方式中，本公开实施例提供的投词任务处理方法还包括以下步骤：
通过投词平台的可视化界面实时展示当前投词任务对应的任务进度信息、对应的配置信息；这样，通过投词平台的可视化界面，目标用户可以实时监测当前投词任务对应的任务进度信息和对应的配置信息，增加了人机互动性，提供了友好的可视化界面。
在实际应用场景中，在通过投词平台的可视化界面监测到当前任务可能出现的队列拥堵现象时，可以响应于目标用户在投词平台的可视化界面的第二触控操作暂停当前投词过程，直至队列拥堵问题得以解决为止才响应于目标用户在投词平台的可视化界面的第一触控操作重新启动当前投词过程；这样，增加了人机互动性，提高了用户体验度。
在实际应用场景中，还可以通过投词平台的可视化界面实时查看或者修改当前投词任务对应的配置信息，以不断优化上述投词任务处理过程。
如图2所示，为根据本公开一示例性实施例提供的具体应用场景下的投词任务处理方法的流程图。
基于如图2所示的投词任务处理方法与如图1所示的投词任务处理方法类似，针对图2的具体描述参见针对图1的相同或相似的描述，在此不再赘述。
在本公开实施例中，响应于投词平台通过启动器监听到任务队列中的至少一个投词任务，投词平台通过启动器将至少一个投词任务中每个投词任务对应的配置信息投入投词平台的调度器中；针对至少一个投词任务中的每个投词任务，调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，同时根据对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。本公开实施例提供的投词任务处理方法，用于引入了投词平台，能够对不同类型的投词任务对应的配置信息分别进行配置，并通过该投词平台的启动器将每个投词任务对应的配置信息投入至该投词平台的调度器中进行投词处理，这样，通过投词平台对各种类型的投词任务的处理过程不仅具有通用性；此外，由于无需针对每一类投词任务均开发不同的投词任务处理程序，从而大大地提高了投词任务的任务处理效率。
在上述的实施例中，提供了一种投词任务处理方法，与之相对应的，本申请还提供一种投词任务处理装置。本申请实施例提供的投词任务处理装置可以实施上述投词任务处理方法，该投词任务处理装置可以通过软件、硬件或软硬结合的方式来实现。例如，该投词任务处理装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。
请参考图3，其示出了本申请的一些实施方式所提供的一种投词任务处理装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图3所示，投词任务处理装置300应用于投词平台，投词任务处理装置300可以包括：
配置信息投入单元301，用于响应于投词平台通过启动器监听到任务队列中的至少一个投词任务，投词平台通过启动器将至少一个投词任务中每个投词任务对应的配置信息投入投词平台的调度器中；
处理单元302，用于针对至少一个投词任务中的每个投词任务，调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库；以及同时根据对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在本申请实施例的一些实施方式中，处理单元302具体用于：
调度器对所接收到的与该投词任务对应的配置信息进行解析，以提取源数据库配置参数和目标数据库配置参数；
根据提取的源数据库配置参数，确定该投词任务所针对的源数据库；以及
根据提取的目标数据库配置参数，确定该投词任务所针对的目标数据库。
在本申请实施例的一些实施方式中，处理单元302具体用于：
调度器对所接收到的与该投词任务对应的配置信息进行解析，以提取投词方式配置参数和投词量配置参数；
根据提取的投词方式配置参数所表征的投词方式，以及根据提取的投词量配置参数，从该投词任务所针对的源数据库中获取对应的投词数据，其中，投词方式包括以下至少之一：定时投词、非定时单次投词和非定时循环投词。
在本申请实施例的一些实施方式中，处理单元302具体用于：
在目标数据库为队列型数据库的情况下，
在目标数据库的剩余队列长度大于或等于获取的投词数据的数据量的情况下，调用投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在本申请实施例的一些实施方式中，处理单元302还具体用于：
在目标数据库为队列型数据库的情况下，
在目标数据库的剩余队列长度小于获取的投词数据的数据量的情况下，根据投词平台的阻断器返回的阻断信号，先暂时阻断投词平台通过投词器将获取的投词数据投入投词任务所针对的目标数据库中，待本次阻断结束后，再通过投词器将获取的投词数据投入投词任务所针对的目标数据库中。
在本申请实施例的一些实施方式中，处理单元302具体用于：
将获取的投词数据直接投入投词任务所针对的目标数据库中；或者
将获取的投词数据先进行格式处理后再投入投词任务所针对的目标数据库中。
在本申请实施例的一些实施方式中本申请实施例提供的投词任务处理装置300，与本申请前述实施例提供的投词任务处理方法出于相同的发明构思，具有相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的投词任务处理方法对应的电子设备，所述电子设备可以是用于服务端的电子设备，例如服务器，包括独立的服务器和分布式服务器集群等，以执行上述投词任务处理方法；所述电子设备也可以是用于客户端的电子设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述投词任务处理方法。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备40包括：处理器400，存储器401，总线402和通信接口403，所述处理器400、通信接口403和存储器401通过总线402连接；所述存储器401中存储有可在所述处理器400上运行的计算机程序，所述处理器400运行所述计算机程序时执行本申请前述投词任务处理方法。
其中，存储器401可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口403(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线402可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器401用于存储程序，所述处理器400在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的投词任务处理方法可以应用于处理器400中，或者由处理器400实现。
处理器400可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器400中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器400可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器400读取存储器401中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的投词任务处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的投词任务处理方法对应的计算机可读介质，请参考图5，其示出的计算机可读存储介质为光盘50，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述投词任务处理方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的投词任务处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种投词任务处理方法，应用于投词平台，所述方法包括：
响应于所述投词平台通过启动器监听到任务队列中的至少一个投词任务，所述投词平台通过所述启动器将所述至少一个投词任务中每个投词任务对应的配置信息投入所述投词平台的调度器中；
针对所述至少一个投词任务中的每个投词任务，所述调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，同时根据所述对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。
2.根据权利要求1所述的方法，其中，针对每个投词任务，所述调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库，包括所述调度器：
对所接收到的与该投词任务对应的配置信息进行解析，以提取源数据库配置参数和目标数据库配置参数；
根据提取的源数据库配置参数，确定该投词任务所针对的源数据库；以及
根据提取的目标数据库配置参数，确定该投词任务所针对的目标数据库。
3.根据权利要求1所述的方法，其中，针对每个投词任务，所述调度器根据所述对应的配置信息从投词任务所针对的源数据库中获取投词数据，包括所述调度器：
对所接收到的与该投词任务对应的配置信息进行解析，以提取投词方式配置参数和投词量配置参数；
根据提取的投词方式配置参数所表征的投词方式，以及根据提取的投词量配置参数，从该投词任务所针对的源数据库中获取对应的投词数据，其中，所述投词方式包括以下至少之一：定时投词、非定时单次投词和非定时循环投词。
4.根据权利要求1所述的方法，其中，调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中，包括：在所述目标数据库为队列型数据库的情况下，
在所述目标数据库的剩余队列长度大于或等于获取的投词数据的数据量的情况下，调用所述投词器将获取的投词数据投入投词任务所针对的目标数据库中。
5.根据权利要求4所述的方法，其中，调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中，还包括：在所述目标数据库为队列型数据库的情况下，
在所述目标数据库的剩余队列长度小于获取的投词数据的数据量的情况下，根据所述投词平台的阻断器返回的阻断信号，先暂时阻断所述投词平台通过所述投词器将获取的投词数据投入投词任务所针对的目标数据库中，待本次阻断结束后，再通过所述投词器将获取的投词数据投入投词任务所针对的目标数据库中。
6.根据权利要求1所述的方法，其中，将获取的投词数据投入投词任务所针对的目标数据库中，包括：
将获取的投词数据直接投入投词任务所针对的目标数据库中；或者
将获取的投词数据先进行格式处理后再投入投词任务所针对的目标数据库中。
7.一种投词任务处理装置，应用于投词平台，所述装置包括：
配置信息投入单元，用于响应于所述投词平台通过启动器监听到任务队列中的至少一个投词任务，所述投词平台通过所述启动器将所述至少一个投词任务中每个投词任务对应的配置信息投入所述投词平台的调度器中；
处理单元，用于针对所述至少一个投词任务中的每个投词任务，所述调度器根据所接收到的对应的配置信息确定投词任务所针对的源数据库与目标数据库；以及同时根据所述对应的配置信息从投词任务所针对的源数据库中获取投词数据并调用所述投词平台的投词器将获取的投词数据投入投词任务所针对的目标数据库中。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的方法。
CN202210202454.1A 2022-03-03 2022-03-03 一种投词任务处理方法、装置、存储介质和电子设备 Pending CN114625502A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210202454.1A CN114625502A (zh) 2022-03-03 2022-03-03 一种投词任务处理方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210202454.1A CN114625502A (zh) 2022-03-03 2022-03-03 一种投词任务处理方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN114625502A true CN114625502A (zh) 2022-06-14

Family

ID=81899759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210202454.1A Pending CN114625502A (zh) 2022-03-03 2022-03-03 一种投词任务处理方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN114625502A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994022A (zh) * 2023-03-17 2023-04-21 北京百度网讯科技有限公司 算法服务的调用方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102254A1 (en) * 2003-11-06 2005-05-12 Marr Gary W. Methods, computer program products, and systems that schedule loading data into databases
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
US20150019488A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Automated database migration architecture
CN111984395A (zh) * 2019-05-22 2020-11-24 中移(苏州)软件技术有限公司 一种数据迁移方法和系统，及计算机可读存储介质
CN112698789A (zh) * 2020-12-29 2021-04-23 广州鼎甲计算机科技有限公司 数据缓存方法、装置、设备及存储介质
CN112840320A (zh) * 2018-12-21 2021-05-25 深圳鲲云信息科技有限公司 一种资源平台独享资源的方法、装置及电子设备
WO2021169268A1 (zh) * 2020-02-28 2021-09-02 平安科技（深圳）有限公司 数据处理方法、装置、设备和存储介质
CN113934913A (zh) * 2021-11-12 2022-01-14 盐城金堤科技有限公司 数据抓取方法、装置、存储介质及电子设备
CN113986825A (zh) * 2021-12-27 2022-01-28 北京星汉未来网络科技有限公司 数据迁移的系统、方法、装置、电子设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102254A1 (en) * 2003-11-06 2005-05-12 Marr Gary W. Methods, computer program products, and systems that schedule loading data into databases
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
US20150019488A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Automated database migration architecture
CN112840320A (zh) * 2018-12-21 2021-05-25 深圳鲲云信息科技有限公司 一种资源平台独享资源的方法、装置及电子设备
CN111984395A (zh) * 2019-05-22 2020-11-24 中移(苏州)软件技术有限公司 一种数据迁移方法和系统，及计算机可读存储介质
WO2021169268A1 (zh) * 2020-02-28 2021-09-02 平安科技（深圳）有限公司 数据处理方法、装置、设备和存储介质
CN112698789A (zh) * 2020-12-29 2021-04-23 广州鼎甲计算机科技有限公司 数据缓存方法、装置、设备及存储介质
CN113934913A (zh) * 2021-11-12 2022-01-14 盐城金堤科技有限公司 数据抓取方法、装置、存储介质及电子设备
CN113986825A (zh) * 2021-12-27 2022-01-28 北京星汉未来网络科技有限公司 数据迁移的系统、方法、装置、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994022A (zh) * 2023-03-17 2023-04-21 北京百度网讯科技有限公司 算法服务的调用方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110750341B (zh) 任务调度方法、装置、系统、终端设备及存储介质
CN111104664B (zh) 一种电子设备的风险识别方法及服务器
CN108255620B (zh) 一种业务逻辑处理方法、装置、业务服务器及系统
CN108347445B (zh) 实现远程调用的方法及装置
US20170185454A1 (en) Method and Electronic Device for Determining Resource Consumption of Task
CN107302493B (zh) 一种消息处理方法、消息处理装置及智能终端
EP3171274A1 (en) Resource leak detecting method, device, and system
CN108572866B (zh) 一种应用程序管理方法、应用程序管理装置及移动终端
CN110808877A (zh) 基于接口响应时长的统计分析方法、装置及计算机设备
CN110851207B (zh) 状态转换管理方法、装置、电子设备和存储介质
CN107864044B (zh) 一种信息处理方法及装置、终端及可读存储介质
CN114625502A (zh) 一种投词任务处理方法、装置、存储介质和电子设备
CN108062401B (zh) 应用推荐方法、装置及存储介质
CN111597009A (zh) 应用程序显示的方法、装置及终端设备
CN113190427A (zh) 卡顿监控方法、装置、电子设备及存储介质
CN110865877B (zh) 一种任务请求的响应方法及设备
CN111831408A (zh) 异步任务处理方法、装置、电子设备及介质
CN112380094A (zh) 一种rpa业务流程处理方法及装置
CN111124519A (zh) 基于输入响应优化安卓应用程序启动速度的方法及系统
CN109614246B (zh) 一种消息处理的方法、装置及消息处理服务器
CN112989323B (zh) 进程检测方法、装置、终端及存储介质
CN114816583A (zh) 基于Flink的数据自动化处理方法、装置和电子设备
CN110874277B (zh) 一种电子红包处理方法、电子红包处理装置及移动终端
CN113779021A (zh) 数据处理方法、装置、计算机系统及可读存储介质
CN112463125B (zh) 一种虚拟定时器的定时方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230731

Address after: Room 404-405, 504, Building B-17-1, Big data Industrial Park, Kecheng Street, Yannan High tech Zone, Yancheng, Jiangsu Province, 224000

Applicant after: Yancheng Tianyanchawei Technology Co.,Ltd.

Address before: 224000 room 501-503, building b-17-1, Xuehai road big data Industrial Park, Kecheng street, Yannan high tech Zone, Yancheng City, Jiangsu Province

Applicant before: Yancheng Jindi Technology Co.,Ltd.

TA01 Transfer of patent application right