CN107818097B - 数据处理方法和装置 - Google Patents

Abstract

本发明涉及一种数据处理方法和装置，包括：监听运行的多个作业的处理状态；当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从所述机构标识中确定出待调整机构标识；将所述待调整机构标识对应的作业标识调整为所述处理状态为已完成的作业的作业标识；再次运行所述处理状态为已完成的作业，根据再次运行的所述作业对所述待调整机构标识对应的机构的数据内容进行对应处理。提高了资源利用率。

Description

数据处理方法和装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法和装置。

背景技术

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。有时会利用执行作业(job，一个数据处理过程称为一个job)的方式从数据库中提取数据，以及进一步针对提取的数据进行后续处理。

通常每个作业中的处理内容是固定的，无法根据业务的变更来灵活调整作业的处理内容。每个作业只负责自身所对应的处理内容，这样一来，一个作业如果率先完成其对应的处理内容后，就会处于空闲状态，而不会自动的帮助其他作业。导致资源无法有效利用。

发明内容

基于此，有必要针对上述问题，提供一种能够提高资源利用率的数据处理方法和装置。

一种数据处理方法，所述方法包括以下步骤：

监听运行的多个作业的处理状态；

当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从所述机构标识中确定出待调整机构标识；

将所述待调整机构标识对应的作业标识调整为所述处理状态为已完成的作业的作业标识；

再次运行所述处理状态为已完成的作业，根据再次运行的所述作业对所述待调整机构标识对应的机构的数据内容进行对应处理。

在其中一个实施例中，在所述监听运行的多个作业的处理状态的步骤之前，还包括：

当到达预设作业执行时间时，获取与预设作业执行时间对应的作业标识；

根据预设的作业标识和机构标识之间的对应关系，获取与所述作业标识对应的机构标识；

运行所述作业标识对应的作业，以使所述作业对与所述机构标识对应的机构的数据内容进行对应处理。

在其中一个实施例中，所述方法还包括：

监测各个所述作业的运行时间；

当所述作业的运行时间超过预设的时间阈值时，则对所述作业进行退出操作。

在其中一个实施例中，从所述机构标识中确定出待调整机构标识的步骤包括：

根据预设的机构标识和机构层级之间的对应关系，获取所述机构标识所对应的机构层级；

按照机构层级由高到低的顺序从所述机构标识中选取预设数量的机构标识作为待调整机构标识。

在其中一个实施例中，各个所述作业包含至少一个的任务；

所述根据再次运行的作业对所述待调整机构标识对应的机构的数据内容进行对应处理的步骤，包括：

根据预设的任务与逻辑程序之间的对应关系，获取再次运行的所述作业中包含的任务所对应的逻辑程序；

根据所述逻辑程序从所述待调整机构标识对应的机构的数据库中提取对应的数据内容，并根据所述逻辑程序对所述提取的数据内容进行对应处理。

一种数据处理装置，所述装置包括：

监听模块，用于监听运行的多个作业的处理状态；

待调整机构确定模块，用于当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从所述机构标识中确定出待调整机构标识；

调整模块，用于将所述待调整机构标识对应的作业标识调整为所述处理状态为已完成的作业的作业标识；

运行处理模块，用于再次运行所述处理状态为已完成的作业，根据再次运行的所述作业对所述待调整机构标识对应的机构的数据内容进行对应处理。

在其中一个实施例中，所述装置还包括：

获取模块，用于当到达预设作业执行时间时，获取与预设作业执行时间对应的作业标识；

所述获取模块还用于根据预设的作业标识和机构标识之间的对应关系，获取与所述作业标识对应的机构标识；

所述运行处理模块还用于运行所述作业标识对应的作业，以使所述作业对与所述机构标识对应的机构的数据内容进行对应处理。

在其中一个实施例中，所述监听模块还用于监测各个所述作业的运行时间；

所述装置还包括：

退出模块，用于当所述作业的运行时间超过预设的时间阈值时，则对所述作业进行退出操作。

在其中一个实施例中，所述待调整机构确定模块还用于根据预设的机构标识和机构层级之间的对应关系，获取所述机构标识所对应的机构层级；按照机构层级由高到低的顺序从所述机构标识中选取预设数量的机构标识作为待调整机构标识。

在其中一个实施例中，各个所述作业包含至少一个的任务；

所述运行处理模块还用于根据预设的任务与逻辑程序之间的对应关系，获取再次运行的所述作业中包含的任务所对应的逻辑程序；根据所述逻辑程序从所述待调整机构标识对应的机构的数据库中提取对应的数据内容，并根据所述逻辑程序对所述提取的数据内容进行对应处理。

上述数据处理方法和装置，通过监听运行的多个作业的处理状态；当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从所述机构标识中确定出待调整机构标识；将所述待调整机构标识对应的作业标识调整为所述处理状态为已完成的作业的作业标识。再次运行所述处理状态为已完成的作业，根据再次运行的所述作业对所述待调整机构标识对应的机构的数据内容进行对应处理。相当于为该处理状态为已完成的作业分配新的对应机构，并对新的对应机构的数据内容进行处理。实现了作业的处理内容的动态分配，避免了在作业在完成后就处于空闲状态，从而提高了资源的利用率。

此外，将未完成的作业的一些未处理内容分配给已完成的作业来进行处理，能够提高整体的数据内容处理的效率。

附图说明

图1为一个实施例中数据处理方法的流程示意图；

图2为一个实施例中作业定时执行方法的流程示意图；

图3为一个实施例中待调整机构标识获取方法的流程示意图；

图4为一个实施例中数据处理装置的结构示意图；

图5为另一个实施例中数据处理装置的结构示意图；

图6为又一个实施例中数据处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，提供了一种数据处理方法，以该方法应用于服务器为例进行举例说明，该方法包括以下步骤：

步骤102，监听运行的多个作业的处理状态。

可以理解，作业即指job，一个数据处理过程即为一个job。

在运行多个作业对数据库中的数据内容进行处理时，服务器会监听所运行的多个作业的处理状态。其中，处理状态包括已完成状态和未完成状态。进一步，可以理解，未完成状态包括处理中状态和处理失败状态。

服务器中设置了作业标识和机构标识之间的对应关系。其中，机构即指各个业务机构，机构种类由企业自身的组织架构划分来确定。可以理解，作业标识用于唯一标识一个作业。机构标识用于唯一标识一个机构。

进一步，每个运行的作业的作业标识对应多个机构标识，一个机构标识唯一对应一个作业标识。

需要说明的是，具有对应关系的作业标识和机构标识，说明该作业标识对应的作业用于处理该机构标识所对应的机构的数据库中的数据内容。

步骤104，当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从该机构标识中确定出待调整机构标识。

本实施例中，当监听到预设数量的作业的处理状态为已完成时，服务器则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识。其中，预设数量为一个或多个，具体多少可以根据实际情况进行设定。

具体地，服务器会先根据对作业的处理状态标签，获取处理状态为未完成的作业的作业标识。进一步，服务器会根据预设的作业标识和机构标识之间的对应关系，以及根据对各个机构的状态标签，获取处理状态为未完成的作业的作业标识所对应的处于未处理状态的机构的机构标识。

可以理解，机构的状态可以包括已处理、处理中和未处理。本实施例获取的是所对应的处于未处理状态的机构的机构标识。

更进一步，从处于未处理状态的机构的机构标识中确定出待调整机构标识。具体地，可以是，从处于未处理状态的机构的机构标识中随机选取预设数量的机构标识作为待调整机构标识。也可以是，根据各个机构的层级确定选取的优先级，来根据该优先级从中确定出待调整机构标识。还可以是，根据机构标识的顺序依次选取预设数量的机构标识作为待调整机构标识。本发明实施例，对从处于未处理状态的机构的机构标识中确定出待调整机构标识的具体实现方式不做限定。

需要说明的是，本发明实施例对所确定出的待调整机构标识的数量不作限定，可以为一个或多个。

步骤106，将待调整机构标识对应的作业标识调整为处理状态为已完成的作业的作业标识。

本实施例中，服务器会将确定出的待调整机构标识对应的作业标识由之前的处于未处理状态的机构标识调整为处理状态为已完成的作业的作业标识。即调整后的该待调整机构对应的作业即为该处理状态为已完成的作业了。

进一步，当处理状态为已完成的作业的作业标识有多个时，则可以从中随机选取一个作为调整之后的与待调整机构标识对应的作业标识。

步骤108，再次运行处理状态为已完成的作业，根据再次运行的作业对待调整机构标识对应的机构的数据内容进行对应处理。

本实施例中，服务器会再次运行该处理状态为已完成的作业。并根据再次运行的该作业对待调整机构对应的机构的数据内容进行对应处理。

具体地，根据再次运行的该作业对待调整机构对应的机构的数据库的数据内容进行提取。进一步，还可以根据该作业对所提取的数据内容进行对应的处理。比如，对数据内容进行存储处理和/或分发处理和/或对数据内容进行统计分析处理等等。这里，对根据作业对所提取的数据内容进行何种处理不做限定，具体根据作业中的各个任务的实际设定来确定。

现对上述步骤进行举例说明。比如，运行了Job1、Job2、Job3三个作业。Job1对应处理机构1、机构2在数据库中的数据内容，Job2对应处理机构3、机构4、机构5在数据库中的数据内容，Job3对应处理机构6、机构7和机构8在数据库中的数据内容。在监听到Job1的处理状态为已完成状态时，Job2中机构4和机构5还处于未处理状态，以及Job3中机构8还处于未处理状态。服务器会从机构4、机构5以及机构8中选取出待调整机构，比如选取待调整机构为机构5。那么，进一步，将机构5所对应的作业调整为Job1。再次运行Job1,根据Job1来对机构5的数据内容进行对应处理。

本实施例中，相当于在监听到有已完成的作业时，从未完成的作业中选取还未处理的机构，通过调整，建立已完成的作业和还未处理的机构之间的对应关系，再次运行已完成的作业来对该未处理的机构的数据内容进行对应处理。相当于为该处理状态为已完成的作业分配新的对应机构，并对新的对应机构的数据内容进行处理。实现了作业的处理内容的动态分配，避免了在作业在完成后就处于空闲状态，从而提高了资源的利用率。

此外，将未完成的作业的一些未处理内容分配给已完成的作业来进行处理，能够提高整体的数据内容处理的效率。

如图2所示，在一个实施例中，在监听运行的多个作业的处理状态的步骤之前，还包括作业定时执行的步骤，具体包括以下步骤：

步骤202，当到达预设作业执行时间时，获取与预设作业执行时间对应的作业标识。

本实施例中，服务器中预设了作业执行时间。预设作业执行时间，指预设的执行作业的时间。其中，预设作业执行时间可以是一个时间点，也可以是一个时间段。预设作业执行时间为一个或多个。

进一步，服务器中设置了预设作业执行时间和作业标识之间的对应关系。可以理解，一个预设作业执行时间可以对应一个或多个作业标识。

更进一步，一个作业标识可以对应于一个或多个预设作业执行时间。多个作业标识可以对应于一个或多个预设作业执行时间。这里，对作业标识与预设作业执行时间之间的对应关系不作限定。仅满足针对各个作业设置了对应的预设作业执行时间即可。

当到达预设作业执行时间时，服务器会根据上述对应关系，获取与预设作业执行时间对应的作业标识。

步骤204，根据预设的作业标识和机构标识之间的对应关系，获取与作业标识对应的机构标识。

进一步，根据预设的作业标识和机构标识之间的对应关系，获取与上述对应的作业标识所对应的机构标识。结合前文，一个作业标识可以对应一个或多个机构标识。

步骤206，运行作业标识对应的作业，以使该作业对与机构标识对应的机构的数据内容进行对应处理。

进一步，服务器会运行上述对应的作业标识对应的作业，以使该作业对其所对应的机构标识对应的机构的数据内容进行对应处理。

具体地，对对应的机构的数据库的数据内容进行提取。进一步，还可以根据该作业对所提取的数据内容进行对应的处理。比如，对数据内容进行下发处理或者对数据内容进行统计分析处理等等。这里，对根据作业对所提取的数据内容进行何种处理不做限定，具体根据作业中的各个任务的实际设定来确定。

本实施例中，可以实现对作业的定时执行，大大减少了人工手动操作步骤，节省了人力成本。

在一个实施例中，该方法还包括：监测各个作业的运行时间，当作业的运行时间超过预设的时间阈值时，则对作业进行退出操作的步骤。

本实施例中，服务器中预设了时间阈值。

服务器会检测各个作业的运行时间，当作业的运行时间超过预设的时间阈值时，服务器则对该作业进行退出操作，以使该作业退出运行。

其中，预设的时间阈值可以是时间点，也可以是时间长度。同样的，作业的运行时间可以是该作业的当前运行时间点，也可以是该作业此次运行的总的运行时长。

具体地，当预设的时间阈值是时间点时，则当作业的当前运行时间点超过预设的时间点时，服务器对该作业进行退出操作。比如，预设时间点为18：00：00，则在18：00：00之后，则对该作业进行退出操作，使该作业退出运行。

当预设的时间阈值是时间长度时，则当作业此次运行的总的运行时长超过预设的时间长度时，服务器对该作业进行退出操作。比如，预设的时间长度为3小时，当作业此次运行的总运行时长超过3小时时，则对该作业进行退出操作，使该作业退出运行。

因为传统方法中，在作业运行过程中出现错误或故障时，作业仍然会由于一些原因(比如反复重试等)耗用很多的资源。本实施例中，对运行时间超出预设时间阈值的作业进行自动退出操作，避免了作业因出现问题而造成的资源损耗。

如图3所示，在一个实施例中，从机构标识中确定出待调整机构标识的步骤(简称待调整机构标识获取步骤)包括：

步骤302，根据预设的机构标识和机构层级之间的对应关系，获取机构标识所对应的机构层级。

步骤304，按照机构层级由高到低的顺序从机构标识中选取预设数量的机构标识作为待调整机构标识。

本实施例中，服务器中预先设置了机构标识和机构层级之间的对应关系。根据该对应关系，获取处于未处理状态的机构的机构标识所对应的机构层级。

其中，一个机构标识仅对应一个机构层级，一个机构层级可以对应一个或多个机构标识。机构层级之间有层级高低之分。

进一步，按照机构层级由高到低的顺序从处于未处理状态的机构的机构标识中选取预设数量的机构标识作为待调整机构标识。可以理解，预设数量可以为一个或多个。

本实施例中，根据机构层级的高低来确定待调整机构标识，可以使得所确定出的待调整机构标识更加的有针对性、更加的实用。

在一个实施例中，各个作业包含至少一个的任务。

本实施例中，根据再次运行的作业对待调整机构标识对应的机构的数据内容进行对应处理的步骤，包括：根据预设的任务与逻辑程序之间的对应关系，获取再次运行的作业中包含的任务所对应的逻辑程序；根据逻辑程序从待调整机构标识对应的机构的数据库中提取对应的数据内容，并根据逻辑程序对提取的数据内容进行对应处理的步骤。

本实施例中，一个作业包含至少一个的任务(即task)。其中，至少一个的任务是指为了完成所对应的作业而执行的任务。

服务器中设置了实现每个任务的逻辑程序，并预设了任务与逻辑程序之间的对应关系。根据该对应关系，服务器会获取再次运行的作业中包含的任务所对应的逻辑程序。

进一步，根据所获取的逻辑程序从待调整机构标识对应的机构的数据库中提取对应的数据内容，并根据所获取的逻辑程序对所提取的数据内容进行对应处理。具体地，可以对所提取的数据内容进行存储处理、分发处理以及统计分析处理中的至少一种。

在其他实施例中，可以是，根据所获取的逻辑程序从待调整机构标识对应的机构的数据库中提取对应的数据内容即可，而不需要进一步根据所获取的逻辑程序对所提取的数据内容进行对应处理。

如图4所示，提供了一种数据处理装置，该装置包括监听模块402、待调整机构确定模块404、调整模块406以及运行处理模块408，其中：

监听模块402，用于监听运行的多个作业的处理状态。

待调整机构确定模块404，用于当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从机构标识中确定出待调整机构标识。

调整模块406，用于将待调整机构标识对应的作业标识调整为处理状态为已完成的作业的作业标识。

运行处理模块408，用于再次运行处理状态为已完成的作业，根据再次运行的作业对待调整机构标识对应的机构的数据内容进行对应处理。

如图5所示，在一个实施例中，该装置还包括：

获取模块401，用于当到达预设作业执行时间时，获取与预设作业执行时间对应的作业标识。

获取模块401还用于根据预设的作业标识和机构标识之间的对应关系，获取与作业标识对应的机构标识。

运行处理模块408还用于运行作业标识对应的作业，以使该作业对与机构标识对应的机构的数据内容进行对应处理。

在一个实施例中，监听模块402还用于监测各个作业的运行时间；

如图6所示，本实施例中，该装置还包括：

退出模块410，用于当作业的运行时间超过预设的时间阈值时，则对作业进行退出操作。

在一个实施例中，待调整机构确定模块404还用于根据预设的机构标识和机构层级之间的对应关系，获取机构标识所对应的机构层级；按照机构层级由高到低的顺序从机构标识中选取预设数量的机构标识作为待调整机构标识。

在一个实施例中，各个作业包含至少一个的任务。本实施例中，运行处理模块408还用于根据预设的任务与逻辑程序之间的对应关系，获取再次运行的作业中包含的任务所对应的逻辑程序；根据逻辑程序从待调整机构标识对应的机构的数据库中提取对应的数据内容，并根据逻辑程序对提取的数据内容进行对应处理。

上述数据处理装置，通过监听运行的多个作业的处理状态；当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从所述机构标识中确定出待调整机构标识；将所述待调整机构标识对应的作业标识调整为所述处理状态为已完成的作业的作业标识。再次运行所述处理状态为已完成的作业，根据再次运行的所述作业对所述待调整机构标识对应的机构的数据内容进行对应处理。相当于为该处理状态为已完成的作业分配新的对应机构，并对新的对应机构的数据内容进行处理。实现了作业的处理内容的动态分配，避免了在作业在完成后就处于空闲状态，从而提高了资源的利用率。

此外，将未完成的作业的一些未处理内容分配给已完成的作业来进行处理，能够提高整体的数据内容处理的效率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，所述方法包括以下步骤：

监听运行的多个作业的处理状态；所述处理状态包括已完成状态和未完成状态；

当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从所述机构标识中确定出待调整机构标识；

将所述待调整机构标识对应的作业标识调整为所述处理状态为已完成的作业的作业标识；

再次运行所述处理状态为已完成的作业，根据再次运行的所述作业对所述待调整机构标识对应的机构的数据内容进行对应处理。

2.根据权利要求1所述的方法，其特征在于，在所述监听运行的多个作业的处理状态的步骤之前，还包括：

当到达预设作业执行时间时，获取与所述预设作业执行时间对应的作业标识；

根据预设的作业标识和机构标识之间的对应关系，获取与所述作业标识对应的机构标识；

运行所述作业标识对应的作业，以使所述作业对与所述机构标识对应的机构的数据内容进行对应处理。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监测各个所述作业的运行时间；

当所述作业的运行时间超过预设的时间阈值时，则对所述作业进行退出操作。

4.根据权利要求1所述的方法，其特征在于，从所述机构标识中确定出待调整机构标识的步骤包括：

根据预设的机构标识和机构层级之间的对应关系，获取所述机构标识所对应的机构层级；

按照机构层级由高到低的顺序从所述机构标识中选取预设数量的机构标识作为待调整机构标识。

5.根据权利要求1所述的方法，其特征在于，各个所述作业包含至少一个的任务；

所述根据再次运行的作业对所述待调整机构标识对应的机构的数据内容进行对应处理的步骤，包括：

根据预设的任务与逻辑程序之间的对应关系，获取再次运行的所述作业中包含的任务所对应的逻辑程序；

根据所述逻辑程序从所述待调整机构标识对应的机构的数据库中提取对应的数据内容，并根据所述逻辑程序对所述提取的数据内容进行对应处理。

6.一种数据处理装置，其特征在于，所述装置包括：

监听模块，用于监听运行的多个作业的处理状态；所述处理状态包括已完成状态和未完成状态；

待调整机构确定模块，用于当预设数量的作业的处理状态为已完成时，则获取处理状态为未完成的作业所对应的处于未处理状态的机构的机构标识，从所述机构标识中确定出待调整机构标识；

调整模块，用于将所述待调整机构标识对应的作业标识调整为所述处理状态为已完成的作业的作业标识；

运行处理模块，用于再次运行所述处理状态为已完成的作业，根据再次运行的所述作业对所述待调整机构标识对应的机构的数据内容进行对应处理。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

获取模块，用于当到达预设作业执行时间时，获取与所述预设作业执行时间对应的作业标识；

所述获取模块还用于根据预设的作业标识和机构标识之间的对应关系，获取与所述作业标识对应的机构标识；

所述运行处理模块还用于运行所述作业标识对应的作业，以使所述作业对与所述机构标识对应的机构的数据内容进行对应处理。

8.根据权利要求6所述的装置，其特征在于，所述监听模块还用于监测各个所述作业的运行时间；

所述装置还包括：

退出模块，用于当所述作业的运行时间超过预设的时间阈值时，则对所述作业进行退出操作。

9.根据权利要求6所述的装置，其特征在于，所述待调整机构确定模块还用于根据预设的机构标识和机构层级之间的对应关系，获取所述机构标识所对应的机构层级；按照机构层级由高到低的顺序从所述机构标识中选取预设数量的机构标识作为待调整机构标识。

10.根据权利要求6所述的装置，其特征在于，各个所述作业包含至少一个的任务；

所述运行处理模块还用于根据预设的任务与逻辑程序之间的对应关系，获取再次运行的所述作业中包含的任务所对应的逻辑程序；根据所述逻辑程序从所述待调整机构标识对应的机构的数据库中提取对应的数据内容，并根据所述逻辑程序对所述提取的数据内容进行对应处理。

Images