CN115221216A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域，尤其涉及云计算、大数据技术领域，包括：为每种数据源类型创建第一转换任务；获取所有产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集，第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换；根据数据源类型，对日志集执行对应的第一转换任务，得到第一数据表，第一数据表用于存储数据转换后的全部数据。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及云计算、大数据技术领域。

背景技术

目前在数据仓库中对数据进行处理时，是先将所有日志数据融合成一张数据大表，生成产品对应的转换任务，对数据大表进行数据抽取和数据转换。

发明内容

本公开提供了一种数据处理方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种数据处理方法，包括：

为每种数据源类型创建第一转换任务；

获取所有产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集，所述第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换；

根据数据源类型，对所述日志集执行对应的第一转换任务，得到第一数据表，所述第一数据表用于存储数据转换后的全部数据。

根据本公开的另一方面，提供了一种数据处理装置，包括：

处理模块，用于为每种数据源类型创建第一转换任务；

采集模块，用于获取所有产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集，所述第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换；

转换模块，用于根据数据源类型，对所述日志集执行对应的第一转换任务，得到第一数据表，所述第一数据表用于存储数据转换后的全部数据。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述任一项所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种数据处理方法的流程示意图；

图2是根据本公开实施例提供的另一种数据处理方法的流程示意图；

图3是根据本公开实施例提供的另一种数据处理方法的流程示意图；

图4是根据本公开实施例提供的一种数据坏块处理方法的流程示意图；

图5是根据本公开实施例提供的另一种数据坏块处理方法的流程示意图；

图6是根据本公开实施例提供的数据仓库的结构示意图；

图7是根据本公开实施例提供的数据处理装置的结构示意图；

图8是用来实现本公开实施例的数据处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前在数据仓库中对数据进行处理时，是先将所有源端的日志数据融合成一张数据大表，生成产品对应的转换任务对大表进行数据转换，而当产品增加或减少时，需要重新修改生成的转换任务的数量和配置，系统维护成本过高。

为了减少系统的维护成本，如图1所示，本公开一实施例提供了一种数据处理方法，该方法包括：

步骤101，为每种数据源类型创建第一转换任务。

为每种数据源类型创建第一转换任务，第一转换任务为ETL(Extract-Transform-Load，数据抽取-转换-装载)任务，用于对日志进行数据抽取、数据转换和数据装载，在本实施例中，数据源类型为日志的源端，比如客户端、前端和后端等，在其他实施方式中，数据源类型还可以是设备的类型，比如移动端、台式电脑端和服务端等；

例如，某个用户有多个产品，多个产品均接入了客户端和前端，那么需要创建两个第一转换任务，分别处理客户端的日志和前端的日志。

步骤102，获取所有产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集，所述第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换。

获取所有产品的多条日志，将所有日志按照数据源类型进行分类；

例如，用户有多个产品，多个产品均接入了客户端和前端，那么获取所有产品的多条日志，并按照客户端和前端将这些产品的日志进行分类，得到客户端日志集和前端日志集；

第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换；

每条日志中包含多种类型的数据，比如业务数据、用户行为数据、报错数据等，设定类型的数据至少包含业务数据，也可以包含其他类型的数据，具体可根据需求进行设定。

步骤103，根据数据源类型，对所述日志集执行对应的第一转换任务，得到第一数据表，所述第一数据表用于存储数据转换后的全部数据。

利用第一转换任务对对应数据源类型的日志集进行数据抽取和数据转换，得到数据源类型对应的第一数据表；

例如，利用处理客户端日志的第一转换任务对客户端日志集进行数据抽取和数据转换，得到客户端对应的第一数据表，利用处理前端日志集的第一转换任务对前端日志进行数据抽取和数据转换，得到前端对应的第一数据表；

第一数据表中包含包含转换后的全部数据并且增加了产品类型的字段，在使用第一数据表中的数据时可以根据该字段确定该数据是哪个产品的日志；

生成第一数据表后将第一数据表进行存储。

在本公开提供的数据处理方法中，将日志根据数据源类型进行分类，分类之后每个数据源类型都有对应的日志集，因为对第一转换任务的配置，使得数据转换后的第一数据表中包含产品类型的字段，在使用第一数据表时能够根据第一数据表中的产品类型字段区分数据是属于哪个产品的，所以能够根据数据源类型数量创建第一转换任务，而不再需要根据产品数量去创建转换任务，产品数量会频繁地增加与减少，而数据源类型是固定不会变动的，所以无论产品数量增加或减少，都无需重新修改转换任务的数量和配置，大大降低了对系统进行维护的成本。

如图2所示，本公开一实施例提供了另一种数据处理方法，该方法包括：

步骤201，为每种数据源类型创建第二转换任务，所述第二转换任务用于从相应数据源类型的日志集中抽取用户行为数据进行数据转换。

为每种数据源类型创建第二转换任务，第二转换任务为ETL任务，与第一转换任务的配置不同，第二转换任务抽取相应数据源类型的日志集中的用户行为数据进行数据转换。

步骤202，根据数据源类型，对所述日志集执行对应的第二转换任务，得到第二数据表，所述第二数据表用于存储数据转换后的用户行为数据。

利用第二转换任务对对应数据源类型的日志中的用户行为数据进行数据抽取和数据转换，得到数据源类型对应的第二数据表，第二数据表用于存储数据转换后的用户行为数据；

例如，利用处理客户端日志的第二转换任务对客户端日志集进行数据抽取和数据转换，得到客户端对应的第二数据表，利用处理前端日志的第二转换任务对前端日志集进行数据抽取和数据转换，得到前端对应的第二数据表。

步骤203，根据所述日志集的第二数据表进行用户行为检测，得到特定类型的用户行为数据。

对第二数据表进行用户行为检测，得到特定类型的用户行为数据，特定类型的用户行为数据可以是用户的作弊行为数据、消费行为数据、操作行为数据等中的至少一种。

步骤204，根据所述特定类型的用户行为数据在该日志集的第二数据表中的数据标识，对该日志集的第一数据表中相应的数据进行标记。

根据所述特定类型的用户行为数据在该日志集的第二数据表中的数据标识对该日志集的第一数据表中相应的数据进行标记；

例如，特定类型的用户行为数据为作弊行为数据，作弊行为数据中某条数据为{“数据标识”：0011，“作弊行为类型”：“请求次数过多”}，则根据该条数据将第一数据表中数据标识同样为0011的数据添加作弊行为标识；

通过对第二数据表中的数据进行用户行为检测，得到特定类型的用户行为数据，再将特定类型的用户行为数据根据数据标识与第一数据表进行融合，能够有效对第一数据表中的一些作弊数据进行标记，保证了数据的安全性，降低了用户使用的风险，或者能够获取用户的消费行为数据，以便用户了解自身的消费习惯，提高了用户的使用体验。

如图3所示，本公开一实施例提供了另一种数据处理方法，该方法包括：

步骤301，并行执行每个日志集对应的第一转换任务。

步骤302，并行执行每个日志集对应的第二转换任务。

目前在对数据进行处理时，由于转换任务是根据与产品一一对应进行创建的，且待处理数据只有一张数据大表，多个转换任务只能对一张数据大表进行数据抽取和数据转换，在上一个转换任务进行数据抽取和数据转换时，下一个转换任务无法同时进行，只能在上一个转换任务完成后才能继续进行，导致处理数据的效率过低；

而在本公开提供的数据处理方法中，当存在多个第一转换任务或第二转换任务时，利用数据源类型对应的第一转换任务或第二转换任务对数据源类型相同的日志集进行数据抽取和数据转换时，由于每个第一转换任务或第二转换任务都存在对应的数据源类型的日志集，所以多个第一转换任务或第二转换任务能够并行执行，能够显著提高对数据进行处理的效率。

如图4所示，本公开一实施例提供了一种数据坏块处理方法，该方法包括：

在得到第一数据表之后，步骤401，对所述第一数据表进行数据坏块检测。

对第一数据表进行数据坏块检测，可使用任意能够检测数据坏块的检测方法。

步骤402，响应于所述第一数据表中存在数据坏块，对该第一数据表对应的日志集执行第一转换任务，得到新的第一数据表。

利用对应的数据源类型与存在数据坏块的第一数据表对应的日志集的数据源类型相同的第一转换任务对该日志集重新进行数据抽取和数据转换，得到新的第一数据表。

在生成第一数据表后，对第一数据表进行数据坏块检测，若检测到数据坏块，那么该数据坏块有很大概率是在数据转换过程中造成的，那么需要对该数据坏块所属的日志集重新进行数据抽取和数据转换，生成新的第一数据表，能够在系统中即可发现数据坏块并重新进行数据抽取和数据转换，无需等到存在数据坏块的第一数据表在被使用时才发现，保证了数据的时效性，提高了第一数据表的可用性和用户的使用体验。

如图5所示，本公开一实施例提供了另一种数据坏块处理方法，该方法包括：

在得到第一数据表之后，步骤501，接收数据坏块请求，所述数据坏块请求中包含数据坏块地址和日志优先级。

第三方应用会在接收用户的查询请求后从系统上存储的第一数据表中查询用户所需的数据，而存在数据坏块的数据在被查询时就会被发现，那么第三方应用会获取该数据的数据坏块地址和日志优先级，并发送数据坏块请求给系统，数据坏块地址能够表征数据坏块在所属日志集中的哪一部分数据，日志优先级是预先对日志进行标记的，能够表征日志的重要程度。

步骤502，响应于所述日志优先级大于等于预设优先级阈值，根据所述数据坏块地址确定日志集中的部分数据。

如果日志优先级大于等于预设优先级阈值，那么会根据数据坏块地址确定该数据坏块在所属日志集中的哪一部分数据，如果有多条日志，则综合考虑该多条日志的日志优先级；

在本实施例中，日志集可分成多个部分进行处理，那么此时数据坏块地址表征该数据坏块在所属的日志集中的哪一部分数据，根据数据坏块地址确定该数据坏块在所属的日志集中的哪一部分数据。

步骤503，根据确定的所述日志集中的部分数据的数据源类型，对所述日志集中的部分数据执行对应的第一转换任务。

利用对应的数据源类型与该数据坏块所属的日志集的数据源类型相同的第一转换任务对该日志集存在数据坏块的部分数据重新进行数据抽取和数据转换。

步骤504，根据执行该第一转换任务得到的数据，对所述第一数据表中相应的数据进行更新。

根据重新进行数据抽取和数据转换后得到的数据和这些数据的数据标识，对原先存储的第一数据表中数据标识相同的数据进行更新。

第三方应用在向第一数据表进行查询时可能会发现存在数据坏块，那么向系统发送数据坏块请求，使得系统对发现数据坏块在所属的日志中对应的那部分数据重新进行数据抽取和数据转换并将转换后的数据根据数据标识对原先存储的第一数据表中数据标识相同的数据进行更新，提高了系统的稳定性，使得数据在发送给用户前将存在数据坏块的数据重新进行数据抽取和数据转换，保证了数据的可用性，提高了用户的使用体验。

在一可实施方式中，在所述获取产品的多条日志之前，采集历史数据。

历史数据包括各个时段数据处理的数量、第三方应用对系统中存储的第一数据表的查询量等等历史数据。

利用模型对所述历史请求数据进行预测，得到传输速度阈值。

利用模型对历史请求数据进行预测，得到传输速度阈值，传输速度阈值中包含各个时段应该设置的传输速度，比如节假日的传输速度和工作日的传输速度；

具体可利用线性回归模型对历史数据进行预测，得到传输速度阈值，再利用随机森林模型对历史数据进行预测，得到传输速度阈值，将利用两个模型得到的传输速度阈值取平均值，得到最终的传输速度阈值，也可利用其他模型进行预测，能够充分利用多个模型的预测能力。

根据所述传输速度阈值对获取产品的多条日志和向第三方应用发送数据的传输速度进行设置。

由于时段不同，系统需要处理的数据数量和第三方应用对系统中存储的第一数据表的查询量也不同，当某个时段中数据所需处理的数量或对系统中存储的第一数据表的查询量太大，可能会导致系统崩溃，利用传输速度阈值对获取产品的多条日志和向第三方应用发送数据的传输速度进行设置后，可以使得系统在数据所需处理的数量或对系统中存储的第一数据表的查询量非常多的时候，不会同时处理过多的数据量或者限制向第三方应用发送数据的传输速度，从而显著提高了系统的稳定性，减少系统崩溃的风险。

在一可实施方式中，在用第一转换任务或者第二转换任务对日志进行数据抽取和数据转换时，该方法还包括：

如果日志的优先级较高，则将该日志分配到性能较高的设备上进行处理，日志的优先级较高，说明该日志的重要程度较高，并且具有很强的时效性，那么将该日志分配到性能较高的设备上进行处理，能够显著提高对优先级较高的日志进行处理的效率，进一步提高用户的使用体验。

在一可实施方式中，在得到第一数据表后，系统接收到的查询请求时，该方法还包括：

对于第三方应用发送的查询请求，确定该请求是属于哪个产品的，如果该请求所属产品的设备正在处理的请求量较大时，确定该产品所属的账户中是否存在正在处理的请求量较小的其他产品的设备，如果存在，那么将该用户请求分配给正在处理的请求量较小的其他产品的设备进行处理；

例如，某个账户中存在产品A和产品B，接收到产品A的用户请求，产品A的设备当前正在处理的请求量较大，产品B的设备当前正在处理的请求量较小，那么将该产品A的用户请求分配给产品B的设备进行处理；

通过将数据处理量较大的设备所属产品的请求分配给其他产品数据处理量较小的设备进行处理，建立了闲时复用的伸缩机制，使得不再对数据处理量较大的设备分配任务，避免该设备崩溃的风险，提高了系统的稳定性，而将请求分配给数据处理量较小的设备进行处理，能够将该设备空闲的时间减少，显著提高了系统的利用率。

在一可实施方式中，本公开提供的数据处理方法可应用于数据仓库中，如图6所示，所述数据仓库包括日志层、数据层和数据库；

预先在数据层为每种数据源类型创建第一转换任务。

在创建完第一转换任务后，日志层用于获取产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集。

而后数据层根据数据源类型，对所述日志集执行对应的第一转换任务，得到第一数据表。

在得到第一数据表后，将第一数据表存储在数据库中。

本公开一实施例提供了一种数据处理装置，如图7所示，该装置包括：

处理模块10，用于为每种数据源类型创建第一转换任务；

采集模块20，用于获取所有产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集，所述第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换；

转换模块30，用于根据数据源类型，对所述日志集执行对应的第一转换任务，得到第一数据表，所述第一数据表用于存储数据转换后的全部数据。

其中，所述处理模块10，还用于为每种数据源类型创建第二转换任务，所述第二转换任务用于从相应数据源类型的日志集中抽取用户行为数据进行数据转换；

所述转换模块30，还用于根据数据源类型，对所述日志集执行对应的第二转换任务，得到第二数据表，所述第二数据表用于存储数据转换后的用户行为数据；

所述处理模块10，还用于根据所述日志集的第二数据表进行用户行为检测，得到特定类型的用户行为数据；

所述处理模块10，还用于根据所述特定类型的用户行为数据在该日志集的第二数据表中的数据标识，对该日志集的第一数据表中相应的数据进行标记。

其中，所述转换模块30，还用于并行执行每个日志集对应的第一转换任务；

所述转换模块30，还用于并行执行每个日志集对应的第二转换任务。

其中，所述处理模块10，还用于对所述第一数据表进行数据坏块检测；

所述转换模块30，还用于响应于所述第一数据表中存在数据坏块，对该第一数据表对应的日志集执行第一转换任务，得到新的第一数据表。

其中，所述处理模块10，还用于接收数据坏块请求，所述数据坏块请求中包含数据坏块地址和日志优先级；

所述处理模块10，还用于响应于所述日志优先级大于等于预设优先级阈值，根据所述数据坏块地址确定日志集中的部分数据；

所述转换模块30，还用于根据确定的所述日志集中的部分数据的数据源类型，对所述日志集中的部分数据执行对应的第一转换任务；

所述处理模块10，还用于根据执行该第一转换任务得到的数据，对所述第一数据表中相应的数据进行更新。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种数据处理方法，包括：

为每种数据源类型创建第一转换任务；

获取所有产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集，所述第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换；

根据数据源类型，对所述日志集执行对应的第一转换任务，得到第一数据表，所述第一数据表用于存储数据转换后的全部数据。

2.根据权利要求1所述的方法，还包括：

为每种数据源类型创建第二转换任务，所述第二转换任务用于从相应数据源类型的日志集中抽取用户行为数据进行数据转换；

根据数据源类型，对所述日志集执行对应的第二转换任务，得到第二数据表，所述第二数据表用于存储数据转换后的用户行为数据；

根据所述日志集的第二数据表进行用户行为检测，得到特定类型的用户行为数据；

根据所述特定类型的用户行为数据在该日志集的第二数据表中的数据标识，对该日志集的第一数据表中相应的数据进行标记。

3.根据权利要求2所述的方法，还包括：

并行执行每个日志集对应的第一转换任务；

并行执行每个日志集对应的第二转换任务。

4.根据权利要求1所述的方法，所述得到第一数据表之后，还包括：

对所述第一数据表进行数据坏块检测；

响应于所述第一数据表中存在数据坏块，对该第一数据表对应的日志集执行第一转换任务，得到新的第一数据表。

5.根据权利要求1所述的方法，所述得到第一数据表之后，还包括：

接收数据坏块请求，所述数据坏块请求中包含数据坏块地址和日志优先级；

响应于所述日志优先级大于等于预设优先级阈值，根据所述数据坏块地址确定日志集中的部分数据；

根据确定的所述日志集中的部分数据的数据源类型，对所述日志集中的部分数据执行对应的第一转换任务；

根据执行该第一转换任务得到的数据，对所述第一数据表中相应的数据进行更新。

6.一种数据处理装置，包括：

处理模块，用于为每种数据源类型创建第一转换任务；

采集模块，用于获取所有产品的多条日志，将所获取的所有日志按照数据源类型进行分类，得到多个日志集，所述第一转换任务用于从相应数据源类型的日志集中抽取设定类型的数据进行数据转换；

转换模块，用于根据数据源类型，对所述日志集执行对应的第一转换任务，得到第一数据表，所述第一数据表用于存储数据转换后的全部数据。

7.根据权利要求6所述的装置，包括：

所述处理模块，还用于为每种数据源类型创建第二转换任务，所述第二转换任务用于从相应数据源类型的日志集中抽取用户行为数据进行数据转换；

所述转换模块，还用于根据数据源类型，对所述日志集执行对应的第二转换任务，得到第二数据表，所述第二数据表用于存储数据转换后的用户行为数据；

所述处理模块，还用于根据所述日志集的第二数据表进行用户行为检测，得到特定类型的用户行为数据；

所述处理模块，还用于根据所述特定类型的用户行为数据在该日志集的第二数据表中的数据标识，对该日志集的第一数据表中相应的数据进行标记。

8.根据权利要求6所述的装置，包括：

所述转换模块，还用于并行执行每个日志集对应的第一转换任务；

所述转换模块，还用于并行执行每个日志集对应的第二转换任务。

9.根据权利要求6所述的装置，包括：

所述处理模块，还用于对所述第一数据表进行数据坏块检测；

所述转换模块，还用于响应于所述第一数据表中存在数据坏块，对该第一数据表对应的日志集执行第一转换任务，得到新的第一数据表。

10.根据权利要求6所述的装置，包括：

所述处理模块，还用于接收数据坏块请求，所述数据坏块请求中包含数据坏块地址和日志优先级；

所述处理模块，还用于响应于所述日志优先级大于等于预设优先级阈值，根据所述数据坏块地址确定日志集中的部分数据；

所述转换模块，还用于根据确定的所述日志集中的部分数据的数据源类型，对所述日志集中的部分数据执行对应的第一转换任务；

所述处理模块，还用于根据执行该第一转换任务得到的数据，对所述第一数据表中相应的数据进行更新。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

Images