CN114328549B - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域，进一步涉及数据更新领域，可以应用于图谱构建领域以至少解决相关技术中对数据的更新效率较低，从而导致图谱构建的效率较低的技术问题。具体实现方案为：轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；利用目标数据和目标更新数据对目标数据库进行更新。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术领域，具体为数据处理技术领域，进一步涉及数据更新领域，可以应用于图谱构建领域，具体涉及一种数据处理方法、装置、电子设备以及计算机程序产品。

背景技术

目前，数据流中的数据在流转过程中，需要对数据的状态进行管理，

但是，由于数据流的状态是进行批量更新的，因此，需要处理完同一状态下的批次数据后再对下一个状态进行批量处理，导致数据的更新效率较低。

发明内容

本公开提供了一种数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中对数据的更新效率较低，从而导致图谱构建的效率较低的技术问题。

根据本公开的第一方面，提供了一种数据处理方法，包括：轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；利用目标数据和目标更新数据对目标数据库进行更新。

可选地，轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，包括：利用至少一个线程轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出每个线程的目标状态对应的待处理数据，其中，每个线程对应的目标状态不同。

可选地，对待处理数据执行目标操作，生成目标数据，包括：获取与目标操作对应的算子系统；利用算子系统对待处理数据执行目标操作，生成目标数据。

可选地，对目标数据的目标状态和目标操作进行转移处理，生成更新数据，包括：利用状态转移表对目标数据的目标状态进行状态转移处理，生成状态更新数据；利用操作转移表对目标数据的目标操作进行操作转移处理，生成操作更新数据；基于状态更新数据和操作更新数据，生成目标更新数据。

可选地，利用目标数据和目标更新数据对目标数据库进行更新，包括：利用目标数据对目标数据库中与目标数据对应的待处理数据进行更新；利用目标更新数据对待处理数据处理状态信息进行更新。

可选地，该方法还包括：基于待处理数据和目标数据，确定目标处理任务的当前进度，目标处理任务至少包括：根据待处理数据处理流程构建流程图谱；响应于当前进度达到目标进度，生成第一停止指令，并利用第一停止指令停止轮询目标数据库中至少一个数据的处理状态信息。

可选地，该方法还包括：响应于从目标接口接收到第二停止指令，停止轮询目标数据库中至少一个数据的处理状态信息；响应于从目标接口接收到的启动指令，开始轮询目标数据库中至少一个数据的处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据。

根据本公开的第二方面，提供了一种数据处理装置，包括：轮询模块，用于轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；执行模块，用于对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；转移模块，用于对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；更新模块，用于利用目标数据和目标更新数据对目标数据库进行更新。

可选地，轮询模块，包括：确定单元，用于利用至少一个线程轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出每个线程的目标状态对应的待处理数据，其中，每个线程对应的目标状态不同。

可选地，执行模块，包括：获取系统单元，用于获取与目标操作对应的算子系统；执行操作单元，用于利用算子系统对待处理数据执行目标操作，生成目标数据。

可选地，转移模块，包括：状态转移单元，用于利用状态转移表对目标数据的目标状态进行状态转移处理，生成状态更新数据；操作转移单元，用于利用操作转移表对目标数据的目标操作进行操作转移处理，生成操作更新数据；生成单元，用于基于状态更新数据和操作更新数据，生成目标更新数据。

可选地，更新模块，包括：数据更新单元，用于利用目标数据对目标数据库中与目标数据对应的待处理数据进行更新；处理状态更新单元，用于利用目标更新数据对待处理数据处理状态信息进行更新。

可选地，该装置还包括：确定进度单元，用于基于待处理数据和目标数据，确定目标处理任务的当前进度，目标处理任务至少包括：根据待处理数据处理流程构建流程图谱；生成指令单元，用于响应于当前进度达到目标进度，生成第一停止指令，并利用第一停止指令停止轮询目标数据库中至少一个数据的处理状态信息。

可选地，该装置还包括：停止轮询单元，用于响应于从目标接口接收到第二停止指令，停止轮询目标数据库中至少一个数据的处理状态信息；开始轮询单元，用于响应于从目标接口接收到的启动指令，开始轮询目标数据库中至少一个数据的处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据。

根据本公开实施例的第三方面，还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1-7中任一项的方法。

根据本公开实施例的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项数据处理方法。

根据本公开实施例的第五方面，还提供了一种计算机程序产品，计算机程序在被处理器执行时执行函数实施例任意实施例中任意一项数据处理方法。

在本公开的实施例中，首先轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；利用目标数据和目标更新数据对目标数据库进行更新，实现了对数据的流转过程进行的高效管理。容易注意到的是，通过对目标的状态进行定义和表达，可以对数据流转过程中的状态进行有效的管理，从而提高了数据的更新效率，进而解决了相关技术中数据的更新效率较低的技术问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是用来实施本公开的实施例的示例电子设备的示意性框图；

图2是根据本公开第一实施例的一种数据处理方法的流程图；

图3是根据本公开第二实施例的一种数据处理方法的流程图；

图4是根据本公开第三实施例的一种数据处理方法的流程图；

图5是根据本公开一种优选的实施例的示意图；

图6是根据本公开实施例的一种数据处理装置的结构图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

目前，面对知识、技术背景不同的客户，传统的图谱构建系统，要求客户具备一定的专业知识背景:(1)图谱构建的流程，需专业人员维护图谱数据流；(2)不同阶段数据，对应的图谱构建处理技术配置。图谱构建技术目前普遍采用数据流模式，将图谱构建的关键技术节点组装为图谱构建流程的数据流，基于全量或增量的批量模式构建。在数据流设计上，可固定处理流程或基于需求动态组装。

但是，但面上述方案存在如下问题，对于数据流模式，不同构建场景下的数据流节点组装，依赖客户了解图谱构建流程背景知识，客户上手成本较高。对于数据状态分散在各数据流节点管理，数据状态维护成本高，缺乏统一管理数据状态模块。对于数据流批量更新时效性问题，需处理完同一状态下的批次数据，进入下一个状态的批量处理。

为解决大规模交付，面向无相关专业知识背景的客户交付使用及运维，因此可以基于本申请中的“状态机”驱动的图谱构建系统。”状态机”旨在将图谱数据构建过程，抽象定义数据各阶段状态，并通过状态机管理数据状态流转，降低交付客户专业背景的要求，交付客户仅需理解系统接入数据协议及最终输出效果的验收。

根据本公开实施例，提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本公开实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。

如图1所示，计算机终端100包括计算单元101，其可以根据存储在只读存储器(ROM)102中的计算机程序或者从存储单元108加载到随机访问存储器(RAM)103中的计算机程序，来执行各种适当的动作和处理。在RAM 103中，还可存储计算机终端100操作所需的各种程序和数据。计算单元101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。

计算机终端100中的多个部件连接至I/O接口105，包括：输入单元106，例如键盘、鼠标等；输出单元107，例如各种类型的显示器、扬声器等；存储单元108，例如磁盘、光盘等；以及通信单元109，例如网卡、调制解调器、无线通信收发机等。通信单元109允许计算机终端100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元101执行本文所描述的数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 102和/或通信单元109而被载入和/或安装到计算机终端100上。当计算机程序加载到RAM 103并由计算单元101执行时，可以执行本文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

此处需要说明的是，在一些可选实施例中，上述图1所示的电子设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述电子设备中的部件的类型。

在上述运行环境下，本公开提供了如图2所示的数据处理方法，该方法可以由图1所示的计算机终端或者类似的电子设备执行。图2是根据本公开实施例提供的一种数据处理方法流程图。如图2所示，该方法可以包括如下步骤：

步骤S201，轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据。

其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作。

上述的目标数据库用于存储不同状态的数据。上述的处理状态信息包括数据的状态和与状态对应的处理操作。

上述的目标状态可以是需要进行计算操作的状态。例如，目标状态可以为删除状态，可以通过轮询目标数据库中至少一个数据处理状态信息从，至少一个数据中确定需要删除的待处理数据。

上述的目标状态可以为空状态、初始状态、删除状态、写动作、空动作、回滚、逻辑删除等。

在一种可选的实施例中，当需要根据数据的状态对数据进行对应的处理时，可以先轮询目标数据库中每个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，目标状态可以是需要进行处理的状态。需要说明的是，在对数据进行图谱构建时，可以通过轮询目标数据库中至少一个数据处理状态信息，根据目标状态对同一状态下的数据进行批量处理，在对这一批数据处理完成之后，可以对目标状态进行更改，以便根据数据处理状态信息来完成对数据的批量处理，从而提高图谱构建的效率。

在另一种可选的实施例中，可以通过触发器轮询目标数据库中至少一个数据处理状态信息，其中，触发器相当于数据流的发动机，根据数据流的配置决定。触发器可以轮询目标数据库中的数据存储状态位，也即数据处理状态信息，以便根据数据处理状态信息确定出待进行计算的目标状态对应的待处理数据。其中，

步骤S202，对待处理数据执行目标操作，生成目标数据。

其中，目标操作为与目标状态对应的操作。

上述的目标操作可以是根据待处理数据处理状态信息确定的，需要说明的是，待处理数据处理状态信息至少包括待处理数据的目标状态和目标操作。

在一种可选的实施例中，在目标状态为删除状态时，其对应的目标操作可以为删除操作。在从至少一个数据中确定出删除状态对应的待处理数据时，可以对待处理数据执行删除操作，生成目标数据。在目标状态为更新状态时，其对应的目标操作可以为更新操作。在从至少一个数据中确定出更新状态对应的待处理数据时，可以对待处理数据执行更新操作，生成目标数据。

步骤S203，对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据。

上述的转移处理是指将目标数据的目标状态和目标操作进行更新，使得目标数据的目标状态和目标操作更新至下一个处理阶段。

上述的目标更新数据可以为用于更新目标数据处理状态信息的数据，其中，通过目标更新数据可以对目标数据的目标状态和目标操作进行更新。

在一种可选的实施例中，可以在状态机中对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据。其中，状态机主要用于对各阶段的数据状态进行抽象的状态表达，并管理各阶段数据状态的流转过程，通过状态机可以对数据的状态进行抽象表达和更新。具体的，状态机可以提供状态转移接口和动作转移接口，其中，状态转移接口可以根据目标数据的目标状态和目标操作，也即当前状态和当前操作确定出下一步到达的状态。动作转移接口可以根据目标数据的目标状态的目标操作确定出下一步到达的状态对应的操作。

在另一种可选的实施例中，可以根据状态转移表和操作转移表对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据，以便通过目标更新数据对目标数据处理状态信息进行更新，便于对目标数据进行下一阶段的处理。

步骤S204，利用目标数据和目标更新数据对目标数据库进行更新。

在一种可选的实施例中，可以将目标数据库中的待处理数据更新为目标数据，并将待处理数据处理状态信息，也即待处理数据的目标状态和目标操作更新为目标更新数据。

在另一种可选的实施例中，在对目标数据库中目标状态对应的待处理数据进行处理之后，可以对需要处理的目标状态进行更改，并重新对目标数据库进行轮询，将对目标状态对应的待处理数据进行处理。直至将各阶段的数据处理完毕，以便完成对数据的图谱构建。

在又一种可选的实施例中，在处理的过程中，支持对目标状态的待处理数据进行重新处理，当某一状态下的数据处理结果为存储失败，那么触发器会重试扫描到上一次的状态的数据，进行重试处理，若重试操作超过预设重试操作，则记录异常日志，并跳过对该条数据处理过程，确保不因异常数据阻塞流程。

通过上述步骤，首先轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；利用目标数据和目标更新数据对目标数据库进行更新，实现了对数据的流转过程进行的高效管理。容易注意到的是，通过对目标的状态进行定义和表达，可以对数据流转过程中的状态进行有效的管理，从而提高了数据的更新效率，进而解决了相关技术中数据的更新效率较低的技术问题。

图3是根据本公开第二实施例的一种数据处理方法的流程图，如图3所示，该方法包括如下步骤：

步骤S301，轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据。

可选地，轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，包括：利用至少一个线程轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出每个线程的目标状态对应的待处理数据，其中，每个线程对应的目标状态不同。

上述的每个线程需要轮询的待处理数据的目标状态不同。其中，一个线程可以用于轮询目标状态为删除状态的待处理数据，另一个线程可以用于轮询目标状态为更新状态的待处理数据。

在一种可选的实施例中，可以通过多个线程来监听目标数据库中处于不同状态的数据，以便同时对多种状态的数据进行更新，从而提高数据的更新效率。需要说明的是，触发器可以根据处理任务来同时启动对应的线程以便监听对应状态的待处理数据。

在另一种可选的实施例中，可以通过触发器调用对应的线程来轮询目标数据库中对应状态的待处理数据，在轮询到目标数据库中存在对应状态的待处理数据时，可以触发对应的算子来对待处理数据执行对应操作。

步骤S302，对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作。

可选地，对待处理数据执行目标操作，生成目标数据，包括：获取与目标操作对应的算子系统；利用算子系统对待处理数据执行目标操作，生成目标数据。

上述的算子系统可以包括有处理程序，用于对待处理数据进行处理。

在一种可选的实施例中，可以获取与更新操作对应的更新算子系统，以便利用更新算子系统中的更新程序对待处理数据执行更新操作，从而生成更新后的目标数据。

上述的算子系统可以包括有自定义算子插件，可以根据用户的需求对算子插件进行定制化，用户可以根据算子插件的功能将算子插件接入到算子系统中。用户仅需要了解算子插件的功能就可以使用该算子插件，并不需要关注算子插件的构建过程，可以节约算子系统的构建过程。

步骤S303，对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据。

可选地，对目标数据的目标状态和目标操作进行转移处理，生成更新数据，包括：利用状态转移表对目标数据的目标状态进行状态转移处理，生成状态更新数据；利用操作转移表对目标数据的目标操作进行操作转移处理，生成操作更新数据；基于状态更新数据和操作更新数据，生成目标更新数据。

上述的目标状态可以包括但不限于NONE(空状态，表示数据不存在)、INIT(初始状态，表示数据入库但未执行任何计算)、DEL(删除状态，表示数据处于逻辑删除状态)。上述的状态转移表和操作转移表可以将抽象的数据流传过程进行定义，便于数据的图谱构建。

上述的目标操作可以包括但不限于save(写动作，实体更新或保存)、empty(空动作，不执行任何操作)、reback(回滚，数据回滚更新保存)、logdel(逻辑删，执行逻辑删操作)。

上述的状态更新数据可以为目标数据的下一个状态。上述的操作更新数据可以为对目标数据执行的下一个操作。

上述的状态转移表中记载了目标状态对应的下一个状态，如表1所示为状态转移表，当目标状态为NONE，目标操作为save时，可以利用状态转移表确定下一个状态为INIT。当目标状态为INIT，目标操作为logdel时，可以利用状态转移表确定下一个状态为NONE。当目标状态为DEL时，目标操作为save时，可以确定下一个状态为INIT。

表1

目标状态	目标操作	下一个状态
			NONE	save	INIT
NONE	logdel	NONE
			INIT	save	INIT
INIT	logdel	DEL
			DEL	save	INIT
DEL	logdel	DEL

上述的操作转移表中记载了目标操作对应的下一个操作，如表2所示为操作转移表，当目标状态为NONE，目标操作为save时，可以利用操作转移表确定下一个操作为save。当目标状态为NONE，目标操作为logdel时，可以利用操作转移表确定下一个操作为empty。当目标状态为INIT时，目标操作为logdel时，可以确定下一个操作为logdel。当目标状态为DEL时，目标操作为save时，可以确定下一个操作为reback。

表2

目标状态	目标操作	下一个操作
			NONE	save	save
NONE	logdel	empty
			INIT	save	save
INIT	logdel	logdel
			DEL	save	reback
DEL	logdel	empty

在一种可选的实施例中，可以利用状态转移表对目标数据的目标状态进行状态转移处理，得到目标数据的下一个状态，可以利用操作转移表对目标数据的目标操作进行操作转移处理，得到目标数据的下一个操作，可以根据状态更新数据和操作更新数据，生成目标更新目标，也即，得到目标数据的下一个状态和目标数据的下一个操作，以便对目标数据库中的数据处理状态信息进行更新。

步骤S304，利用目标数据和目标更新数据对目标数据库进行更新。

可选地，利用目标数据和目标更新数据对目标数据库进行更新，包括：利用目标数据对目标数据库中与目标数据对应的待处理数据进行更新；利用目标更新数据对待处理数据处理状态信息进行更新。

在一种可选的实施例中，可以利用目标数据将目标数据库中的待处理数据更新为目标数据，可以将待处理数据处理状态信息更新为目标更新数据，以便及时的对目标数据库中的数据进行及时的更新，以便对目标数据库中的数据进行下一个阶段的处理。

步骤S305，基于待处理数据和目标数据，确定目标处理任务的当前进度。

其中，目标处理任务至少包括：根据待处理数据处理流程构建流程图谱。

步骤S306，响应于当前进度达到目标进度，生成第一停止指令，并利用第一停止指令停止轮询目标数据库中至少一个数据的处理状态信息。

上述的目标处理任务可以是利用图谱构建数据流的各阶段数据状态。

上述的流程图谱记录了数据流在各阶段的数据状态，上述的目标进度可以将数据流处理完成的进度，目标进度可以为100％。

在一种可选的实施例中，可以在调用目标处理任务的同时，启动进度统计定时任务，其中，进度统计定时任务通过扫描当前数据的最终态与输入的数据总数，可以计算出待处理数据的当前进度，在当前进度达到100％时，则停止构建流程图谱，并检查运行过程中的进程，若还有进程正在运行，则终止该进程，以便达到任务干预停止的目的。

在另一种可选的实施例中，在根据待处理数据处理流程构建完流程图谱时，当前进度可以为100％，此时，可以发送第一停止指令来停止轮询目标数据库中至少一个数据处理状态信息，以便减少运行资源的浪费。

图4是根据本公开第三实施例的一种数据处理方法的流程图，如图4所示，该方法包括如下步骤：

步骤S401，轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据。

步骤S402，对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作。

步骤S403，对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据。

步骤S404，利用目标数据和目标更新数据对目标数据库进行更新。

步骤S405，基于待处理数据和目标数据，确定目标处理任务的当前进度，目标处理任务至少包括：根据待处理数据处理流程构建流程图谱。

步骤S406，响应于当前进度达到目标进度，生成第一停止指令，并利用第一停止指令停止轮询目标数据库中至少一个数据的处理状态信息。

步骤S407，响应于从目标接口接收到第二停止指令，停止轮询目标数据库中至少一个数据的处理状态信息。

步骤S408，响应于从目标接口接收到的启动指令，开始轮询目标数据库中至少一个数据的处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据。

上述的目标接口可以是对外提供的接口服务，支持图谱构建任务的启动和停止，在启动时，可以调起触发器的进程，通过多线程和定时任务的方式，启动监听各阶段数据状态的线程，监听线程检测到存在对应状态数据时，扫描得到对应状态数据，触发对应算子系统进行计算。

在一种可选的实施例中，可以提供目标接口接收用户发送的第二停止指令，以便可以根据用户的需求停止轮询目标数据库中至少一个数据处理状态信息，可以接收用户发送的启动指令，以便根据启动指令来轮询目标数据库中至少一个数据处理状态信息，并从至少一个数据中确定出目标状态对应的待处理数据。通过增加目标接口，可以方便用户灵活的启动和停止目标处理任务。

图5是本公开一种优选的实施例的示意图，下面结合图5对本公开一种优选的实施例进行详细说明，如图5所示，可以通过触发器触发多个线程轮询目标数据库中的至少一个数据处理状态信息，从至少一个数据库中确定出每个线程对应目标状态的待处理数据，触发器可以调用与每个线程对应的计算子系统对待处理数据执行目标操作，生成目标数据，在执行完目标操作之后，触发器可以通过算子回调的方式将目标数据输入至状态机中，状态机可以对目标数据的目标状态和目标操作进行状态转移和操作转移，生成目标更新数据，状态管理器可以根据目标数据将目标数据库中的待处理数据更新为目标数据，可以根据目标更新数据将待处理数据对应的处理状态信息更新为目标状态和目标操作。还可以提供一个目标接口用于接收用户从外部输入的指令，以便用户可以灵活的处理进程进行控制。还可以通过目标接口将目标数据输出。触发器中的多个线程可以通过外部的数据流进行配置。

需要说明的是，图5中的状态机可以对数据流转过程进行抽象表达，将原本分散在各个数据流节点的状态，抽象定义为状态，并通过状态机统一管理状态流转，将数据间复杂的流转逻辑，封装在状态机中进行表达，并提供唯一的目标数据，数据状态位的统一入口，确保系统写入的安全性。

通过上述内容，对于图谱构建流程，可以将图谱构建流程抽象封装为状态机模式，可提升系统状态的可维护性，将原分布在各数据流节点维护的数据状态，统一由状态机管理和更新。同时，将图谱构建过程进行状态机抽象封装，作为黑盒服务提测，可以降低客户构建数据流运维成本。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例的方法。

在本公开中还提供了一种数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本公开其中一实施例的一种数据处理装置的结构框图，如图6所示，一种数据处理装置600包括：轮询模块601、执行模块602、转移模块603、更新模块604。

轮询模块，用于轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；

执行模块，用于对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；

转移模块，用于对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；

更新模块，用于利用目标数据和目标更新数据对目标数据库进行更新。

可选地，轮询模块，包括：确定单元，用于利用至少一个线程轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出每个线程的目标状态对应的待处理数据，其中，每个线程对应的目标状态不同。

可选地，执行模块，包括：获取系统单元，用于获取与目标操作对应的算子系统；执行操作单元，用于利用算子系统对待处理数据执行目标操作，生成目标数据。

可选地，转移模块，包括：状态转移单元，用于利用状态转移表对目标数据的目标状态进行状态转移处理，生成状态更新数据；操作转移单元，用于利用操作转移表对目标数据的目标操作进行操作转移处理，生成操作更新数据；生成单元，用于基于状态更新数据和操作更新数据，生成目标更新数据。

可选地，更新模块，包括：数据更新单元，用于利用目标数据对目标数据库中与目标数据对应的待处理数据进行更新；处理状态更新单元，用于利用目标更新数据对待处理数据处理状态信息进行更新。

可选地，装置还包括：确定进度单元，用于基于待处理数据和目标数据，确定目标处理任务的当前进度，目标处理任务至少包括：根据待处理数据处理流程构建流程图谱；生成指令单元，用于响应于当前进度达到目标进度，生成第一停止指令，并利用第一停止指令停止轮询目标数据库中至少一个数据的处理状态信息。

可选地，装置还包括：停止轮询单元，用于响应于从目标接口接收到第二停止指令，停止轮询目标数据库中至少一个数据的处理状态信息；开始轮询单元，用于响应于从目标接口接收到的启动指令，开始轮询目标数据库中至少一个数据的处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据。

根据本公开实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项一种数据处理方法。

根据本公开实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述实施例中任意一项一种数据处理方法。

根据本公开实施例的另一个方面，还提供了一种计算机程序产品，计算机程序在被处理器执行时执行函数实施例任意实施例中任意一项一种数据处理方法。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

根据本公开的实施例，本公开还提供了一种电子设备，包括存储器和至少一个处理器，该存储器中存储有计算机指令，该处理器被设置为运行计算机指令以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本公开中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；

S2，对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；

S3，对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；

S4，利用目标数据和目标更新数据对目标数据库进行更新。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该非瞬时计算机可读存储介质中存储有计算机指令，其中，该计算机指令被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，轮询目标数据库中至少一个数据处理状态信息，从至少一个数据中确定出目标状态对应的待处理数据，其中，处理状态信息至少包括至少一个数据的状态和与状态对应的操作；

S2，对待处理数据执行目标操作，生成目标数据，其中，目标操作为与目标状态对应的操作；

S3，对目标数据的目标状态和目标操作进行转移处理，生成目标更新数据；

S4，利用目标数据和目标更新数据对目标数据库进行更新。

可选地，在本实施例中，上述非瞬时计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的实施例，本公开还提供了一种计算机程序产品。用于实施本公开的音频处理方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本公开所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM)、随机存取存储器(RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。

Claims (12)

1.一种数据处理方法，包括：

轮询目标数据库中至少一个数据的处理状态信息，从所述至少一个数据中确定出目标状态对应的待处理数据，其中，所述处理状态信息至少包括所述至少一个数据的状态和与所述状态对应的操作，所述目标状态包括如下至少之一：空状态、初始状态、删除状态、更新状态、写动作、空动作、回滚、逻辑删除，所述初始状态用于表示数据入库但未执行任何计算；

对所述待处理数据执行目标操作，生成目标数据，其中，所述目标操作为与所述目标状态对应的操作；

对所述目标数据的目标状态和所述目标操作进行转移处理，生成目标更新数据，其中，所述转移处理用于表示将所述目标数据的所述目标状态更新至待到达的状态，所述转移处理还用于表示将所述目标操作更新至所述待到达的状态对应的操作；

利用所述目标数据和所述目标更新数据对所述目标数据库进行更新；

其中，利用所述目标数据和所述目标更新数据对所述目标数据库进行更新，包括：

将所述目标数据库中的所述待处理数据的处理状态信息更新为所述目标更新数据，将所述目标数据库中的所述待处理数据更新为所述目标数据；

其中，对所述目标数据的目标状态和所述目标操作进行转移处理，生成更新数据，包括：

利用状态转移表对所述目标数据的目标状态进行状态转移处理，生成状态更新数据，其中，所述状态转移表用于记载所述目标状态对应的下一个状态；

利用操作转移表对所述目标数据的目标操作进行操作转移处理，生成操作更新数据，其中，所述操作转移表用于记载所述目标操作对应的下一个状态；

基于所述状态更新数据和所述操作更新数据，生成所述目标更新数据，其中，所述状态转移表和所述操作转移表用于对抽象的数据流转过程进行定义；

其中，所述方法还包括：

基于所述待处理数据和所述目标数据，确定目标处理任务的当前进度，所述目标处理任务至少包括：根据所述待处理数据处理流程构建流程图谱；

响应于所述当前进度达到目标进度，生成第一停止指令，并利用所述第一停止指令停止轮询所述目标数据库中所述至少一个数据的所述处理状态信息；

其中，利用状态转移表对所述目标数据的目标状态进行状态转移处理，生成状态更新数据，包括：

在利用状态转移表对所述目标数据的所述目标状态进行状态转移处理的处理结果为存储失败的情况下，对所述目标状态进行重试状态转移处理，生成所述状态更新数据。

2.根据权利要求1所述的方法，其中，轮询目标数据库中至少一个数据处理状态信息，从所述至少一个数据中确定出目标状态对应的待处理数据，包括：

利用至少一个线程轮询所述目标数据库中至少一个数据处理状态信息，从所述至少一个数据中确定出每个线程的所述目标状态对应的待处理数据，其中，所述每个线程对应的所述目标状态不同。

3.根据权利要求1所述的方法，其中，对所述待处理数据执行目标操作，生成目标数据，包括：

获取与所述目标操作对应的算子系统；

利用所述算子系统对所述待处理数据执行所述目标操作，生成所述目标数据。

4.根据权利要求1所述的方法，其中，利用所述目标数据和所述目标更新数据对所述目标数据库进行更新，包括：

利用所述目标数据对所述目标数据库中与所述目标数据对应的待处理数据进行更新；

利用所述目标更新数据对所述待处理数据处理状态信息进行更新。

5.根据权利要求1所述的方法，其中，所述方法还包括：

响应于从目标接口接收到第二停止指令，停止轮询所述目标数据库中所述至少一个数据的所述处理状态信息；

响应于从所述目标接口接收到的启动指令，开始轮询所述目标数据库中所述至少一个数据的所述处理状态信息，从所述至少一个数据中确定出所述目标状态对应的所述待处理数据。

6.一种数据处理装置，包括：

轮询模块，用于轮询目标数据库中至少一个数据处理状态信息，从所述至少一个数据中确定出目标状态对应的待处理数据，其中，所述处理状态信息至少包括所述至少一个数据的状态和与所述状态对应的操作，所述目标状态包括如下至少之一：空状态、初始状态、删除状态、更新状态、写动作、空动作、回滚、逻辑删除，所述初始状态用于表示数据入库但未执行任何计算；

执行模块，用于对所述待处理数据执行目标操作，生成目标数据，其中，所述目标操作为与所述目标状态对应的操作；

转移模块，用于对所述目标数据的目标状态和所述目标操作进行转移处理，生成目标更新数据，其中，所述转移处理用于表示将所述目标数据的所述目标状态更新至待到达的状态，所述转移处理还用于表示将所述目标操作更新至所述待到达的状态对应的操作；

更新模块，用于利用所述目标数据和所述目标更新数据对所述目标数据库进行更新；

其中，所述更新模块还用于将所述目标数据库中的所述待处理数据的处理状态信息更新为所述目标更新数据，将所述目标数据库中的所述待处理数据更新为所述目标数据；

其中，转移模块，包括：

状态转移单元，用于利用状态转移表对所述目标数据的目标状态进行状态转移处理，生成状态更新数据；

操作转移单元，用于利用操作转移表对所述目标数据的目标操作进行操作转移处理，生成操作更新数据；

生成单元，用于基于所述状态更新数据和所述操作更新数据，生成所述目标更新数据，其中，所述状态转移表和所述操作转移表用于对抽象的数据流转过程进行定义；

其中，所述装置还包括：

确定进度单元，用于基于所述待处理数据和所述目标数据，确定目标处理任务的当前进度，所述目标处理任务至少包括：根据所述待处理数据处理流程构建流程图谱；

生成指令单元，用于响应于所述当前进度达到目标进度，生成第一停止指令，并利用所述第一停止指令停止轮询所述目标数据库中所述至少一个数据的所述处理状态信息。

7.根据权利要求6所述的装置，其中，轮询模块，包括：

确定单元，用于利用至少一个线程轮询所述目标数据库中至少一个数据处理状态信息，从所述至少一个数据中确定出每个线程的所述目标状态对应的待处理数据，其中，所述每个线程对应的所述目标状态不同。

8.根据权利要求6所述的装置，其中，执行模块，包括：

获取系统单元，用于获取与所述目标操作对应的算子系统；

执行操作单元，用于利用所述算子系统对所述待处理数据执行所述目标操作，生成所述目标数据。

9.根据权利要求6所述的装置，其中，更新模块，包括：

数据更新单元，用于利用所述目标数据对所述目标数据库中与所述目标数据对应的待处理数据进行更新；

处理状态更新单元，用于利用所述目标更新数据对所述待处理数据处理状态信息进行更新。

10.根据权利要求6所述的装置，其中，所述装置还包括：

停止轮询单元，用于响应于从目标接口接收到第二停止指令，停止轮询所述目标数据库中所述至少一个数据的所述处理状态信息；

开始轮询单元，用于响应于从所述目标接口接收到的启动指令，开始轮询所述目标数据库中所述至少一个数据的所述处理状态信息，从所述至少一个数据中确定出所述目标状态对应的所述待处理数据。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至5中任意一项所述的方法。

Images