CN115115433B - 订单数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种订单数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：从交易库中实时获取待同步数据类型对应的订单变化数据流；根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流；使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流；将订单变化宽表数据流写入历史库的订单表中。采用本方法能够在降低了系统复杂度的同时，有效提高了数据同步的实时性。

Description

订单数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据实时处理技术领域，特别是涉及一种订单数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着移动支付行业和零售行业的快速发展，单一业务交易平台的单日订单笔数可突破千万，商户对于支付订单数据的多样需求和数据及时性提出了更高的要求。

传统技术中，订单数据同步通常是使用离线同步工具，以特定频率从交易库中同步订单数据至历史库中，业务系统想要得到完整的订单数据需要整合交易库和历史库两种异构的数据的查询结果，一个订单数据查询功能需要维护实时和历史数据两套查询逻辑，在增加系统复杂度的同时，数据同步的实时性较差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低系统处理复杂度，提高数据同步实时性的订单数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种订单数据处理方法，所述方法包括：

从交易库中实时获取待同步数据类型对应的订单变化数据流；

根据所述订单变化数据流中各订单变化数据的数据标识，对各所述订单变化数据流进行分组操作，得到各所述数据标识对应的子订单变化数据流；

使用预设连接算子对各所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流；

将所述订单变化宽表数据流写入历史库的订单表中。

在其中一个实施例中，所述使用预设连接算子对各所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流，包括：

在预设时间段内通过状态管理机制对各所述数据标识对应的子订单变化数据流进行状态保存；

若在所述预设时间段内，所述数据标识对应有新增子订单变化数据流，则将所述新增子订单变化数据流与所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流。

在其中一个实施例中，所述将所述订单变化宽表数据流写入历史库的订单表中之前，还包括：

对所述订单变化宽表数据流进行完整性检测，若所述订单变化宽表数据流满足所述完整性检测，则使用预设数据分片写入算子，按照预设规则将所述订单变化宽表数据流写入历史库的订单表中。

在其中一个实施例中，所述对所述订单变化宽表数据流进行完整性检测，包括：

将所述订单变化宽表数据流中各所述子订单变化数据流的数据类型与所述待同步数据类型进行对比，若所述数据类型与所述待同步数据类型一致，则确定所述订单变化宽表数据流满足所述完整性检测；

若数据类型与所述待同步数据类型不一致，则确定所述订单变化宽表数据流不满足所述完整性检测。

在其中一个实施例中，所述方法还包括：

若所述订单变化宽表数据流不满足所述完整性检测，则根据所述数据类型与所述待同步数据类型的比较结果，确定所述订单变化宽表数据流的待补充数据类型；

基于所述待补充数据类型，查找所述交易库的订单表，确定所述待补充数据类型的子订单数据流；

根据所述子订单数据流对所述订单变化宽表数据流进行补充；

使用所述预设数据分片写入算子，将补充后的订单变化宽表数据流按照所述预设规则写入所述历史库的订单表中。

在其中一个实施例中，所述从交易库中获取待同步数据类型对应的订单变化数据流，包括：

从所述交易库中获取日志文件，对所述日志文件解码得到订单变化数据信息；

根据所述订单变化数据信息中各所述订单变化数据所属的数据类型，对所述订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

在其中一个实施例中，所述预设规则包括预设分库分表规则和时序优先规则；

所述使用预设数据分片写入算子，按照预设规则将所述订单变化宽表数据流写入历史库的订单表中，包括：

按照预设分库分表规则以及时序优先规则，将所述订单变化宽表数据流分批次的写入所述历史库的订单表中。

第二方面，本申请还提供了一种订单数据处理装置，所述装置包括：

变化数据流获取模块，用于从交易库中实时获取待同步数据类型对应的订单变化数据流；

分组模块，用于根据所述订单变化数据流中各订单变化数据的数据标识，对各所述订单变化数据流进行分组操作，得到各所述数据标识对应的子订单变化数据流；

合并模块，用于使用预设连接算子对各所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流；

数据同步模块，用于将所述订单变化宽表数据流写入历史库的订单表中。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述订单数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过从交易库中实时获取待同步数据类型对应的订单变化数据流，得到当前时间内交易库中订单的实时变化信息，根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流。进一步使用预设连接算子以各数据标识为单位，对多个子订单变化数据流进行合并操作，得到各数据标识对应的包含了订单实时变化信息的订单变化宽表数据流，将所述订单变化宽表数据流写入历史库的订单表中，完成了交易库到历史库的数据同步操作，业务系统可以直接从历史库中获得包含了订单实时变化信息的宽表数据流，不再需要同时访问交易库和历史库，在降低了系统复杂度的同时，有效提高了数据同步的实时性。

附图说明

图1为一个实施例中订单数据处理方法的应用环境图；

图2为一个实施例中订单数据处理方法的流程示意图；

图3为另一个实施例中订单数据处理方法的流程示意图；

图4为另一个实施例中订单数据处理方法的流程示意图；

图5为一个实施例中订单数据处理装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的订单数据处理方法，可以应用于如图1所示的应用环境中。其中，数据捕获组件102通过网络分别与交易库104、历史库106进行通信。数据存储系统可以存储数据捕获组件102需要处理的数据。数据存储系统可以与数据捕获组件102集成在同一服务器，也可以放在云上或其他网络服务器上。数据捕获组件102从交易库104中实时获取待同步数据类型对应的订单变化数据流，根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流。使用数据捕获组件中预设的自定义连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流，将订单变化宽表数据流写入历史库106的订单表中。其中，数据捕获组件102、交易库104和历史库106均可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在其中一个实施例中，数据捕获组件为CDC(Change Date Capture，变更数据捕获)组件。

在一个实施例中，如图2所示，提供了一种订单数据处理方法，以该方法应用于图1中的数据捕获组件为例进行说明，包括以下步骤：

步骤202，从交易库中实时获取待同步数据类型对应的订单变化数据流。

其中，交易库是指实时的、面向应用的订单交易记录数据库，具有较高的响应及时性。用户在应用平台进行交易后，交易库中将实时记录用户在此次交易过程中所产生的订单变化数据信息，以便后续业务系统的查询或统计。可以理解的，订单变化数据信息可以包含多种数据类型的交易信息，例如订单编码、支付订单请求信息、订单交易主体信息、支付流水信息以及订单状态等。

其中，待同步数据类型是预先根据实际业务统计工作所设置的，需要写入历史库的订单变化数据信息中各订单变化数据对应的数据类型，例如支付订单请求信息、订单交易主体信息、支付流水信息以及订单状态等。将交易库中待同步数据类型对应的订单变化数据称为订单变化数据流。

具体地，由于交易库中的订单变化数据信息中包含有多种类型的交易信息，若将所有的订单变化数据信息均同步至历史库中，对业务系统的运行效率会产生严重影响，因此，设计人员将实际业务统计时所需要的关键数据对应的数据类型确定为预设数据类型，预先设置在数据捕获组件中。数据捕获组件从交易库中实时获取待同步数据类型对应的订单变化数据流。

步骤204，根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流。

其中，数据标识是用于标记各订单变化数据所属订单业务的标记信息，具体地，同一个订单交易所产生的订单变化数据都携带有同样的数据标识，以便后续根据数据标识对各订单变化数据进行分组操作。可以理解的，数据标识可以为某些特定数字或字母，也可以使用固定的订单信息作为数据标识，例如订单ID等。

具体地，根据各订单变化数据对应的数据标识对各订单变化数据流进行分组操作，将数据标识一致的订单变化数据归类为同一组，得到各数据标识对应的子订单变化数据流。可以理解的，各数据标识对应的子订单变化数据流的个数与该数据标识对应的订单变化数据所属的待同步数据类型相关，子订单变化数据流的个数可以是单个，也可以是多个。例如某个数据标识对应的订单变化数据都属于同一种待同步数据类型时，分组后该数据标识则只对应有一条子订单变化数据流；若某个数据标识对应的订单变化数据所属的待同步数据类型不同，则分组后该数据标识对应有多条子订单变化数据流。

步骤206，使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

其中，预设连接算子是设计人员自定义的连接算子，预设连接算子中自定义了数据合并规则，可以同时满足对多个实时数据流进行合并操作。具体地，在传统流式计算处理引擎中，官方的连接算子(JOIN算子)仅支持单个实时流和静态数据(变动少或无变动的数据，如统计维度信息或字典信息，例如省市区、行业、性别)之间的合并操作。官方的连接算子若想对两个实时流式数据进行合并操作则需要配合复杂的窗口算子(Window算子，一种通过缓存指定时间段数据的算子)来实现，还需要处理各种边界情况，如迟到数据和两个流式数据进入窗口的时机等，合并链接成功率很难保证，方案复杂度高，并且不支持超过两个实时数据流的合并操作。对此，设计人员根据自定义的数据合并规则设计了自定义连接算子，将自定义连接算子设置在数据捕获组件中，使数据捕获组件在得到多个子订单变化数据流时，能够同时对多个子订单变化数据流执行合并操作，得到各数据标识对应的订单变化宽表数据流。

具体地，数据捕获组件利用自身预先设置的自定义连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

步骤208，将订单变化宽表数据流写入历史库的订单表中。

具体地，数据捕获组件根据订单宽表数据流对应的数据标识，将订单宽表数据流写入到历史库的订单表中。可以理解的，历史库中的订单数据均以订单宽表的形式进行存储，订单宽表中包含所有的待同步数据类型。

上述订单数据处理方法中，通过从交易库中实时获取待同步数据类型对应的订单变化数据流，得到当前时间内交易库中订单的实时变化信息，根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流。进一步使用预设连接算子以各数据标识为单位，对多个子订单变化数据流进行合并操作，得到各数据标识对应的包含了订单实时变化信息的订单变化宽表数据流，将所述订单变化宽表数据流写入历史库的订单表中，完成了交易库到历史库的数据同步操作，业务系统可以直接从历史库中获得包含了订单实时变化信息的宽表数据流，不再需要同时访问交易库和历史库，在降低了系统复杂度的同时，有效提高了数据同步的实时性。

在一个实施例中，使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流包括：

在预设时间段内通过状态管理机制对各数据标识对应的子订单变化数据流进行状态保存；若在预设时间段内，数据标识对应有新增子订单变化数据流，则将新增子订单变化数据流与数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

其中，预设时间段为设计人员根据连接算子的实际使用情况设定的短暂时间段，用于对订单变化数据流进行短暂状态保存。可以理解的，预设时间段的时长可以为1s。

具体地，数据捕获组件在使用预设连接算子进行合并操作时，基于预设连接算子中的自定义数据合并规则，数据捕获组件获取到各数据标识对应的子订单变化数据流后，调用自身的状态管理机制在预设时间段内对该子订单变化数据流进行状态保存，若在预设时间段内该数据标识有新增子订单变化数据流产生，则将新增子订单变化数据流与进行状态保存的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

本实施例中，在使用预设连接算子对数据标识对应的子订单变化数据流进行合并时，数据捕获组件通过调用自身状态管理机制对该子订单变化数据流进行短暂的状态保存，通过短暂的缓存数据，可以在极短时间内得到可关联的数据完成数据连接，在不同支付场景下实现稳定的多变化数据流合并成功率。

在一个实施例中，将订单变化宽表数据流写入历史库的订单表中之前，还包括：对订单变化宽表数据流进行完整性检测，若订单变化宽表数据流满足完整性检测，则使用预设数据分片写入算子，按照预设规则将订单变化宽表数据流写入历史库的订单表中。

其中，完整性检测是用于检测订单变化宽表数据流是否包含了待同步数据类型中的所有数据类型对应的订单变化数据。具体地，历史库中的订单数据都是以订单宽表的形式进行组织存储的，为了将订单变化宽表数据流写入历史库的订单表中，保证业务系统在获取订单数据时可以得到完整的订单数据，需要对各数据标识对应的订单变化宽表数据流进行完整性检测，若订单变化宽表数据流满足完整性检测，则说明此时该数据标识对应的订单变化宽表数据流可以直接写入历史库的订单表中，不存在缺失的数据类型对应的订单变化数据。

其中，预设数据分片写入算子是设置有预设规则的算子，通过预设数据分片写入算子，可以按照预设规则将订单变化宽表数据流写入历史库的订单表中。预设规则用于规定订单变化宽表数据流在历史库的订单表中的写入位置，可以理解的，预设规则根据实际业务环境设置。

具体地，数据捕获组件在得到数据标识对应的订单变化宽表数据流之后，对订单变化宽表数据流进行完整性检测，若订单变化宽表数据流满足完整性检测，则说明此订单变化宽表数据流不存在数据缺失情况，可以直接写入历史库的订单表中，调用预设数据分片写入算子，按照预设规则将订单变化宽表数据流写入历史库的订单表的对应位置。

本实施例中，通过对数据标识对应的订单变化宽表数据流进行完整性检测，可以保证写入历史库的订单变化宽表数据的完整性，使业务系统能够直接从历史库中获得包含了订单实时变化信息的宽表数据流，不再需要同时访问交易库和历史库，在降低了系统复杂度的同时，有效提高了数据同步的实时性。

在一个实施例中，对订单变化宽表数据流进行完整性检测，包括：

将订单变化宽表数据流中各子订单变化数据流的数据类型与待同步数据类型进行对比，若数据类型与待同步数据类型一致，则确定订单变化宽表数据流满足完整性检测；若数据类型与待同步数据类型不一致，则确定订单变化宽表数据流不满足完整性检测。

具体地，数据捕获组件确定订单变化宽表数据流中各子订单变化数据流的数据类型，并将数据类型与待同步数据类型进行对比，若订单变化宽表数据流包含的数据类型与待同步数据类型一致，则说明订单变化宽表数据流中包含了所有待同步数据类型对应的子订单变化数据流，不存在数据缺失的情况，满足完整性检测；若订单变化宽表数据流包含的数据类型与待同步数据类型不一致，则说明订单变化宽表数据流中存在数据缺失的情况，不满足完整性检测。

以待同步数据类型包括支付订单请求信息、订单交易主体信息和支付流水信息为例进行完整性检测说明，数据捕获组件确定订单变化宽表数据流中各子订单变化数据流的数据类型，若订单变化宽表数据流中包括有支付订单请求信息、订单交易主体信息和支付流水信息各自对应的子订单变化数据流，则认为订单变化宽表数据流包含的数据类型与待同步数据类型一致，订单变化宽表数据流不存在数据缺失的情况，满足完整性检测。若订单变化宽表数据流仅包括三种数据类型中的一种或两种，例如仅包括支付订单请求信息和订单交易主体信息，或仅包括支付流水信息，则认为该订单变化宽表数据流包含的数据类型与待同步数据类型不一致，订单变化宽表数据流存在数据缺失的情况，不满足完整性检测。

在本实施例中，通过将订单变化宽表数据流所包含的数据类型与待同步数据类型进行比较，有效的对订单变化宽表数据流的完整性进行检测，避免存入历史库中的订单变化宽表数据流存在数据缺失的情况，保证业务系统可以直接从历史库中获得包含了订单实时变化信息的宽表数据流，有效提高了数据同步的实时性。

在一个实施例中，如图3所示，订单数据处理方法还包括以下步骤：

步骤302，若订单变化宽表数据流不满足完整性检测，则根据数据类型与待同步数据类型的比较结果，确定订单变化宽表数据流的待补充数据类型。

具体地，数据捕获组件在确定订单变化宽表数据流不满足完整性检测时，说明此时该订单变化宽表数据流中缺失了某些数据类型对应的订单变化数据。数据捕获组件根据订单变化宽表数据流所包含的数据类型与待同步数据类型进行比较得到的比较结果，确定订单变化宽表数据流的待补充数据类型。

以待同步数据类型包括支付订单请求信息、订单交易主体信息和支付流水信息为例进行说明，若订单变化宽表数据流中仅包含了支付订单请求信息和支付流水信息，则该订单变化宽表数据流对应的数据类型与待同步数据类型不一致，根据比较结果确定该订单变化宽表数据流的待补充数据类型为订单交易主体信息。

步骤304，基于待补充数据类型，查找交易库的订单表，确定待补充数据类型的子订单数据流。

具体地，数据捕获组件在确定订单变化宽表数据的待补充数据类型后，为了使写入历史库的数据与交易库中的数据保持一致，根据待补充数据类型与数据标识，从交易库的订单表中，将交易库同时属于该数据标识以及该待补充数据类型的最新的子订单数据流确定为待补充数据类型的子订单数据流。从交易库中获取子订单数据流，可以保证历史库与交易库中的数据同步的可靠性和准确性。

步骤306，根据子订单数据流对订单变化宽表数据流进行补充。

具体地，数据捕获组件将子订单数据流与订单变化宽表数据流进行补充合并，得到补充后的订单变化宽表数据流。

步骤308，使用预设数据分片写入算子，将补充后的订单变化宽表数据流按照预设规则写入历史库的订单表中。

具体地，数据捕获组件使用预设数据分片写入算子，把补充合并后的订单变化宽表数据流按照预设规则写入历史库的订单表中的相应位置处。

在本实施例中，在订单变化宽表数据流不满足完整性检测，存在数据缺失时，通过确定订单变化宽表数据流的待补充数据类型，并从交易库中找到最新的待补充数据类型对应的子订单数据对订单变化宽表数据流进行补齐，避免存入历史库中的订单变化宽表数据流存在数据缺失的情况，保证业务系统可以直接从历史库中获得包含了订单实时变化信息的宽表数据流，有效提高了数据同步的实时性。

在一个实施例中，从交易库中获取各预设数据类型对应的订单变化数据流，包括：从交易库中获取日志文件，对日志文件解码得到订单变化数据信息；根据订单变化数据信息中各订单变化数据所属的数据类型，对订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

其中，日志文件是用来记录事务对数据库中数据变更操作的二进制文件，通过对日志文件进行解码操作，可以得到当前的订单变化数据信息。

具体地，数据捕获组件从交易库中获取用于记录数据变更的二进制日志文件，对日志文件进行解码得到订单变化数据信息，订单变化数据信息可以包含多种数据类型的交易信息，例如订单编码、支付订单请求信息、订单交易主体信息、支付流水信息以及订单状态等。根据订单变化数据信息中各订单变化数据所属的数据类型，对订单变化数据信息进行拆分，并将包含在待同步数据类型中的数据类型对应的订单变化数据提取出来，得到待同步数据类型对应的订单变化数据流。通过获取并解码交易库中的日志文件，可以得到用户通过应用平台进行交易时交易库中订单数据的订单变化数据信息，基于订单变化数据信息得到的订单变化数据流可以实时反应交易库中的订单信息变化情况，有效提高了数据同步的实时性。

在其中一个实施例中，数据捕获组件可以通过中间件读取日志文件，并将日志文件传输至消息中间件中，最后由数据捕获组件消费消息中间件中的数据库日志来获取交易库的订单信息变化情况。

在其中一个实施例中，数据捕获组件可以直接读取日志文件，将日志文件传输至消息中间件中，最后由数据捕获组件消费消息中间件中的数据库日志来获取交易库的订单信息变化情况。

在一个实施例中，预设规则包括预设分库分表规则和时序优先规则；使用预设数据分片写入算子，按照预设规则将订单变化宽表数据流写入历史库的订单表中，包括：按照预设分库分表规则以及时序优先规则，将订单变化宽表数据流分批次的写入历史库的订单表中。

其中，预设分库分表规则是用于确定历史库中，订单变化宽表数据流对应写入位置的规则，预设分库分表规则是按照商户编码和月份来拆分的，例如，若订单变化宽表数据中的商户编码取模后的值为1，订单的交易时间是2022-06-01,12:30:00，则该订单变化宽表数据将会被写入到o_order_1_2022_6的订单表中。

其中时序优先规则是用于规定多个订单变化宽表数据的写入顺序的规则。具体地，为了避免历史库中的数据顺序混乱，在预设数据分片写入算子中设置了时序优先规则，严格的保证了数据写入的顺序性，例如，订单的“待支付”状态数据写入一定要早于“已支付”和“取消支付”状态数据，实现每一个订单数据从“待支付”到“已支付”变化，或“待支付”到“取消支付”、“超时取消”的数据变化过程。

具体地，数据捕获组件使用预设数据分片写入算子，按照预设分库分表规则确定订单变化宽表数据在历史库中的写入位置，在通过时序优先规则确定各订单变化宽表数据的写入顺序，根据写入位置和写入顺序，将订单变化宽表数据分批次的写入到历史库对应的订单表中。通过分批次的批量写入，可以提升数据的写入吞吐量，使同一时间写入历史库的数据量变大，提升整体写入速度。

本实施例中通过使用预设分库分表规则和时序优先规则，可以从商户维度和时间维度等多个维度将订单变化宽表数据流写入历史库的对应位置进行存储，本实施例中的订单数据处理方法具有更高的拓展性。

在一个实施例中，确定订单变化宽表数据流满足完整性检测之后，还包括对订单变化宽表数据流进行一致性检测。

在一个实施例中，如图4所示，提供了一种订单数据处理方法，该方法可以应用在各个聚合支付场景中，例如商家主扫、用户主扫、刷脸支付、一码付等。本实施例中使用的数据捕获组件为Flink CDC，交易库为OLTP在线事务处理数据库，历史库为OLAP在线分析数据库。

具体地，数据捕获组件从交易库中获取用于记录数据变更的二进制日志文件，通过数据解码得到订单表的订单变化数据信息，该订单变化数据信息可以为change log数据形式。

待同步数据类型包括支付订单请求信息、订单交易主体信息和支付流水信息三种，根据待同步数据类型将订单变化数据信息拆分为三个对应的订单变化数据流，根据三个订单变化数据流中各订单变化数据的订单ID，对三个订单变化数据流做分组操作，将每个订单变化数据流按照每个订单ID进行拆分得到每个订单ID对应的子订单变化数据流。

使同一个订单ID的三个子订单变化数据流进入同一个预设连接算子中，在预设连接算子中对同一个订单ID的三个子订单变化数据流做数据合并操作，转换成为同一个订单ID对应的订单变化宽表数据流。具体地，在预设时间段内，预设连接算子依托数据捕获组件的状态管理机制，对各子订单变化数据流进行短暂的状态保存，若在预设时间段内该订单ID存在新增子订单变化数据流，则将新增自订单变化数据流与原有的子订单变化数据流进行合并，得到该订单ID对应的订单变化宽表数据流。

对订单变化宽表数据流进行数据完整性检测，若该订单变化宽表数据流不满足完整性检测，则确定该订单变化宽表数据流的待补充数据类型，根据待补充数据类型与订单ID，从交易库中查找该补充数据类型和订单ID对应的最新的子订单数据，将子订单数据补充到该订单变化宽表数据流中，得到补充后的订单宽表数据流。对补充后的订单宽表数据流进行一致性检测，当通过一致性检测后，使用预设数据分片写入算子将补充后的订单宽表数据流按照预设分库分表规则和时序优先规则写入到历史库的订单表中。若不满足一致性检测，使用同步恢复功能，恢复订单变化宽表数据的一致性。

若该订单变化宽表数据流满足完整性检测，则对该订单变化宽表数据流进行一致性检测，将通过一致性检测的订单变化宽表数据流使用预设数据分片写入算子，按照预设分库分表规则和时序优先规则，分批次的写入到历史库的订单表中。

本实施例中的订单数据处理方法，仅需要在现有的数据架构基础上新增Flink集群和部署同步作业，即可实现交易库订单数到历史库的实时同步，将历史库的订单数据的及时性从现有的5-10分钟提高到了3秒内，通过自定义的连接算子打破了传统流式计算中仅支持两个实时变更数据的连接算子限制，实现了多个实时变更数据流的合并操作，同时保证了数据完整性与一致性。本实施例中的订单数据处理方法不需要引用过多的中间件，更加简单，落地速度快，维护成本低。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的订单数据处理方法的订单数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个订单数据处理装置实施例中的具体限定可以参见上文中对于订单数据处理方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种订单数据处理装置500，包括：变化数据流获取模块501、分组模块502、合并模块503和数据同步模块504，其中：

变化数据流获取模块501，用于从交易库中实时获取待同步数据类型对应的订单变化数据流。

分组模块502，用于根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流。

合并模块503，用于使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

数据同步模块504，用于将订单变化宽表数据流写入历史库的订单表中。

上述订单数据处理装置，通过从交易库中实时获取待同步数据类型对应的订单变化数据流，得到当前时间内交易库中订单的实时变化信息，根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流。进一步使用预设连接算子以各数据标识为单位，对多个子订单变化数据流进行合并操作，得到各数据标识对应的包含了订单实时变化信息的订单变化宽表数据流，将订单变化宽表数据流写入历史库的订单表中，完成了交易库到历史库的数据同步操作，业务系统可以直接从历史库中获得包含了订单实时变化信息的宽表数据流，不再需要同时访问交易库和历史库，在降低了系统复杂度的同时，有效提高了数据同步的实时性。

在一个实施例中，合并模块还用于：在预设时间段内通过状态管理机制对各数据标识对应的子订单变化数据流进行状态保存；若在预设时间段内，数据标识对应有新增子订单变化数据流，则将新增子订单变化数据流与数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

在一个实施例中，订单数据处理装置还包括：完整性检测模块，用于对订单变化宽表数据流进行完整性检测，若订单变化宽表数据流满足完整性检测，则使用预设数据分片写入算子，按照预设规则将订单变化宽表数据流写入历史库的订单表中。

在一个实施例中，完整性检测模块还用于：将订单变化宽表数据流中各子订单变化数据流的数据类型与待同步数据类型进行对比，若数据类型与待同步数据类型一致，则确定订单变化宽表数据流满足完整性检测；若数据类型与待同步数据类型不一致，则确定订单变化宽表数据流不满足完整性检测。

在一个实施例中，订单数据处理装置还包括：数据补充模块，用于若订单变化宽表数据流不满足完整性检测，则根据数据类型与待同步数据类型的比较结果，确定订单变化宽表数据流的待补充数据类型；基于待补充数据类型，查找交易库的订单表，确定待补充数据类型的子订单数据流；根据子订单数据流对订单变化宽表数据流进行补充；使用预设数据分片写入算子，将补充后的订单变化宽表数据流按照预设规则写入历史库的订单表中。

在一个实施例中，变化数据流获取模块还用于：从交易库中获取日志文件，对日志文件解码得到订单变化数据信息；根据订单变化数据信息中各订单变化数据所属的数据类型，对订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

在一个实施例中，数据同步模块还用于：按照预设分库分表规则以及时序优先规则，将订单变化宽表数据流分批次的写入历史库的订单表中。

上述订单数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是集成了数据捕获组件的服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储订单变化数据流、子订单变化数据流、订单变化宽表数据流和预设连接算子等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种订单数据处理方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

从交易库中实时获取待同步数据类型对应的订单变化数据流；

根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流；

使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流；

将订单变化宽表数据流写入历史库的订单表中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在预设时间段内通过状态管理机制对各数据标识对应的子订单变化数据流进行状态保存；

若在预设时间段内，数据标识对应有新增子订单变化数据流，则将新增子订单变化数据流与数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对订单变化宽表数据流进行完整性检测，若订单变化宽表数据流满足完整性检测，则使用预设数据分片写入算子，按照预设规则将订单变化宽表数据流写入历史库的订单表中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将订单变化宽表数据流中各子订单变化数据流的数据类型与待同步数据类型进行对比，若数据类型与待同步数据类型一致，则确定订单变化宽表数据流满足完整性检测；

若数据类型与待同步数据类型不一致，则确定订单变化宽表数据流不满足完整性检测。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若订单变化宽表数据流不满足完整性检测，则根据数据类型与待同步数据类型的比较结果，确定订单变化宽表数据流的待补充数据类型；

基于待补充数据类型，查找交易库的订单表，确定待补充数据类型的子订单数据流；

根据子订单数据流对订单变化宽表数据流进行补充；

使用预设数据分片写入算子，将补充后的订单变化宽表数据流按照预设规则写入历史库的订单表中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

从交易库中获取日志文件，对日志文件解码得到订单变化数据信息；

根据订单变化数据信息中各订单变化数据所属的数据类型，对订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

按照预设分库分表规则以及时序优先规则，将订单变化宽表数据流分批次的写入历史库的订单表中。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

从交易库中实时获取待同步数据类型对应的订单变化数据流；

根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流；

使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流；

将订单变化宽表数据流写入历史库的订单表中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在预设时间段内通过状态管理机制对各数据标识对应的子订单变化数据流进行状态保存；

若在预设时间段内，数据标识对应有新增子订单变化数据流，则将新增子订单变化数据流与数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对订单变化宽表数据流进行完整性检测，若订单变化宽表数据流满足完整性检测，则使用预设数据分片写入算子，按照预设规则将订单变化宽表数据流写入历史库的订单表中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将订单变化宽表数据流中各子订单变化数据流的数据类型与待同步数据类型进行对比，若数据类型与待同步数据类型一致，则确定订单变化宽表数据流满足完整性检测；

若数据类型与待同步数据类型不一致，则确定订单变化宽表数据流不满足完整性检测。在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

若订单变化宽表数据流不满足完整性检测，则根据数据类型与待同步数据类型的比较结果，确定订单变化宽表数据流的待补充数据类型；

基于待补充数据类型，查找交易库的订单表，确定待补充数据类型的子订单数据流；

根据子订单数据流对订单变化宽表数据流进行补充；

使用预设数据分片写入算子，将补充后的订单变化宽表数据流按照预设规则写入历史库的订单表中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

从交易库中获取日志文件，对日志文件解码得到订单变化数据信息；

根据订单变化数据信息中各订单变化数据所属的数据类型，对订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

按照预设分库分表规则以及时序优先规则，将订单变化宽表数据流分批次的写入历史库的订单表中。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

从交易库中实时获取待同步数据类型对应的订单变化数据流；

根据订单变化数据流中各订单变化数据的数据标识，对各订单变化数据流进行分组操作，得到各数据标识对应的子订单变化数据流；

使用预设连接算子对各数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流；

将订单变化宽表数据流写入历史库的订单表中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在预设时间段内通过状态管理机制对各数据标识对应的子订单变化数据流进行状态保存；

若在预设时间段内，数据标识对应有新增子订单变化数据流，则将新增子订单变化数据流与数据标识对应的子订单变化数据流进行合并操作，得到各数据标识对应的订单变化宽表数据流。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对订单变化宽表数据流进行完整性检测，若订单变化宽表数据流满足完整性检测，则使用预设数据分片写入算子，按照预设规则将订单变化宽表数据流写入历史库的订单表中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将订单变化宽表数据流中各子订单变化数据流的数据类型与待同步数据类型进行对比，若数据类型与待同步数据类型一致，则确定订单变化宽表数据流满足完整性检测；

若数据类型与待同步数据类型不一致，则确定订单变化宽表数据流不满足完整性检测。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

若订单变化宽表数据流不满足完整性检测，则根据数据类型与待同步数据类型的比较结果，确定订单变化宽表数据流的待补充数据类型；

基于待补充数据类型，查找交易库的订单表，确定待补充数据类型的子订单数据流；

根据子订单数据流对订单变化宽表数据流进行补充；

使用预设数据分片写入算子，将补充后的订单变化宽表数据流按照预设规则写入历史库的订单表中。在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

从交易库中获取日志文件，对日志文件解码得到订单变化数据信息；

根据订单变化数据信息中各订单变化数据所属的数据类型，对订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

按照预设分库分表规则以及时序优先规则，将订单变化宽表数据流分批次的写入历史库的订单表中。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种订单数据处理方法，其特征在于，所述方法包括：

从交易库中实时获取待同步数据类型对应的订单变化数据流；

根据所述订单变化数据流中各订单变化数据的数据标识，对各所述订单变化数据流进行分组操作，得到各所述数据标识对应的子订单变化数据流，所述数据标识用于标记各所述订单变化数据所属的订单业务；

在预设时间段内通过状态管理机制对各所述数据标识对应的子订单变化数据流进行状态保存；

若在所述预设时间段内，所述数据标识对应有新增子订单变化数据流，则将所述新增子订单变化数据流与所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流；

使用预设数据分片写入算子，按照预设分库分表规则确定所述订单变化宽表数据在历史库中的写入位置，根据时序优先规则确定所述订单变化宽表数据的写入顺序，基于所述写入位置和所述写入顺序，将所述订单变化宽表数据分批次的写入所述历史库的订单表中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述订单变化宽表数据流进行完整性检测，若所述订单变化宽表数据流满足所述完整性检测，则执行使用预设数据分片写入算子，按照预设分库分表规则确定所述订单变化宽表数据在历史库中的写入位置，根据时序优先规则确定所述订单变化宽表数据的写入顺序，基于所述写入位置和所述写入顺序，将所述订单变化宽表数据分批次的写入所述历史库的订单表中的步骤。

3.根据权利要求2所述的方法，其特征在于，所述对所述订单变化宽表数据流进行完整性检测，包括：

将所述订单变化宽表数据流中各所述子订单变化数据流的数据类型与所述待同步数据类型进行对比，若所述数据类型与所述待同步数据类型一致，则确定所述订单变化宽表数据流满足所述完整性检测；

若数据类型与所述待同步数据类型不一致，则确定所述订单变化宽表数据流不满足所述完整性检测。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述订单变化宽表数据流不满足所述完整性检测，则根据所述数据类型与所述待同步数据类型的比较结果，确定所述订单变化宽表数据流的待补充数据类型；

基于所述待补充数据类型，查找所述交易库的订单表，确定所述待补充数据类型的子订单数据流；

根据所述子订单数据流对所述订单变化宽表数据流进行补充；

使用所述预设数据分片写入算子，按照预设分库分表规则确定所述订单变化宽表数据在历史库中的写入位置，根据时序优先规则确定所述订单变化宽表数据的写入顺序，基于所述写入位置和所述写入顺序，将补充后的订单变化宽表数据分批次的写入所述历史库的订单表中。

5.根据权利要求1所述的方法，其特征在于，所述从交易库中获取待同步数据类型对应的订单变化数据流，包括：

从所述交易库中获取日志文件，对所述日志文件解码得到订单变化数据信息；

根据所述订单变化数据信息中各所述订单变化数据所属的数据类型，对所述订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

6.一种订单数据处理装置，其特征在于，所述装置包括：

变化数据流获取模块，用于从交易库中实时获取待同步数据类型对应的订单变化数据流；

分组模块，用于根据所述订单变化数据流中各订单变化数据的数据标识，对各所述订单变化数据流进行分组操作，得到各所述数据标识对应的子订单变化数据流，所述数据标识用于标记各所述订单变化数据所属的订单业务；

合并模块，用于在预设时间段内通过状态管理机制对各所述数据标识对应的子订单变化数据流进行状态保存；若在所述预设时间段内，所述数据标识对应有新增子订单变化数据流，则将所述新增子订单变化数据流与所述数据标识对应的子订单变化数据流进行合并操作，得到各所述数据标识对应的订单变化宽表数据流；

数据同步模块，用于使用预设数据分片写入算子，按照预设分库分表规则确定所述订单变化宽表数据在历史库中的写入位置，根据时序优先规则确定所述订单变化宽表数据的写入顺序，基于所述写入位置和所述写入顺序，将所述订单变化宽表数据分批次的写入所述历史库的订单表中。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

完整性检测模块，用于对所述订单变化宽表数据流进行完整性检测，若所述订单变化宽表数据流满足所述完整性检测，数据同步模块执行使用预设数据分片写入算子，按照预设分库分表规则确定所述订单变化宽表数据在历史库中的写入位置，根据时序优先规则确定所述订单变化宽表数据的写入顺序，基于所述写入位置和所述写入顺序，将所述订单变化宽表数据分批次的写入所述历史库的订单表中的步骤。

8.根据权利要求6所述的装置，其特征在于，所述变化数据流获取模块还包括：

从所述交易库中获取日志文件，对所述日志文件解码得到订单变化数据信息；

根据所述订单变化数据信息中各所述订单变化数据所属的数据类型，对所述订单变化数据信息进行拆分，得到待同步数据类型对应的订单变化数据流。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。