CN111865811A - 一种数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、设备及介质，包括：获取待处理报文；根据目标信息确定是否将待处理报文拆分以及拆分方式；若拆分，则根据拆分方式将待处理报文拆分，得到第一报文段和第二报文段；第一报文段处理复杂度高于第二报文段；将待处理报文对应的状态信息保存至第一缓存；利用预设处理方式对第一报文段进行处理，然后将处理后第一报文段和对应的报文序号帧计数值保存至第二缓存，并将第二报文段和对应的报文序号帧计数值直接保存至第三缓存，将不进行拆分处理的待处理报文和对应的报文序号帧计数值保存至第三缓存；利用第一缓存、第二缓存、第三缓存中的缓存数据进行报文组帧处理。能够实现数据的高速处理，并且避免资源浪费。

Description

一种数据处理方法、装置、设备及介质

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据处理方法、装置、设备及介质。

背景技术

当今社会是一个数据社会，互联网、物联网、组织和个人、各行各业等等，不断发展和完善的信息架构，每天都在形成海量的数据。数据高速传输处理是数据应用的基础。随着数据量的增大以及应用场景日趋复杂，应用设备可能会面临复杂的报文处理情况，比如多种报文类型、长短各异的报文长度等等。

目前，面对高速数据处理的需求，传统的报文统一处理方式可能无法兼顾各种情况，容易造成带宽的浪费，并且，单纯的提高处理频率或者扩宽数据处理位宽会导致资源和成本增加。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法、装置、设备及介质，能够实现数据的高速处理，并且避免资源浪费。其具体方案如下：

第一方面，本申请公开了一种数据处理方法，包括：

获取待处理报文；

根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式；

若确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段；

将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值；

利用预设处理方式对所述第一报文段进行处理，然后将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存；

利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。

可选的，所述获取待处理报文之后，还包括：

利用预设应用参数对所述待处理报文进行匹配，若所述待处理报文与所述预设应用参数无法匹配，则将该待处理报文的后续数据丢弃。

可选的，所述获取待处理报文之后，还包括：

对所述待处理报文进行校验；

相应的，所述将所述待处理报文对应的状态信息保存至对应的第一缓存，还包括：

将所述待处理报文的校验结果保存至所述第一缓存。

可选的，所述利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理，包括：

监控所述第一缓存、所述第二缓存、所述第三缓存的缓存状态；

当所述第一缓存的所述缓存状态为非空时，读取所述状态信息，然后根据所述报文拆分标志确定当所述第三缓存的所述缓存状态为非空时，读取所述第三缓存中的缓存数据进行组帧处理，或当所第三缓存的所述缓存状态和所述第二缓存的所述缓存状态均为非空时，对所述第三缓存以及所述第二缓存中的缓存数据进行组帧处理；

并且，当开始组帧处理，则判断所述校验结果是否为校验错误，若所述校验结果为校验错误，则将缓存中当前帧相应的数据丢弃，以及比较所述第一缓存中的所述报文序号帧计数值与所述第二缓存或所述第三缓存中的所述报文序号帧计数值，若所述第二缓存或所述第三缓存中的所述报文序号帧计数值比所述第一缓存中的所述报文序号帧计数值小，则丢弃缓存中的相应帧数据。

可选的，所述数据处理方法，还包括：

在向所述第二缓存和/或所述第三缓存中存储数据时，添加报文间隔标志位。

可选的，所述数据处理方法，还包括：

根据所述报文间隔标志位从所述第二缓存和/或所述第三缓存中读取数据，进行组帧处理。

可选的，所述根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式，包括：

根据所述待处理报文的报文类型和/或目标报文字段的数据类型确定是否将所述待处理报文进行拆分处理以及对应的拆分方式。

第二方面，本申请公开了一种数据处理装置，包括：

待处理报文获取模块，用于获取待处理报文；

报文拆分确定模块，用于根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式；

报文拆分处理模块，用于若所述拆分确定模块确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段；

状态信息缓存模块，用于将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值；

报文段处理模块，用于利用预设处理方式对所述第一报文段进行处理；

报文数据缓存模块，用于将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存；

报文组帧处理模块，用于利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。

第三方面，本申请公开了一种数据处理设备，包括处理器和存储器；其中，

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序以实现前述的数据处理方法。

第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的数据处理方法。

可见，本申请获取待处理报文，然后根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式，若确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段，将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值；利用预设处理方式对所述第一报文段进行处理，然后将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存，之后利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。这样，将处理复杂度高的报文段单独处理，处理复杂度低的报文段和报文直接存入缓存，通过多缓存处理，减低了数据处理时延，能够实现数据的高速处理，并且避免资源浪费。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种数据处理方法流程图；

图2为本申请公开的一种具体的数据处理方法流程图；

图3为本申请公开的一种数据处理装置结构示意图；

图4为本申请公开的一种具体的数据处理装置结构示意图；

图5为本申请公开的一种数据处理设备结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，面对高速数据处理的需求，传统的报文统一处理方式可能无法兼顾各种情况，容易造成带宽的浪费，并且，单纯的提高处理频率或者扩宽数据处理位宽会导致资源和成本增加。为此，本申请提供了一种数据处理方案，能够实现数据的高速处理，并且避免资源浪费。

参见图1所示，本申请实施例公开了一种数据处理方法，包括：

步骤S11：获取待处理报文。

在具体的实施方式中，所述待处理报文可以为变长报文、不同类型的报文。

步骤S12：根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式。

在具体的实施方式中，本实施例可以根据所述待处理报文的报文类型和/或目标报文字段的数据类型确定是否将所述待处理报文进行拆分处理以及对应的拆分方式。

也即，本实施例可以根据报文类型和/或目标报文字段的数据类型判断出复杂度高的报文和复杂度低的报文，以及具体的复杂度高的报文段。

步骤S13：若确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段。

步骤S14：将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值。

在具体的实施方式中，本实施例为确保报文传输准确，在接收报文实时处理的同时，可以启动一个报文计数器，作为报文序号随拆分的数据一起缓存，作为后续组帧的对齐依据。

步骤S15：利用预设处理方式对所述第一报文段进行处理，然后将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存。

需要指出的是，高速数据处理中，变长报文的数据处理复杂度不同，存在处理过程的时间差异较大，或者步骤流程差异较大的情况，为提高报文处理吞吐率，本实施例根据报文特点将报文拆分处理。处理复杂度高的报文数据段，常见于数据量较小的控制数据或者特征数据，处理过程也相对独立。将该段数据拆离出报文单独处理，可以省却冗余报文数据的处理过程，还可以针对性的定制流水线处理方案，提高流水线效率。并且，利用预设处理方式对多段所述第一报文段进行并行处理，也即，本实施例可以根据报文特点，可以并行处理第一报文段。处理复杂度低的报文或报文数据段，可直接缓存。

并且，在具体的实施方式中，本实施例可以采用FIFO(即First Input FirstOutput，先进先出)存储，也即第一缓存、第二缓存、第三缓存均为FIFO缓存。采用FIFO作为存储器，对于变长数据，可以充分利用存储空间，简化控制逻辑。第一缓存用于存储报文处理的状态信息；第二缓存用于存储复杂度高的报文数据段处理结果；第三缓存用于存储复杂度低的报文或报文数据段。三个缓存设置，可以平衡各部分数据处理时延，实现报文传输处理无需等待。

进一步的，本实施例可以在向所述第二缓存和/或所述第三缓存中存储数据时，添加报文间隔标志位。相应的，可以根据所述报文间隔标志位从所述第二缓存和/或所述第三缓存中读取数据，进行组帧处理。

例如，本实施例可以将FIFO存储数据位宽扩展1bit冗余位，作为区分不同报文的间隔标志。对于第三缓存中的报文数据，对于任一帧报文，可以在存储时添加报文序号即报文序号帧计数值作为其首个数据，同时将该数据的扩展冗余位置1，其他数据的扩展冗余位置0，这样扩展冗余位即可作为报文区分标志。而对于第一缓存，状态信息和报文序号可以作为一组数据存入FIFO，一个数据即可表示一个报文信息，第二缓存可根据应用需求采取上述的两种方式中的一种。

需要指出的是，扩展报文间隔标志位，可以充分利用缓存空间，本实施例利用三个缓存，可以平衡各类型报文的处理差异，确保报文数据的高速传输处理，并具备容错性。

步骤S16：利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。

在具体的实施方式中，本实施例在获取待处理报文之后，还包括：对所述待处理报文进行校验；相应的，所述将所述待处理报文对应的状态信息保存至对应的第一缓存，还包括：将所述待处理报文的校验结果保存至所述第一缓存。也即，当前报文校验完成时，将校验成功与否，是否拆分标志等信息连同报文序号计数器值存储在状态缓存中。并且，本实施例校验有误时，可以置告警信息。

进一步的，本实施例可以监控所述第一缓存、所述第二缓存、所述第三缓存的缓存状态；当所述第一缓存的所述缓存状态为非空时，读取所述状态信息，然后根据所述报文拆分标志确定当所述第三缓存的所述缓存状态为非空时，读取所述第三缓存中的缓存数据进行组帧处理，或当所第三缓存的所述缓存状态和所述第二缓存的所述缓存状态均为非空时，对所述第三缓存以及所述第二缓存中的缓存数据进行组帧处理；并且，当开始组帧处理，则判断所述校验结果是否为校验错误，若所述校验结果为校验错误，则将缓存中当前帧相应的数据丢弃，以及比较所述第一缓存中的所述报文序号帧计数值与所述第二缓存或所述第三缓存中的所述报文序号帧计数值，若所述第二缓存或所述第三缓存中的所述报文序号帧计数值比所述第一缓存中的所述报文序号帧计数值小，则丢弃缓存中的相应帧数据。

也即，本实施例可以监控三个缓存FIFO的状态，处理过程不同导致三部分数据写入FIFO的时间是不确定的。当第一缓存非空时，首先读取其值，根据报文拆分标志，判读直接读取第三缓存的数据进行组帧处理，或是需第二缓存的FIFO非空后才进行组帧处理。数据开始组帧时，首先判断第一缓存中报文校验标志，以及相应FIFO中报文序号是否一致。若报文校验错误，则当前帧相应缓存FIFO中数据需丢弃。若报文序号不一致，则报文序号小的缓存FIFO中数据需丢弃。若二者均通过，则可读取数据组帧转发报文。对于扩展冗余标志位的报文数据，不论报文数据是丢弃或者组帧转发，每次的组帧报文操作，都要读取FIFO数据直到报文间隔标志位为1，或者FIFO为空时为止，确保报文准确性。

并且，本实施例可以根据报文类型，预设报文处理的优先级，扩展相应的缓存，在组帧处理时，根据优先级进行处理。也即，本实施例对于并行通路的报文处理，可实现按优先级组帧调度的功能。

参见图2所示，本申请实施例公开了一种具体的数据处理方法，包括：

步骤S21：获取待处理报文。

步骤S22：利用预设应用参数对所述待处理报文进行匹配，若所述待处理报文与所述预设应用参数无法匹配，则将该待处理报文的后续数据丢弃。

在具体的实施方式中，本实施例可以预先配置预设应用参数，在获取到待处理报文后，先利用预设应用参数对所述待处理报文进行匹配，若所述待处理报文与所述预设应用参数无法匹配，则将该待处理报文的后续数据丢弃。

这样，报文匹配错误时，丢弃该报文的后续数据，这样可以省却后续的处理操作，也节省FIFO缓存空间。并且，因为匹配丢弃的断帧数据，本实施例可以启动一个报文计数器，作为报文序号随拆分的数据一起缓存，作为后续组帧的对齐依据。

并且，本实施例在匹配有误时，即刻丢弃该报文后续数据，并置告警信息。

步骤S23：根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式。

步骤S24：若确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段。

步骤S25：将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值。

步骤S26：利用预设处理方式对所述第一报文段进行处理，然后将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存。

步骤S27：利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。

也即，本实施例可以针对应用场景中对复杂报文环境高速处理的需求，实现报文数据的实时过滤，并即时丢弃无效报文，减少处理流程的数据压力；支持报文数据分段处理，定制优化的流水线处理过程，提高报文处理速率；多段存储控制提升报文处理的兼容性，有效提高带宽利用率。

参见图3所示，本申请实施例公开了一种数据处理装置，包括：

待处理报文获取模块11，用于获取待处理报文；

报文拆分确定模块12，用于根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式；

报文拆分处理模块13，用于若所述拆分确定模块确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段；

状态信息缓存模块14，用于将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值；

报文段处理模块15，用于利用预设处理方式对所述第一报文段进行处理；

报文数据缓存模块16，用于将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存；

报文组帧处理模块17，用于利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。

所述数据处理装置，还包括数据匹配过滤模块，用于利用预设应用参数对所述待处理报文进行匹配，若所述待处理报文与所述预设应用参数无法匹配，则将该待处理报文的后续数据丢弃。

所述数据处理装置，还包括报文校验模块，用于对所述待处理报文进行校验。相应的，所述状态信息缓存模块14，还用于将所述待处理报文的校验结果保存至所述第一缓存。

所述报文组帧处理模块17，具体用于监控所述第一缓存、所述第二缓存、所述第三缓存的缓存状态；当所述第一缓存的所述缓存状态为非空时，读取所述状态信息，然后根据所述报文拆分标志确定当所述第三缓存的所述缓存状态为非空时，读取所述第三缓存中的缓存数据进行组帧处理，或当所第三缓存的所述缓存状态和所述第二缓存的所述缓存状态均为非空时，对所述第三缓存以及所述第二缓存中的缓存数据进行组帧处理；并且，当开始组帧处理，则判断所述校验结果是否为校验错误，若所述校验结果为校验错误，则将缓存中当前帧相应的数据丢弃，以及比较所述第一缓存中的所述报文序号帧计数值与所述第二缓存或所述第三缓存中的所述报文序号帧计数值，若所述第二缓存或所述第三缓存中的所述报文序号帧计数值比所述第一缓存中的所述报文序号帧计数值小，则丢弃缓存中的相应帧数据。

所述报文数据缓存模块16，还用于在向所述第二缓存和/或所述第三缓存中存储数据时，添加报文间隔标志位。

相应的，所述报文组帧处理模块17，还用于根据所述报文间隔标志位从所述第二缓存和/或所述第三缓存中读取数据，进行组帧处理。

所述报文拆分确定模块12，具体用于根据所述待处理报文的报文类型和/或目标报文字段的数据类型确定是否将所述待处理报文进行拆分处理以及对应的拆分方式。

例如，参见图4所示，本申请实施例公开了一种具体的数据处理装置，包括：配置模块：该模块根据需求，可实时配置各模块的应用参数。报文处理模块：该模块实现输入报文能够实时处理的功能，比如报文数据的匹配与过滤、信息提取/替换、报文校验、拆分与否等，不会造成数据流的延迟。处理过程匹配有误时，即刻丢弃该报文后续数据，并置告警信息。当前报文校验完成时，将校验成功与否，是否拆分标志等信息连同报文序号计数器值存储在状态缓存中。报文拆分模块：按照报文处理模块确定的拆分方式，将报文分段拆分处理，并将报文序号计数器连同报文数据转发到相应处理流程中。报文段处理模块：该模块适用于小规模、处理过程相对复杂的报文段。因为摒弃了大量冗余数据，可以针对性的定制流水线处理过程，保证数据的处理速度。根据报文特点，该模块支持扩展为多个。缓存模块：该模块采用FIFO存储，分别缓存报文的状态信息(缓存A)、数据段信息(缓存C)、处理段信息(缓存B)，扩展报文间隔标志位，充分利用缓存空间，平衡各类型报文的处理差异，确保报文数据的高速传输处理，并具备容错性。组帧调度模块：该模块根据缓存A状态信息，控制实现报文的组帧调度处理过程，并保证拆分报文组帧对齐的准确性。对于并行通路的报文处理，该模块可扩展优先级调度功能。

参见图5所示，本申请实施例公开了一种数据处理设备，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现前述实施例公开的数据处理方法。

关于上述数据处理方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的数据处理方法。

关于上述数据处理方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种数据处理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取待处理报文；

根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式；

若确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段；

将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值；

利用预设处理方式对所述第一报文段进行处理，然后将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存；

利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述获取待处理报文之后，还包括：

利用预设应用参数对所述待处理报文进行匹配，若所述待处理报文与所述预设应用参数无法匹配，则将该待处理报文的后续数据丢弃。

3.根据权利要求1所述的数据处理方法，其特征在于，所述获取待处理报文之后，还包括：

对所述待处理报文进行校验；

相应的，所述将所述待处理报文对应的状态信息保存至对应的第一缓存，还包括：

将所述待处理报文的校验结果保存至所述第一缓存。

4.根据权利要求3所述的数据处理方法，其特征在于，所述利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理，包括：

监控所述第一缓存、所述第二缓存、所述第三缓存的缓存状态；

当所述第一缓存的所述缓存状态为非空时，读取所述状态信息，然后根据所述报文拆分标志确定当所述第三缓存的所述缓存状态为非空时，读取所述第三缓存中的缓存数据进行组帧处理，或当所第三缓存的所述缓存状态和所述第二缓存的所述缓存状态均为非空时，对所述第三缓存以及所述第二缓存中的缓存数据进行组帧处理；

并且，当开始组帧处理，则判断所述校验结果是否为校验错误，若所述校验结果为校验错误，则将缓存中当前帧相应的数据丢弃，以及比较所述第一缓存中的所述报文序号帧计数值与所述第二缓存或所述第三缓存中的所述报文序号帧计数值，若所述第二缓存或所述第三缓存中的所述报文序号帧计数值比所述第一缓存中的所述报文序号帧计数值小，则丢弃缓存中的相应帧数据。

5.根据权利要求1所述的数据处理方法，其特征在于，还包括：

在向所述第二缓存和/或所述第三缓存中存储数据时，添加报文间隔标志位。

6.根据权利要求5所述的数据处理方法，其特征在于，还包括：

根据所述报文间隔标志位从所述第二缓存和/或所述第三缓存中读取数据，进行组帧处理。

7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，所述根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式，包括：

根据所述待处理报文的报文类型和/或目标报文字段的数据类型确定是否将所述待处理报文进行拆分处理以及对应的拆分方式。

8.一种数据处理装置，其特征在于，包括：

待处理报文获取模块，用于获取待处理报文；

报文拆分确定模块，用于根据目标信息确定是否将所述待处理报文进行拆分处理以及对应的拆分方式；其中，所述目标信息反映了所述待处理报文的处理复杂度，并且，所述拆分方式为基于报文段的处理复杂度确定的拆分方式；

报文拆分处理模块，用于若所述拆分确定模块确定将所述待处理报文进行拆分处理，则根据对应的所述拆分方式将所述待处理报文进行拆分，以得到对应的第一报文段和第二报文段；其中，所述第一报文段为处理复杂度高于所述第二报文段的报文段；

状态信息缓存模块，用于将所述待处理报文对应的状态信息保存至第一缓存；所述状态信息包括报文拆分标志以及报文序号帧计数值；

报文段处理模块，用于利用预设处理方式对所述第一报文段进行处理；

报文数据缓存模块，用于将处理后第一报文段和所述第一报文段对应的报文序号帧计数值保存至第二缓存，并将所述第二报文段和所述第二报文段对应的报文序号帧计数值直接保存至第三缓存，以及将确定出的不进行拆分处理的所述待处理报文和对应的报文序号帧计数值保存至所述第三缓存；

报文组帧处理模块，用于利用所述第一缓存、所述第二缓存、所述第三缓存中的缓存数据进行报文组帧处理。

9.一种数据处理设备，其特征在于，包括处理器和存储器；其中，

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据处理方法。

Images