CN111800476A - 基于大数据和云计算的数据处理方法及云端大数据服务器 - Google Patents

Abstract

本申请的基于大数据和云计算的数据处理方法及云端大数据服务器，在处理正常运行状态时根据第一应用数据生成设备状态列表并提取设备状态列表中的状态信息。进一步地，在检测到第一数据采集线程处于故障状态时与备用服务器通信以使得备用服务器继续采集第二应用数据。更进一步地，在检测到故障状态检修完成时继续采集第三应用数据并获取备用服务器按照后进先出原理发送的第二应用数据。最后根据第一存储区的状态信息和第二存储区的第一应用数据对应用数据进行拼接。如此，能够在进行应用数据的同步时，确保第三应用数据和第二应用数据的同步，从而避免应用数据在时序上的异步带来的遗漏和丢失并实现对应用数据的准确、完整同步。

Description

基于大数据和云计算的数据处理方法及云端大数据服务器

技术领域

本申请涉及大数据处理技术领域，尤其涉及基于大数据和云计算的数据处理方法及云端大数据服务器。

背景技术

随着科技的发展，数据已成为社会生产生活中不可分割的一部分。大数据和云计算时代的到来显著地改善了人们的生活与生产。例如在制造业和服务业等领域，都能够感受到大数据对各行各业带来的有益影响。大数据技术依附于部署在云端的服务器对海量数据进行收集，然后对海量数据进行分析和挖掘，从而确定出有价值的数据。

然而，随着数据规模的不断扩大以及数据容量的不断激增，云端的服务器在对海量数据进行处理时可能会出现故障。当云端的服务器出现故障时，需要对服务器进行停机检修并初始化，这个时候需要采用备用服务器进行数据处理。在完成故障服务器的检修和初始化之后，如何对备用服务器中的数据进行同步是现阶段需要解决的一个技术问题。

发明内容

本申请旨在提供一种基于大数据和云计算的数据处理方法及云端大数据服务器以对备用服务器中的数据进行同步。

在第一个完整的实施例中，一种基于大数据和云计算的数据处理方法，应用于云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述方法包括：

在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；

在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；

在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；

接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。

在另一个完整的实施例中，提供了一种云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述云端大数据服务器用于：

在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；

在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；

在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；

接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。

应用上述基于大数据和云计算的数据处理方法及云端大数据服务器时，在处理正常运行状态时根据采集到的第一应用数据生成设备状态列表并提取设备状态列表中的状态信息，然后将状态信息缓存到第一存储区。进一步地，在检测到第一数据采集线程处于故障状态时与备用服务器通信以使得备用服务器继续采集第二应用数据。更进一步地，在检测到故障状态检修完成时继续采集第三应用数据并获取备用服务器按照后进先出原理发送的第二应用数据。最后根据第一存储区的状态信息和第二存储区的第一应用数据对应用数据进行拼接。如此，能够在进行应用数据的同步时，确保第三应用数据和第二应用数据的同步，从而避免应用数据在时序上的异步带来的遗漏和丢失并实现对应用数据的准确、完整同步。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请根据一示例性实施例示出的一种基于大数据和云计算的数据处理系统的通信架构示意图。

图2是本申请根据一示例性实施例示出的一种基于大数据和云计算的数据处理方法的流程图。

图3为本申请基于大数据和云计算的数据处理装置所在云端大数据服务器的一种硬件结构图

图4是本申请根据一示例性实施例示出的一种基于大数据和云计算的数据处理装置的一个实施例框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。

为了实现服务器在故障检修完成之后对备用服务器中的数据进行准确、完整地同步，本申请实施例提供了一种基于大数据和云计算的数据处理方法及云端大数据服务器。

请首先参照图1，示出的是基于大数据和云计算的数据处理系统100的通信架构示意图，所述数据处理系统100可以包括云端大数据服务器200以及与云端大数据服务器200通信、备用服务器300和多个数据侧设备400，每个数据侧设备400分别与云端大数据服务器200和备用服务器300通信，云端大数据服务器200与备用服务器300通信。

在图1的基础上，请结合参阅图2，示出了基于大数据和云计算的数据处理方法的流程图，所述方法可以应用于图1中的云端大数据服务器200。请结合参阅图3，所述云端大数据服务器200从自身的存储器500中调取计算机程序并在处理器600中运行，以实现如图2所示的步骤S21-步骤S24所描述的方法。

步骤S21，在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离。

步骤S22，在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储。

在本发明实施例中，窗口信息中包括云端大数据服务器所采集到部分第一应用数据，这部分应用数据的采集时刻位于设定时段内，设定时段的终止时刻为检测到所述第一数据采集线程处于故障状态的时刻，设定时段的到起始时刻根据云端大数据服务器的配置信息进行预先设置。

步骤S23，在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器。

步骤S24，接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。

在本实施例中，备用服务器基于“后进先出”的原理将第二应用数据同步给云端大数据服务器，能够确保云端大数据服务器在进行应用数据的同步时，首先确保第三应用数据和第二应用数据的同步，从而避免应用数据在时序上的异步带来的遗漏和丢失，从而实现对应用数据的准确、完整同步。

在应用上述步骤S21-步骤S24所描述的内容时，在处理正常运行状态时根据采集到的第一应用数据生成设备状态列表并提取设备状态列表中的状态信息，然后将状态信息缓存到第一存储区。进一步地，在检测到第一数据采集线程处于故障状态时与备用服务器通信以使得备用服务器继续采集第二应用数据。更进一步地，在检测到故障状态检修完成时继续采集第三应用数据并获取备用服务器按照后进先出原理发送的第二应用数据。最后根据第一存储区的状态信息和第二存储区的第一应用数据对应用数据进行拼接。如此，能够在进行应用数据的同步时，确保第三应用数据和第二应用数据的同步，从而避免应用数据在时序上的异步带来的遗漏和丢失并实现对应用数据的准确、完整同步。

在实际应用中，发明人发现，在对第一应用数据、第二应用数据和第三应用数据进行拼接时，会出现拼接得到的应用数据出现混乱的现象。经发明人进一步分析发现，这是由于没有考虑不同时序的第二应用数据的相似性造成的。比如，与第一应用数据拼接的第二应用数据为Data21，与第三应用数据拼接的第二应用数据为Data22，若Data21和Data22相似性较高，则在拼接时可能出现混乱。为解决上述问题，在步骤S24中，根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接，具体可以包括以下步骤S241-步骤S245所描述的内容。

步骤S241，获取所述状态信息对应的第一时序参量和每段第二应用数据的第一数据标识，确定与所述状态信息对应的第一时序参量和所述每段第二应用数据的第一数据标识对应的第一时序描述值和对应的第二时序描述值。

步骤S242，确定所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值，基于所述对应的第一时序描述值，计算接收到的每段第三应用数据相对于所述状态信息对应的第一时序参量与所述对应的第一应用数据的第三时序描述值之间的匹配率的第四时序描述值。

步骤S243，确定所述每段第二应用数据的第一数据标识对应的第一标识字段信息，基于所述对应的第二时序描述值，计算所述接收到的每段第三应用数据相对于所述每段第二应用数据的第一数据标识与对应的第一标识字段信息的匹配率的相似度值。

步骤S244，基于所述第四时序描述值和所述第二时序描述值中的较小的时序描述值，确定所述状态信息对应的第二时序参量、所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值、每段第二应用数据相对于所述第二时序参量的第二数据标识以及所述第二数据标识对应的第二标识字段信息。

步骤S245，在所述对应的第一应用数据的第三时序描述值与所述对应的第二时序描述值的差值在预设范围内的情况下，根据所述接收到的每段第三应用数据对应的相似度值，将所述第二时序描述值与所述第一时序描述值的差值小于设定值的第二应用数据和第一应用数据进行拼接，或

将所述第四时序描述值与所述第一时序描述值的差值小于所述设定值的第三应用数据和第一应用数据进行拼接。

可以理解，通过上述步骤S241-步骤S245所描述的内容，能够将第一应用数据和第三应用数据与不同时序的第二应用数据之间的时序描述值考虑在内，这样而言，即使分别与第一应用数据和第二应用数据相拼接的两段第二应用数据较为相似，也能够根据不同应用程序的时序描述值来区分与第一应用数据相拼接的第二应用数据以及与第三应用数据相拼接的第二应用数据。如此，能够确保拼接得到的应用数据不会出现混乱。

在一个可能的实施例中，步骤S21所描述的依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，具体可以包括以下步骤S211-步骤S213所描述的内容。

步骤S211，确定基于每个数据侧设备的第一应用数据所提取到的多个数据报文集；针对所述多个数据报文集中的当前数据报文集，基于当前数据报文集在所述预设时长内的第一丢包率以及各所述数据报文集在所述预设时长内的第二丢包率，确定当前数据报文集在所述预设时长内的丢包系数。

步骤S212，根据当前数据报文集在两个相邻的所述预设时长内的丢包系数确定当前数据报文集在两个相邻的预设时长之间的丢包变化轨迹。

步骤S213，基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，根据所述网络状态参数生成每个数据侧设备的设备状态列表。

基于上述步骤S211-步骤S213，能够达到以下有益技术效果：通过对每个数据侧设备的第一应用数据的数据报文集的丢包率进行分析，能够基于丢包率确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，从而准确地确定出每个数据侧设备的设备状态列表。

在上述步骤S213中，基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，具体可以包括以下步骤S2131-步骤S2134所描述的内容。

步骤S2131，在所述丢包变化轨迹中按照丢包率在相邻时刻之间的差值的绝对值由大到小的顺序依次选取当前轨迹变量；从在所述丢包变化轨迹中的排序位置位于当前轨迹变量之前的轨迹变量中，确定参考轨迹变量。

步骤S2132，获取所述参考轨迹变量中变量参数的参数状态类别，并依据参数状态类别和网络状态类别之间的映射关系，对当前轨迹变量进行映射以得到当前轨迹变量的网络状态变量。

步骤S2133，对所述网络状态变量进行状态参数提取，得到所述网络状态变量对应的变量状态参数。

步骤S2134，按照时序依次将所述变量状态参数进行整合，得到所述网络状态参数。

可以理解，通过上述步骤S2131-步骤S2134所描述的内容，能够确保网络状态参数的完整性，避免在预设时长内的网络状态参数因参数波动而出现参数丢失的问题。

在上述步骤S21中，所述预设时长可以通过以下步骤进行调整：周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量；按照预设比例关系确定与所述实时数量对应的目标时长；在所述目标时长与所述预设时长相同时，返回周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量的步骤；在所述目标时长与所述预设时长不相同时，采用所述目标时长替换所述预设时长。可以理解，通过上述内容，能够根据数据侧设备的实时数量对预设时长进行实时且灵活的调整，从而提高云端大数据服务器在确定设备状态列表时的效率，进而提高数据采集和数据同步的效率。

在具体实施时，为了避免确定出的状态信息的重复从而影响到后续数据同步的效率，在步骤S21中，提取所述设备状态列表中的状态信息，具体可以包括以下步骤(1)～步骤(4)所描述的内容。

(1)确定所述设备状态列表的列表结构信息对应的列表结构数据包，获取所述设备状态列表的列表参数信息对应的列表参数数据包；其中，所述列表结构数据包和所述列表参数数据包分别包括多个不同数据优先级的数据组。

(2)提取所述设备状态列表的列表结构信息在所述列表结构数据包的其中一个数据组的状态指向信息，将所述列表参数数据包中具有最小数据优先级的数据组确定为目标数据组。

(3)根据所述设备状态列表的生成时刻将所述状态指向信息加载到所述目标数据组中，在所述目标数据组中得到与所述状态指向信息对应的指向结果信息。

(4)根据所述状态指向信息以及所述指向结果信息，生成所述设备状态列表的列表结构信息和所述设备状态列表的列表参数信息之间的信息配对路径；以所述指向结果信息为参考信息在所述目标数据组中获取每个维度特征信息，根据所述信息配对路径将所述每个维度特征信息加载到所述状态指向信息所在数据组，在所述状态指向信息所在数据组中得到所述每个维度特征信息对应的状态信息。

可以理解，通过上述步骤(1)-步骤(4)，能够根据信息配对路径将确定出的每个维度特征信息加载到所述状态指向信息所在数据组，确定出每个维度特征信息对应的状态信息。如此，能够避免重复确定每个维度特征信息的状态信息，这样可以避免确定出的状态信息的重复从而影响到后续数据同步的效率。

在具体实施时，为了将窗口信息的大小控制在合理范围之内避免云端大数据服务器在向备用服务器发送窗口信息时占用较多的时间片资源，在步骤S22中，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息，具体可以包括以下步骤S221-步骤S225所描述的内容。

步骤S221，确定每个数据侧设备的第一应用数据的数据容量以及各数据编码串；在基于所述数据容量检测出所述每个数据侧设备的第一应用数据中包含有硬编码类别的情况下，根据每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串与每个数据侧设备的第一应用数据在其对应的硬编码类别下的各数据编码串之间的转码逻辑信息。

步骤S222，将每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的与在其对应的硬编码类别下的数据编码串之间的转码逻辑信息对应的转码耗时小于设定时长的数据编码串调整到其对应的硬编码类别下。

步骤S223，如果每个数据侧设备的第一应用数据的与所述硬编码类别相对应的动态编码类别下包含有多个数据编码串，则基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串之间的解码逻辑；按照所述各数据编码串之间的解码逻辑对在与所述硬编码类别相对应的动态编码类别下的各数据编码串进行分组，得到多个数据编码组。

步骤S224，基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息为上述每个数据编码组设置接口优先级，并根据所述接口优先级由大到小的顺序将选择出的至少多个数据编码组调整到每个数据侧设备的第一应用数据所对应的硬编码类别下。

步骤S225，基于每个数据侧设备的第一应用数据在其对应的硬编类别下的数据编码串的容量对每个数据侧设备的第一应用数据进行压缩得到压缩数据，根据将位于设定时段内的压缩数据生成窗口信息；其中，所述设定时段的终止时刻为检测到所述第一数据采集线程处于故障状态的时刻，设定时段的到起始时刻根据云端大数据服务器的配置信息进行预先设置。

可以理解，通过上述步骤S221-步骤S225所描述的内容，能够将窗口信息内的应用数据的数据容量进行精简从而控制窗口信息的大小，避免云端大数据服务器在向备用服务器发送窗口信息时占用较多的时间片资源，这样可以提高云端大数据服务器与备用服务器之间的通信时效性，从而提高后期云端大数据服务器的数据同步的效率。

当云端大数据服务器在重新对数据侧设备进行数据采集时，为了确保数据传输的安全性，需要重新与数据侧设备建立数据采集通道。为此，在一种可替换的实施方式中，步骤S23所描述的通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集，具体可以包括以下步骤S231-步骤S233所描述的内容。

步骤S231，从通信记录清单中确定每个数据侧设备的通信协议，将各个通信协议的协议字段和协议地址列出并建立包括所述协议字段和所述协议地址的通信协议清单；其中，所述通信协议清单为多级子清单，每级子清单对应一个清单序列值，每个清单序列值对应至少一组协议字段和协议地址。

步骤S232，向每个数据侧设备发送数据采集请求并获取每个数据侧设备基于所述数据采集请求反馈的设备校验信息，根据所述通信协议清单对所述设备校验信息进行解密得到每个数据侧设备对应的当前协议接口参数，从所述通信协议清单中提取出与所述当前协议接口参数对应的目标协议字段。

步骤S233，基于所述目标协议字段生成所述云端大数据服务器与所述目标协议字段对应的数据侧设备的链路分布信息，依据所述链路分布信息生成所述云端大数据服务器与每个数据侧设备之间的密钥协议；根据所述密钥协议生成所述云端大数据服务器与每个数据侧设备之间的数据采集通道；其中，依据所述链路分布信息生成所述云端大数据服务器与每个数据侧设备之间的密钥协议，包括：将所述链路分布信息转换为多个信息节点序列；分别生成每个信息节点序列的至少一个序列参数轨迹；获取所述链路分布信息的互不重复的序列参数轨迹构成目标序列参数轨迹集合；将所述目标序列参数轨迹集合中的各个序列参数轨迹对应的轨迹字段映射到所述通信协议清单中，得到所述云端大数据服务器与每个数据侧设备之间的密钥协议。

在上述基础上，请结合参阅图4，提供了一种基于大数据和云计算的数据处理装置210的功能模块框图，关于所述数据处理装置210的描述如下。

A1.一种基于大数据和云计算的数据处理装置，应用于云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述装置包括：

信息缓存模块211，用于在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；

信息发送模块212，用于在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；

采集恢复模块213，用于在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；

数据同步模块214，用于接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。

A2.根据A1所述的数据处理装置，所述数据同步模块214，具体用于：

获取所述状态信息对应的第一时序参量和每段第二应用数据的第一数据标识，确定与所述状态信息对应的第一时序参量和所述每段第二应用数据的第一数据标识对应的第一时序描述值和对应的第二时序描述值；

确定所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值，基于所述对应的第一时序描述值，计算接收到的每段第三应用数据相对于所述状态信息对应的第一时序参量与所述对应的第一应用数据的第三时序描述值之间的匹配率的第四时序描述值；

确定所述每段第二应用数据的第一数据标识对应的第一标识字段信息，基于所述对应的第二时序描述值，计算所述接收到的每段第三应用数据相对于所述每段第二应用数据的第一数据标识与对应的第一标识字段信息的匹配率的相似度值；

基于所述第四时序描述值和所述第二时序描述值中的较小的时序描述值，确定所述状态信息对应的第二时序参量、所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值、每段第二应用数据相对于所述第二时序参量的第二数据标识以及所述第二数据标识对应的第二标识字段信息；

在所述对应的第一应用数据的第三时序描述值与所述对应的第二时序描述值的差值在预设范围内的情况下，根据所述接收到的每段第三应用数据对应的相似度值，将所述第二时序描述值与所述第一时序描述值的差值小于设定值的第二应用数据和第一应用数据进行拼接，或

将所述第四时序描述值与所述第一时序描述值的差值小于所述设定值的第三应用数据和第一应用数据进行拼接。

A3.根据A1所述的数据处理装置，所述信息缓存模块211，具体用于：

确定基于每个数据侧设备的第一应用数据所提取到的多个数据报文集；针对所述多个数据报文集中的当前数据报文集，基于当前数据报文集在所述预设时长内的第一丢包率以及各所述数据报文集在所述预设时长内的第二丢包率，确定当前数据报文集在所述预设时长内的丢包系数；

根据当前数据报文集在两个相邻的所述预设时长内的丢包系数确定当前数据报文集在两个相邻的预设时长之间的丢包变化轨迹；

基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，根据所述网络状态参数生成每个数据侧设备的设备状态列表。

A4.根据A3所述的数据处理装置，所述信息缓存模块211，进一步用于：

在所述丢包变化轨迹中按照丢包率在相邻时刻之间的差值的绝对值由大到小的顺序依次选取当前轨迹变量；从在所述丢包变化轨迹中的排序位置位于当前轨迹变量之前的轨迹变量中，确定参考轨迹变量；

获取所述参考轨迹变量中变量参数的参数状态类别，并依据参数状态类别和网络状态类别之间的映射关系，对当前轨迹变量进行映射以得到当前轨迹变量的网络状态变量；

对所述网络状态变量进行状态参数提取，得到所述网络状态变量对应的变量状态参数；

按照时序依次将所述变量状态参数进行整合，得到所述网络状态参数。

A5.根据A4所述的数据处理装置，所述信息缓存模块211，具体通过以下步骤调整所述预设时长：

周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量；

按照预设比例关系确定与所述实时数量对应的目标时长；

在所述目标时长与所述预设时长相同时，返回周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量的步骤；

在所述目标时长与所述预设时长不相同时，采用所述目标时长替换所述预设时长。

A6.根据A1所述的数据处理装置，所述信息缓存模块211，具体用于：

确定所述设备状态列表的列表结构信息对应的列表结构数据包，获取所述设备状态列表的列表参数信息对应的列表参数数据包；其中，所述列表结构数据包和所述列表参数数据包分别包括多个不同数据优先级的数据组；

提取所述设备状态列表的列表结构信息在所述列表结构数据包的其中一个数据组的状态指向信息，将所述列表参数数据包中具有最小数据优先级的数据组确定为目标数据组；

根据所述设备状态列表的生成时刻将所述状态指向信息加载到所述目标数据组中，在所述目标数据组中得到与所述状态指向信息对应的指向结果信息；

根据所述状态指向信息以及所述指向结果信息，生成所述设备状态列表的列表结构信息和所述设备状态列表的列表参数信息之间的信息配对路径；以所述指向结果信息为参考信息在所述目标数据组中获取每个维度特征信息，根据所述信息配对路径将所述每个维度特征信息加载到所述状态指向信息所在数据组，在所述状态指向信息所在数据组中得到所述每个维度特征信息对应的状态信息。

A7.根据A1所述的数据处理装置，所述信息发送模块212，具体用于：

确定每个数据侧设备的第一应用数据的数据容量以及各数据编码串；在基于所述数据容量检测出所述每个数据侧设备的第一应用数据中包含有硬编码类别的情况下，根据每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串与每个数据侧设备的第一应用数据在其对应的硬编码类别下的各数据编码串之间的转码逻辑信息；

将每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的与在其对应的硬编码类别下的数据编码串之间的转码逻辑信息对应的转码耗时小于设定时长的数据编码串调整到其对应的硬编码类别下；

如果每个数据侧设备的第一应用数据的与所述硬编码类别相对应的动态编码类别下包含有多个数据编码串，则基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串之间的解码逻辑；按照所述各数据编码串之间的解码逻辑对在与所述硬编码类别相对应的动态编码类别下的各数据编码串进行分组，得到多个数据编码组；

基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息为上述每个数据编码组设置接口优先级，并根据所述接口优先级由大到小的顺序将选择出的至少多个数据编码组调整到每个数据侧设备的第一应用数据所对应的硬编码类别下；

基于每个数据侧设备的第一应用数据在其对应的硬编类别下的数据编码串的容量对每个数据侧设备的第一应用数据进行压缩得到压缩数据，根据将位于设定时段内的压缩数据生成窗口信息；其中，所述设定时段的终止时刻为检测到所述第一数据采集线程处于故障状态的时刻，设定时段的到起始时刻根据云端大数据服务器的配置信息进行预先设置。

A8.根据A1所述的数据处理装置，所述采集恢复模块213，具体用于：

从通信记录清单中确定每个数据侧设备的通信协议，将各个通信协议的协议字段和协议地址列出并建立包括所述协议字段和所述协议地址的通信协议清单；其中，所述通信协议清单为多级子清单，每级子清单对应一个清单序列值，每个清单序列值对应至少一组协议字段和协议地址；

向每个数据侧设备发送数据采集请求并获取每个数据侧设备基于所述数据采集请求反馈的设备校验信息，根据所述通信协议清单对所述设备校验信息进行解密得到每个数据侧设备对应的当前协议接口参数，从所述通信协议清单中提取出与所述当前协议接口参数对应的目标协议字段；

基于所述目标协议字段生成所述云端大数据服务器与所述目标协议字段对应的数据侧设备的链路分布信息，依据所述链路分布信息生成所述云端大数据服务器与每个数据侧设备之间的密钥协议；根据所述密钥协议生成所述云端大数据服务器与每个数据侧设备之间的数据采集通道；其中，依据所述链路分布信息生成所述云端大数据服务器与每个数据侧设备之间的密钥协议，包括：将所述链路分布信息转换为多个信息节点序列；分别生成每个信息节点序列的至少一个序列参数轨迹；获取所述链路分布信息的互不重复的序列参数轨迹构成目标序列参数轨迹集合；将所述目标序列参数轨迹集合中的各个序列参数轨迹对应的轨迹字段映射到所述通信协议清单中，得到所述云端大数据服务器与每个数据侧设备之间的密钥协议。

关于上述功能模块的描述请参阅对图2所示的方法的说明，在此不作赘述。

基于同样的发明构思，还提供了一种基于大数据和云计算的数据处理系统，关于所述数据处理系统的功能描述如下。

B1.一种基于大数据和云计算的数据处理系统，包括云端大数据服务器、备用服务器和多个数据侧设备，所述云端大数据服务器与所述备用服务器以及所述多个数据侧设备通信，所述备用服务器与所述多个数据侧设备通信；

所述云端大数据服务器，用于：

在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；

在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；

所述备用服务器用于：

在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；

所述云端大数据服务器，用于：

在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；

所述备用服务器，用于：

在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；

所述云端大数据服务器，用于：

通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集，接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。

B2.根据B1所述的数据处理系统，所述云端大数据服务器，具体用于：

获取所述状态信息对应的第一时序参量和每段第二应用数据的第一数据标识，确定与所述状态信息对应的第一时序参量和所述每段第二应用数据的第一数据标识对应的第一时序描述值和对应的第二时序描述值；

确定所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值，基于所述对应的第一时序描述值，计算接收到的每段第三应用数据相对于所述状态信息对应的第一时序参量与所述对应的第一应用数据的第三时序描述值之间的匹配率的第四时序描述值；

确定所述每段第二应用数据的第一数据标识对应的第一标识字段信息，基于所述对应的第二时序描述值，计算所述接收到的每段第三应用数据相对于所述每段第二应用数据的第一数据标识与对应的第一标识字段信息的匹配率的相似度值；

基于所述第四时序描述值和所述第二时序描述值中的较小的时序描述值，确定所述状态信息对应的第二时序参量、所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值、每段第二应用数据相对于所述第二时序参量的第二数据标识以及所述第二数据标识对应的第二标识字段信息；

在所述对应的第一应用数据的第三时序描述值与所述对应的第二时序描述值的差值在预设范围内的情况下，根据所述接收到的每段第三应用数据对应的相似度值，将所述第二时序描述值与所述第一时序描述值的差值小于设定值的第二应用数据和第一应用数据进行拼接，或

将所述第四时序描述值与所述第一时序描述值的差值小于所述设定值的第三应用数据和第一应用数据进行拼接。

B3.根据B1所述的数据处理系统，所述云端大数据服务器，具体用于：

确定基于每个数据侧设备的第一应用数据所提取到的多个数据报文集；针对所述多个数据报文集中的当前数据报文集，基于当前数据报文集在所述预设时长内的第一丢包率以及各所述数据报文集在所述预设时长内的第二丢包率，确定当前数据报文集在所述预设时长内的丢包系数；

根据当前数据报文集在两个相邻的所述预设时长内的丢包系数确定当前数据报文集在两个相邻的预设时长之间的丢包变化轨迹；

基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，根据所述网络状态参数生成每个数据侧设备的设备状态列表。

B4.根据B3所述的数据处理系统，所述云端大数据服务器，进一步用于：

在所述丢包变化轨迹中按照丢包率在相邻时刻之间的差值的绝对值由大到小的顺序依次选取当前轨迹变量；从在所述丢包变化轨迹中的排序位置位于当前轨迹变量之前的轨迹变量中，确定参考轨迹变量；

获取所述参考轨迹变量中变量参数的参数状态类别，并依据参数状态类别和网络状态类别之间的映射关系，对当前轨迹变量进行映射以得到当前轨迹变量的网络状态变量；

对所述网络状态变量进行状态参数提取，得到所述网络状态变量对应的变量状态参数；

按照时序依次将所述变量状态参数进行整合，得到所述网络状态参数。

B5.根据B4所述的数据处理系统，所述云端大数据服务器，具体通过以下步骤调整所述预设时长：

周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量；

按照预设比例关系确定与所述实时数量对应的目标时长；

在所述目标时长与所述预设时长相同时，返回周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量的步骤；

在所述目标时长与所述预设时长不相同时，采用所述目标时长替换所述预设时长。

B6.根据B1所述的数据处理系统，所述云端大数据服务器，具体用于：

确定所述设备状态列表的列表结构信息对应的列表结构数据包，获取所述设备状态列表的列表参数信息对应的列表参数数据包；其中，所述列表结构数据包和所述列表参数数据包分别包括多个不同数据优先级的数据组；

提取所述设备状态列表的列表结构信息在所述列表结构数据包的其中一个数据组的状态指向信息，将所述列表参数数据包中具有最小数据优先级的数据组确定为目标数据组；

根据所述设备状态列表的生成时刻将所述状态指向信息加载到所述目标数据组中，在所述目标数据组中得到与所述状态指向信息对应的指向结果信息；

根据所述状态指向信息以及所述指向结果信息，生成所述设备状态列表的列表结构信息和所述设备状态列表的列表参数信息之间的信息配对路径；以所述指向结果信息为参考信息在所述目标数据组中获取每个维度特征信息，根据所述信息配对路径将所述每个维度特征信息加载到所述状态指向信息所在数据组，在所述状态指向信息所在数据组中得到所述每个维度特征信息对应的状态信息。

B7.根据B1所述的数据处理系统，所述云端大数据服务器，具体用于：

确定每个数据侧设备的第一应用数据的数据容量以及各数据编码串；在基于所述数据容量检测出所述每个数据侧设备的第一应用数据中包含有硬编码类别的情况下，根据每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串与每个数据侧设备的第一应用数据在其对应的硬编码类别下的各数据编码串之间的转码逻辑信息；

将每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的与在其对应的硬编码类别下的数据编码串之间的转码逻辑信息对应的转码耗时小于设定时长的数据编码串调整到其对应的硬编码类别下；

如果每个数据侧设备的第一应用数据的与所述硬编码类别相对应的动态编码类别下包含有多个数据编码串，则基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串之间的解码逻辑；按照所述各数据编码串之间的解码逻辑对在与所述硬编码类别相对应的动态编码类别下的各数据编码串进行分组，得到多个数据编码组；

基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息为上述每个数据编码组设置接口优先级，并根据所述接口优先级由大到小的顺序将选择出的至少多个数据编码组调整到每个数据侧设备的第一应用数据所对应的硬编码类别下；

基于每个数据侧设备的第一应用数据在其对应的硬编类别下的数据编码串的容量对每个数据侧设备的第一应用数据进行压缩得到压缩数据，根据将位于设定时段内的压缩数据生成窗口信息；其中，所述设定时段的终止时刻为检测到所述第一数据采集线程处于故障状态的时刻，设定时段的到起始时刻根据云端大数据服务器的配置信息进行预先设置。

B8.根据B1所述的数据处理系统，所述云端大数据服务器，具体用于：

从通信记录清单中确定每个数据侧设备的通信协议，将各个通信协议的协议字段和协议地址列出并建立包括所述协议字段和所述协议地址的通信协议清单；其中，所述通信协议清单为多级子清单，每级子清单对应一个清单序列值，每个清单序列值对应至少一组协议字段和协议地址；

向每个数据侧设备发送数据采集请求并获取每个数据侧设备基于所述数据采集请求反馈的设备校验信息，根据所述通信协议清单对所述设备校验信息进行解密得到每个数据侧设备对应的当前协议接口参数，从所述通信协议清单中提取出与所述当前协议接口参数对应的目标协议字段；

基于所述目标协议字段生成所述云端大数据服务器与所述目标协议字段对应的数据侧设备的链路分布信息，依据所述链路分布信息生成所述云端大数据服务器与每个数据侧设备之间的密钥协议；根据所述密钥协议生成所述云端大数据服务器与每个数据侧设备之间的数据采集通道；其中，依据所述链路分布信息生成所述云端大数据服务器与每个数据侧设备之间的密钥协议，包括：将所述链路分布信息转换为多个信息节点序列；分别生成每个信息节点序列的至少一个序列参数轨迹；获取所述链路分布信息的互不重复的序列参数轨迹构成目标序列参数轨迹集合；将所述目标序列参数轨迹集合中的各个序列参数轨迹对应的轨迹字段映射到所述通信协议清单中，得到所述云端大数据服务器与每个数据侧设备之间的密钥协议。

Claims (10)

1.一种基于大数据和云计算的数据处理方法，其特征在于，应用于云端大数据服务器，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述方法包括：

在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；

在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；

在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；

接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。

2.根据权利要求1所述的数据处理方法，其特征在于，根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接，包括：

获取所述状态信息对应的第一时序参量和每段第二应用数据的第一数据标识，确定与所述状态信息对应的第一时序参量和所述每段第二应用数据的第一数据标识对应的第一时序描述值和对应的第二时序描述值；

确定所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值，基于所述对应的第一时序描述值，计算接收到的每段第三应用数据相对于所述状态信息对应的第一时序参量与所述对应的第一应用数据的第三时序描述值之间的匹配率的第四时序描述值；

确定所述每段第二应用数据的第一数据标识对应的第一标识字段信息，基于所述对应的第二时序描述值，计算所述接收到的每段第三应用数据相对于所述每段第二应用数据的第一数据标识与对应的第一标识字段信息的匹配率的相似度值；

基于所述第四时序描述值和所述第二时序描述值中的较小的时序描述值，确定所述状态信息对应的第二时序参量、所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值、每段第二应用数据相对于所述第二时序参量的第二数据标识以及所述第二数据标识对应的第二标识字段信息；

在所述对应的第一应用数据的第三时序描述值与所述对应的第二时序描述值的差值在预设范围内的情况下，根据所述接收到的每段第三应用数据对应的相似度值，将所述第二时序描述值与所述第一时序描述值的差值小于设定值的第二应用数据和第一应用数据进行拼接，或

将所述第四时序描述值与所述第一时序描述值的差值小于所述设定值的第三应用数据和第一应用数据进行拼接。

3.根据权利要求1所述的数据处理方法，其特征在于，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，包括：

确定基于每个数据侧设备的第一应用数据所提取到的多个数据报文集；针对所述多个数据报文集中的当前数据报文集，基于当前数据报文集在所述预设时长内的第一丢包率以及各所述数据报文集在所述预设时长内的第二丢包率，确定当前数据报文集在所述预设时长内的丢包系数；

根据当前数据报文集在两个相邻的所述预设时长内的丢包系数确定当前数据报文集在两个相邻的预设时长之间的丢包变化轨迹；

基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，根据所述网络状态参数生成每个数据侧设备的设备状态列表。

4.根据权利要求3所述的数据处理方法，其特征在于，基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，包括：

在所述丢包变化轨迹中按照丢包率在相邻时刻之间的差值的绝对值由大到小的顺序依次选取当前轨迹变量；从在所述丢包变化轨迹中的排序位置位于当前轨迹变量之前的轨迹变量中，确定参考轨迹变量；

获取所述参考轨迹变量中变量参数的参数状态类别，并依据参数状态类别和网络状态类别之间的映射关系，对当前轨迹变量进行映射以得到当前轨迹变量的网络状态变量；

对所述网络状态变量进行状态参数提取，得到所述网络状态变量对应的变量状态参数；

按照时序依次将所述变量状态参数进行整合，得到所述网络状态参数。

5.根据权利要求4所述的数据处理方法，其特征在于，所述预设时长通过以下步骤进行调整：

周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量；

按照预设比例关系确定与所述实时数量对应的目标时长；

在所述目标时长与所述预设时长相同时，返回周期性地统计与所述云端大数据服务器存在有效连接的数据侧设备的实时数量的步骤；

在所述目标时长与所述预设时长不相同时，采用所述目标时长替换所述预设时长。

6.根据权利要求1所述的数据处理方法，其特征在于，提取所述设备状态列表中的状态信息，包括：

确定所述设备状态列表的列表结构信息对应的列表结构数据包，获取所述设备状态列表的列表参数信息对应的列表参数数据包；其中，所述列表结构数据包和所述列表参数数据包分别包括多个不同数据优先级的数据组；

提取所述设备状态列表的列表结构信息在所述列表结构数据包的其中一个数据组的状态指向信息，将所述列表参数数据包中具有最小数据优先级的数据组确定为目标数据组；

根据所述设备状态列表的生成时刻将所述状态指向信息加载到所述目标数据组中，在所述目标数据组中得到与所述状态指向信息对应的指向结果信息；

根据所述状态指向信息以及所述指向结果信息，生成所述设备状态列表的列表结构信息和所述设备状态列表的列表参数信息之间的信息配对路径；以所述指向结果信息为参考信息在所述目标数据组中获取每个维度特征信息，根据所述信息配对路径将所述每个维度特征信息加载到所述状态指向信息所在数据组，在所述状态指向信息所在数据组中得到所述每个维度特征信息对应的状态信息。

7.根据权利要求1所述的数据处理方法，其特征在于，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息，包括：

确定每个数据侧设备的第一应用数据的数据容量以及各数据编码串；在基于所述数据容量检测出所述每个数据侧设备的第一应用数据中包含有硬编码类别的情况下，根据每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串与每个数据侧设备的第一应用数据在其对应的硬编码类别下的各数据编码串之间的转码逻辑信息；

将每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的与在其对应的硬编码类别下的数据编码串之间的转码逻辑信息对应的转码耗时小于设定时长的数据编码串调整到其对应的硬编码类别下；

如果每个数据侧设备的第一应用数据的与所述硬编码类别相对应的动态编码类别下包含有多个数据编码串，则基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息确定每个数据侧设备的第一应用数据在与所述硬编码类别相对应的动态编码类别下的各数据编码串之间的解码逻辑；按照所述各数据编码串之间的解码逻辑对在与所述硬编码类别相对应的动态编码类别下的各数据编码串进行分组，得到多个数据编码组；

基于每个数据侧设备的第一应用数据在其对应的硬编码类别下的数据编码串及其编码接口信息为上述每个数据编码组设置接口优先级，并根据所述接口优先级由大到小的顺序将选择出的至少多个数据编码组调整到每个数据侧设备的第一应用数据所对应的硬编码类别下；

基于每个数据侧设备的第一应用数据在其对应的硬编类别下的数据编码串的容量对每个数据侧设备的第一应用数据进行压缩得到压缩数据，根据将位于设定时段内的压缩数据生成窗口信息；其中，所述设定时段的终止时刻为检测到所述第一数据采集线程处于故障状态的时刻，设定时段的到起始时刻根据云端大数据服务器的配置信息进行预先设置。

8.一种云端大数据服务器，其特征在于，所述云端大数据服务器与备用服务器以及多个数据侧设备通信，所述备用服务器与多个数据侧设备通信，所述云端大数据服务器用于：

在处于正常运行状态时，依据基于第一数据采集线程在预设时长内采集到的每个数据侧设备的第一应用数据生成每个数据侧设备的设备状态列表，并提取所述设备状态列表中的状态信息，将所述状态信息缓存到第一存储区；其中，所述设备状态列表用于描述所述数据侧设备在与所述云端大数据服务器通信时的网络状态，所述状态信息为所述数据侧设备的网络状态对应的多类特征信息，所述第一应用数据存储在第二存储区，所述第一存储区和所述第二存储区互相隔离；

在检测到所述第一数据采集线程处于故障状态时，根据采集到的每个数据侧设备的第一应用数据生成所述云端大数据服务器的窗口信息并将所述窗口信息发送给所述备用服务器；其中，所述备用服务器在接收到所述窗口信息时解析所述窗口信息得到至少部分第一应用数据，通过第二数据采集线程采集每个数据侧设备的第二应用数据并将所述第二应用数据进行存储；

在检测到所述故障状态检修完成时，响应于所述备用服务器的轮询信息，向所述备用服务器发送确认指令；通过所述第一数据采集线程对每个数据侧设备进行第三应用数据的采集；其中，所述备用服务器在接收到所述确认指令时控制所述第二数据采集线程停止对每个数据侧设备的第二应用数据的采集，并按照采集到的第二应用数据的采集时刻由近到远的顺序将采集到的第二应用数据发送给所述云端大数据服务器；

接收所述备用服务器发送的第二应用数据，并根据所述第一存储区存储的状态信息以及所述第二存储区存储的第一应用数据将所述第一应用数据、所述第二应用数据和所述第三应用数据进行拼接。

9.根据权利要求8所述的云端大数据服务器，其特征在于，所述云端大数据服务器，具体用于：

获取所述状态信息对应的第一时序参量和每段第二应用数据的第一数据标识，确定与所述状态信息对应的第一时序参量和所述每段第二应用数据的第一数据标识对应的第一时序描述值和对应的第二时序描述值；

确定所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值，基于所述对应的第一时序描述值，计算接收到的每段第三应用数据相对于所述状态信息对应的第一时序参量与所述对应的第一应用数据的第三时序描述值之间的匹配率的第四时序描述值；

确定所述每段第二应用数据的第一数据标识对应的第一标识字段信息，基于所述对应的第二时序描述值，计算所述接收到的每段第三应用数据相对于所述每段第二应用数据的第一数据标识与对应的第一标识字段信息的匹配率的相似度值；

基于所述第四时序描述值和所述第二时序描述值中的较小的时序描述值，确定所述状态信息对应的第二时序参量、所述状态信息对应的第一时序参量对应的第一应用数据的第三时序描述值、每段第二应用数据相对于所述第二时序参量的第二数据标识以及所述第二数据标识对应的第二标识字段信息；

在所述对应的第一应用数据的第三时序描述值与所述对应的第二时序描述值的差值在预设范围内的情况下，根据所述接收到的每段第三应用数据对应的相似度值，将所述第二时序描述值与所述第一时序描述值的差值小于设定值的第二应用数据和第一应用数据进行拼接，或

将所述第四时序描述值与所述第一时序描述值的差值小于所述设定值的第三应用数据和第一应用数据进行拼接。

10.根据权利要求8所述的云端大数据服务器，其特征在于，所述云端大数据服务器，具体用于：

确定基于每个数据侧设备的第一应用数据所提取到的多个数据报文集；针对所述多个数据报文集中的当前数据报文集，基于当前数据报文集在所述预设时长内的第一丢包率以及各所述数据报文集在所述预设时长内的第二丢包率，确定当前数据报文集在所述预设时长内的丢包系数；

根据当前数据报文集在两个相邻的所述预设时长内的丢包系数确定当前数据报文集在两个相邻的预设时长之间的丢包变化轨迹；

基于所述丢包变化轨迹确定每个数据侧设备与所述云端大数据服务器在所述预设时长内的网络状态参数，根据所述网络状态参数生成每个数据侧设备的设备状态列表。

Images