CN112231271A - 数据迁移完整性校验方法、装置、设备及计算机可读介质 - Google Patents

Abstract

本申请涉及一种数据迁移完整性校验方法、装置、设备及计算机可读介质。该方法包括：获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；解析目标数据文件和目标数据文件的编码格式，得到解析数据；在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。本申请解决了数据迁移过程中无法保证数据完整性的技术问题。

Description

数据迁移完整性校验方法、装置、设备及计算机可读介质

技术领域

本申请涉及数据迁移技术领域，尤其涉及一种数据迁移完整性校验方法、装置、设备及计算机可读介质。

背景技术

面对用户数量多、流量大的业务数据，服务提供商若仅仅采用一台机器来采集、存储数据，则完全不能满足业务需求，因此需要采用分布式采集系统，采用多台采集机器，在每台采集机器中部署相同的采集程序，所有采集机器一起承担大流量的数据采集。这种分布式采集系统中的每台机器相互之间都是独立的，没有依赖，因此为了最终的业务结算，需要把所有机器采集的数据进行汇总，汇总过程中，数据的完整性难以保障。

目前，相关技术中，为了保障数据搬运的完整性，通常采用周期性上传数据的方法，但是周期性上传数据及仅仅能够保证目标时段有数据上传，而数据传输过程中出现的错误却无法发现，且若系统故障或硬件故障，周期性上传的数据就容易乱序，更无法保证数据的完整性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种数据迁移完整性校验方法、装置、设备及计算机可读介质，以解决数据迁移过程中无法保证数据完整性的技术问题。

根据本申请实施例的一个方面，本申请提供了一种数据迁移完整性校验方法，包括：获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；解析目标数据文件和目标数据文件的编码格式，得到解析数据；在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。

可选地，获取分布式数据采集设备发送的目标数据文件包括：获取日志文件和与日志文件匹配的校验文件，日志文件用于保存分布式数据采集设备采集到的数据，校验文件用于通过密码散列函数对日志文件计算获得的第一散列值，第一散列值用于对日志文件中保存的数据进行数据迁移前后的完整性校验。

可选地，解析目标数据文件和目标数据文件的编码格式，得到解析数据包括以下方式中的至少一种：根据日志文件的编码格式，确定日志文件的第一生成时间，解析数据包括第一生成时间；根据校验文件的编码格式，确定校验文件的第二生成时间，解析数据包括所述第二生成时间；根据日志文件的编码格式，确定日志文件的第一发送设备标识，解析数据包括第一发送设备标识；根据校验文件的编码格式，确定校验文件的第二发送设备标识，解析数据包括第二发送设备标识；确定日志文件的第一数据量信息，并从日志文件的编码格式中确定第二数据量信息，解析数据包括第一数据量信息和第二数据量信息；确定校验文件的第三数据量信息，并从校验文件的编码格式中确定第四数据量信息，解析数据包括第三数据量信息和第四数据量信息。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验包括：在多个第一生成时间组成的第一时间链与目标时间链一致的情况下，确定日志文件通过完整性校验；在多个第二生成时间组成的第二时间链与目标时间链一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验还包括：在多个第一发送设备标识组成的第一标识集合与目标标识集合一致的情况下，确定日志文件通过完整性校验；在多个第二发送设备标识组成的第二标识集合与目标标识集合一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验还包括：在第一数据量与第二数据量一致的情况下，确定日志文件通过完整性校验；在第三数据量与第四数据量一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验还包括：利用密码散列函数确定日志文件的第二散列值；在第二散列值与校验文件中的第一散列值一致的情况下，确定目标数据文件通过完整性校验。

根据本申请实施例的另一方面，本申请提供了一种数据迁移完整性校验装置，包括：数据文件获取模块，用于获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；文件解析模块，用于解析目标数据文件和目标数据文件的编码格式，得到解析数据；文件校验模块，用于在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。

根据本申请实施例的另一方面，本申请提供了一种电子设备，包括存储器、处理器、通信接口及通信总线，存储器中存储有可在处理器上运行的计算机程序，存储器、处理器通过通信总线和通信接口进行通信，处理器执行计算机程序时实现上述方法的步骤。

根据本申请实施例的另一方面，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述的方法。

本申请实施例提供的上述技术方案与相关技术相比具有如下优点：

本申请技术方案为获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；解析目标数据文件和目标数据文件的编码格式，得到解析数据；在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。本申请解决了数据迁移过程中无法保证数据完整性的技术问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例提供的一种可选的数据迁移完整性校验方法硬件环境示意图；

图2为根据本申请实施例提供的一种可选的数据迁移完整性校验方法流程图；

图3为根据本申请实施例提供的一种可选的数据迁移完整性校验装置框图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

相关技术中，为了保障数据搬运的完整性，通常采用周期性上传数据的方法，但是周期性上传数据及仅仅能够保证目标时段有数据上传，而数据传输过程中出现的错误却无法发现，且若系统故障或硬件故障，周期性上传的数据就容易乱序，更无法保证数据的完整性。

为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种数据迁移完整性校验方法的实施例。

可选地，在本申请实施例中，上述数据迁移完整性校验方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101包括但不限于PC、手机、平板电脑等。

本申请实施例中的一种数据迁移完整性校验方法可以由服务器103来执行，还可以是由服务器103和终端101共同执行，如图2所示，该方法可以包括以下步骤：

步骤S202，获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的。

本申请实施例中的数据迁移完整性校验方法可以应用于将数据从分布式数据采集设备迁移至中心盘柜的场景。中心盘柜为挂载有多个存储设备的服务器。

可选地，获取分布式数据采集设备发送的目标数据文件包括：

获取日志文件和与日志文件匹配的校验文件，日志文件用于保存分布式数据采集设备采集到的数据，校验文件用于通过密码散列函数对日志文件计算获得的第一散列值，第一散列值用于对日志文件中保存的数据进行数据迁移前后的完整性校验。

分布式数据采集设备在采集数据时，可以每间隔第一时长截取一次数据，第一时长可以是5分钟，还可以根据实际需要进行设置。截取数据可以是在Linux定时任务中设置每5分钟一次切割程序log_cut.sh。每次截取到的数据生成以时间为序的日志文件，并可以采用密码散列函数计算出日志文件的散列值，将散列值保存在校验文件中。

日志文件和校验文件的命名格式可以按照目标编码格式命名，所述目标编码格式可以是log_IP_port_time.processid.log.size.gz。其中，IP用于指示采集该文件数据的数据采集设备的IP地址，port用于表示数据采集所使用的端口，time用于表示生成该文件的时间，processid用于表示采集数据的进程号，size用于表示该文件的大小。

步骤S204，解析目标数据文件和目标数据文件的编码格式，得到解析数据。

本申请实施例中，中心盘柜在接收到分布式数据采集设备发送的日志文件和校验文件后，可以对日志文件、校验文件及二者的文件名进行解析。

可选地，解析目标数据文件和目标数据文件的编码格式，得到解析数据包括以下方式中的至少一种：

根据日志文件的编码格式，确定日志文件的第一生成时间，解析数据包括第一生成时间；

根据校验文件的编码格式，确定校验文件的第二生成时间，解析数据包括所述第二生成时间；

根据日志文件的编码格式，确定日志文件的第一发送设备标识，解析数据包括第一发送设备标识；

根据校验文件的编码格式，确定校验文件的第二发送设备标识，解析数据包括第二发送设备标识；

确定日志文件的第一数据量信息，并从日志文件的编码格式中确定第二数据量信息，解析数据包括第一数据量信息和第二数据量信息；

确定校验文件的第三数据量信息，并从校验文件的编码格式中确定第四数据量信息，解析数据包括第三数据量信息和第四数据量信息。

本申请实施例中，可以从日志文件的文件名中确定该日志文件的生成时间，即截取时间；采集设备的IP地址，即第一发送设备标识；数据迁移前日志文件的大小，即第二数据量信息。可以从校验文件的定该校验文件的生成时间；生成该校验文件的设备的互联网协议地址(IP地址)，即第二发送设备标识；数据迁移前校验文件的大小，即第四数据量信息。还可以直接利用接收到的日志文件确定数据迁移后该日志文件的实际大小，即第一数据量信息，直接利用接收到的校验文件确定数据迁移后的该校验文件的实际大小，即第三数据量信息。

步骤S206，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验包括：

在多个第一生成时间组成的第一时间链与目标时间链一致的情况下，确定日志文件通过完整性校验；在多个第二生成时间组成的第二时间链与目标时间链一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

本申请实施例中，上述目标时间链为分布式数据采集设备从第一次截取数据至最后一次截取数据的完整时间链，因此可以将接收到的日志文件、校验文件的生成时间(截取时间)链成时间链，得到上述完整时间链时可以确定所有截取的数据已经接收到，文件完整。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验还包括：

在多个第一发送设备标识组成的第一标识集合与目标标识集合一致的情况下，确定日志文件通过完整性校验；在多个第二发送设备标识组成的第二标识集合与目标标识集合一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

本申请实施例中，上述目标标识集合为所有实际运行的分布式数据采集设备的IP地址集合，因此可以将所有接收到的日志文件、校验文件的生成设备的IP地址组成集合，该集合中包含所有实际运行的分布式数据采集设备的IP地址的情况下，可以确定所有分布式数据采集设备发送的数据已经接收到，文件完整。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验还包括：

在第一数据量与第二数据量一致的情况下，确定日志文件通过完整性校验；在第三数据量与第四数据量一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

本申请实施例中，上述第一数据量为数据迁移后日志文件的实际大小，第二数据量为日志文件命名中记载的该日志文件数据迁移前的文件大小，因此可以对比该日志文件数据迁移前后的文件大小，若大小一致，则可以确定该日志文件完整。上述第三数据量为数据迁移后校验文件的实际大小，第四数据量为校验文件命名中记载的该校验文件数据迁移前的文件大小，因此可以对比该校验文件数据迁移前后的文件大小，若大小一致，则可以确定该校验文件完整。

可选地，在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验还包括：

利用密码散列函数确定日志文件的第二散列值；在第二散列值与校验文件中的第一散列值一致的情况下，确定目标数据文件通过完整性校验。

本申请实施例中，可以利用密码散列函数如md5算法等来计算数据迁移前后的散列值，上述第一散列值为校验文件中记载的该日志文件数据迁移前的散列值，上述第二散列值为中心盘柜对接收到的该日志文件进行散列计算得到的散列值，可以对比数据迁移前后该日志文件的散列值，散列值一致，则表明该日志文件的数据没有发生改变，文件完整。在计算日志文件的散列值之前，还可以检查密码散列函数的正确性。

可选地，若检测到日志文件缺失，例如个别设备没有发送文件数据的情况下，中心盘柜通知该设备补传文件。文件缺失的原因可能时网络连接不稳定等。当补传文件后文件仍旧缺失的情况，则生成报警信息，以向工作人员发出人供排查提示。在极少数文件缺失的情况下，还可以忽略缺失文件，因为在对海量数据的分析时，极少数的文件缺失造成的影响几乎可以忽略不计。

本申请技术方案为获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；解析目标数据文件和目标数据文件的编码格式，得到解析数据；在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。本申请解决了数据迁移过程中无法保证数据完整性的技术问题。

根据本申请实施例的又一方面，如图3所示，提供了一种数据迁移完整性校验装置，包括：数据文件获取模块301，用于获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；文件解析模块303，用于解析目标数据文件和目标数据文件的编码格式，得到解析数据；文件校验模块305，用于在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。

需要说明的是，该实施例中的数据文件获取模块301可以用于执行本申请实施例中的步骤S202，该实施例中的文件解析模块303可以用于执行本申请实施例中的步骤S204，该实施例中的文件校验模块305可以用于执行本申请实施例中的步骤S206。

此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。

可选地，该数据文件获取模块，具体用于：获取日志文件和与日志文件匹配的校验文件，日志文件用于保存分布式数据采集设备采集到的数据，校验文件用于通过密码散列函数对日志文件计算获得的第一散列值，第一散列值用于对日志文件中保存的数据进行数据迁移前后的完整性校验。

可选地，该文件解析模块，具体用于：根据日志文件的编码格式，确定日志文件的第一生成时间，解析数据包括第一生成时间；根据校验文件的编码格式，确定校验文件的第二生成时间，解析数据包括所述第二生成时间；根据日志文件的编码格式，确定日志文件的第一发送设备标识，解析数据包括第一发送设备标识；根据校验文件的编码格式，确定校验文件的第二发送设备标识，解析数据包括第二发送设备标识；确定日志文件的第一数据量信息，并从日志文件的编码格式中确定第二数据量信息，解析数据包括第一数据量信息和第二数据量信息；确定校验文件的第三数据量信息，并从校验文件的编码格式中确定第四数据量信息，解析数据包括第三数据量信息和第四数据量信息。

可选地，该文件校验模块，具体用于：在多个第一生成时间组成的第一时间链与目标时间链一致的情况下，确定日志文件通过完整性校验；在多个第二生成时间组成的第二时间链与目标时间链一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

可选地，该文件校验模块，还用于：在多个第一发送设备标识组成的第一标识集合与目标标识集合一致的情况下，确定日志文件通过完整性校验；在多个第二发送设备标识组成的第二标识集合与目标标识集合一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

可选地，该文件校验模块，还用于：在第一数据量与第二数据量一致的情况下，确定日志文件通过完整性校验；在第三数据量与第四数据量一致的情况下，确定校验文件通过完整性校验；在日志文件和校验文件均通过完整性校验的情况下，确定目标数据文件通过完整性校验。

可选地，该文件校验模块，还用于：利用密码散列函数确定日志文件的第二散列值；在第二散列值与校验文件中的第一散列值一致的情况下，确定目标数据文件通过完整性校验。

根据本申请实施例的另一方面，本申请提供了一种电子设备，如图4所示，包括存储器401、处理器403、通信接口405及通信总线407，存储器401中存储有可在处理器403上运行的计算机程序，存储器401、处理器403通过通信接口405和通信总线407进行通信，处理器403执行计算机程序时实现上述方法的步骤。

上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。

可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行以下步骤的程序代码：

获取分布式数据采集设备发送的目标数据文件，目标数据文件为分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；

解析目标数据文件和目标数据文件的编码格式，得到解析数据；

在解析数据指示目标数据文件满足校验条件的情况下，确定目标数据文件通过完整性校验。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据迁移完整性校验方法，其特征在于，包括：

获取分布式数据采集设备发送的目标数据文件，其中，所述目标数据文件为所述分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；

解析所述目标数据文件和所述目标数据文件的编码格式，得到解析数据；

在所述解析数据指示所述目标数据文件满足校验条件的情况下，确定所述目标数据文件通过完整性校验。

2.根据权利要求1所述的方法，其特征在于，获取分布式数据采集设备发送的目标数据文件包括：

获取日志文件和与所述日志文件匹配的校验文件，其中，所述日志文件用于保存所述分布式数据采集设备采集到的数据，所述校验文件用于保存通过密码散列函数对所述日志文件计算获得的第一散列值，所述第一散列值用于对所述日志文件中保存的数据进行数据迁移前后的完整性校验。

3.根据权利要求2所述的方法，其特征在于，解析所述目标数据文件和所述目标数据文件的编码格式，得到解析数据包括以下方式中的至少一种：

根据所述日志文件的编码格式，确定所述日志文件的第一生成时间，其中，所述解析数据包括所述第一生成时间；

根据所述校验文件的编码格式，确定所述校验文件的第二生成时间，其中，所述解析数据包括所述第二生成时间；

根据所述日志文件的编码格式，确定所述日志文件的第一发送设备标识，其中，所述解析数据包括所述第一发送设备标识；

根据所述校验文件的编码格式，确定所述校验文件的第二发送设备标识，其中，所述解析数据包括所述第二发送设备标识；

确定所述日志文件的第一数据量信息，并从所述日志文件的编码格式中确定第二数据量信息，其中，所述解析数据包括所述第一数据量信息和所述第二数据量信息；

确定所述校验文件的第三数据量信息，并从所述校验文件的编码格式中确定第四数据量信息，其中，所述解析数据包括所述第三数据量信息和所述第四数据量信息。

4.根据权利要求3所述的方法，其特征在于，在所述解析数据指示所述目标数据文件满足校验条件的情况下，确定所述目标数据文件通过完整性校验包括：

在多个所述第一生成时间组成的第一时间链与目标时间链一致的情况下，确定所述日志文件通过完整性校验；

在多个所述第二生成时间组成的第二时间链与所述目标时间链一致的情况下，确定所述校验文件通过完整性校验；

在所述日志文件和所述校验文件均通过完整性校验的情况下，确定所述目标数据文件通过完整性校验。

5.根据权利要求4所述的方法，其特征在于，在所述解析数据指示所述目标数据文件满足校验条件的情况下，确定所述目标数据文件通过完整性校验还包括：

在多个所述第一发送设备标识组成的第一标识集合与目标标识集合一致的情况下，确定所述日志文件通过完整性校验；

在多个所述第二发送设备标识组成的第二标识集合与所述目标标识集合一致的情况下，确定所述校验文件通过完整性校验；

在所述日志文件和所述校验文件均通过完整性校验的情况下，确定所述目标数据文件通过完整性校验。

6.根据权利要求5所述的方法，其特征在于，在所述解析数据指示所述目标数据文件满足校验条件的情况下，确定所述目标数据文件通过完整性校验还包括：

在所述第一数据量与所述第二数据量一致的情况下，确定所述日志文件通过完整性校验；

在所述第三数据量与所述第四数据量一致的情况下，确定所述校验文件通过完整性校验；

在所述日志文件和所述校验文件均通过完整性校验的情况下，确定所述目标数据文件通过完整性校验。

7.根据权利要求2至6任一所述的方法，其特征在于，在所述解析数据指示所述目标数据文件满足校验条件的情况下，确定所述目标数据文件通过完整性校验还包括：

利用所述密码散列函数确定所述日志文件的第二散列值；

在所述第二散列值与所述校验文件中的所述第一散列值一致的情况下，确定所述目标数据文件通过完整性校验。

8.一种数据迁移完整性校验装置，其特征在于，包括：

数据文件获取模块，用于获取分布式数据采集设备发送的目标数据文件，其中，所述目标数据文件为所述分布式数据采集设备采集数据时按照目标编码格式进行编码得到的；

文件解析模块，用于解析所述目标数据文件和所述目标数据文件的编码格式，得到解析数据；

文件校验模块，用于在所述解析数据指示所述目标数据文件满足校验条件的情况下，确定所述目标数据文件通过完整性校验。

9.一种电子设备，包括存储器、处理器、通信接口及通信总线，所述存储器中存储有可在所述处理器上运行的计算机程序，所述存储器、所述处理器通过所述通信总线和所述通信接口进行通信，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一所述方法。

Images