CN115168349A - 物流数据一致性处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及物流领域，公开了一种物流数据一致性处理方法、装置、设备及存储介质，用于提高数据处理效率。物流数据一致性处理方法包括：获取待进行一致性处理的目标物流报表，目标物流报表包括至少一个检查标记，检查标记用于标注存在一致性问题的数据，根据至少一个检查标记从目标物流报表中筛选出至少一个待处理数据，并查找至少一个待处理数据的引用文件，得到至少一个源数据报表，根据预置的检测规则对至少一个源数据报表和目标物流报表进行检测，得到检测结果，检测结果指示目标物流报表中数据不一致的异常类型，检测规则包括传输环境、表结构和表数据的检测，根据检测结果执行相应的操作更新目标物流报表。

Description

物流数据一致性处理方法、装置、设备及存储介质

技术领域

本发明涉及物流领域，尤其涉及一种物流数据一致性处理方法、装置、设备及存储介质。

背景技术

在物流运输过程中会产生大量数据，物流数据是记录物流活动的依据，为对物流质量、运输效率、客户画像等进行评估，需要调用不同对象的相关数据进行采集和分析。

在数据采集或数据分析时，经常发现基于同一对象采集到的数据与被采集的数据呈现不一致的现象，例如，运输前端记录的发往运输后端的快递信息和采集到的运输前端发出的快递信息不一致，导致在对前端进行分析时受到错误数据的干扰。由于物流数据的数据量巨大，较小的异常率也意味着存在很多异常数据，此时数据分析的结果难以作为指导依据，需要分析人员花费大量时间和精力校验数据，数据处理效率低。

发明内容

本发明的主要目的在于提供一种物流数据一致性处理方法、装置、设备及存储介质，用于解决低效处理不一致数据的问题，提高数据处理效率。

本发明第一方面提供了一种物流数据一致性处理方法，包括：获取待进行一致性处理的目标物流报表，所述目标物流报表包括至少一个检查标记，所述检查标记用于标注存在一致性问题的数据；根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据，并查找所述至少一个待处理数据的引用文件，得到至少一个源数据报表；根据预置的检测规则对所述至少一个源数据报表和所述目标物流报表进行检测，得到检测结果，所述检测结果指示所述目标物流报表中数据不一致的异常类型，所述检测规则包括传输环境、表结构和表数据的检测；根据所述检测结果执行相应的操作更新所述目标物流报表。

可选的，在本发明第一方面的第一种实现方式中，所述根据预置的检测规则对所述至少一个源数据报表和所述目标物流报表进行检测，得到检测结果，所述检测结果指示所述目标物流报表中数据不一致的异常类型，所述检测规则包括传输环境、表结构和表数据的检测，包括：逐一检测所述目标物流报表与所述至少一个源数据报表中每个源数据报表之间的传输环境是否满足数据传输需求，所述传输环境包括每个源数据报表所属服务器、所述目标物流报表所属服务器与每个源数据报表所属服务器的接口、数据传输脚本和语言扩展包；判断是否存在传输环境不满足数据传输需求的情况，若存在，则将传输环境异常确定为第一检测结果，并记录环境异常信息，所述环境异常信息包括异常传输环境对应的源数据报表以及异常源；判断是否存在传输环境无异常的源数据报表，若存在，则将所述传输环境无异常的源数据报表与所述目标物流报表进行比对，得到第二检测结果，并记录比对异常信息，所述比对异常信息包括比对结果为不同的源数据报表和异常类型，所述异常类型包括表结构异常和表数据异常。

可选的，在本发明第一方面的第二种实现方式中，所述判断是否存在传输环境无异常的源数据报表，若存在，则将所述传输环境无异常的源数据报表与所述目标物流报表进行比对，得到第二检测结果，并记录比对异常信息，所述比对异常信息包括比对结果为不同的源数据报表和异常类型，所述异常类型包括表结构异常和表数据异常，包括：判断是否存在传输环境无异常的源数据报表，若存在，则将传输环境无异常的源数据报表和所述目标物流报表中具有引用关系的区域进行表结构和表数据的比对，得到至少一个表结构比对结果和至少一个表数据比对结果，所述表结构包括列数量、列顺序、列字段名和关联字段，所述表数据包括订单信息、客户信息、网点信息或快递物流信息中的至少一种；筛选出表结构比对结果为不同的源数据报表和表数据比对结果为不同的源数据报表，将源数据报表的表结构存在异常或源数据报表的表数据存在异常中的至少一种确定为第二检测结果，并记录比对结果为不同的源数据报表信息和异常类型。

可选的，在本发明第一方面的第三种实现方式中，所述根据所述检测结果执行相应的操作更新所述目标物流报表，包括：若所述检测结果为传输环境异常，则发送传输环境调整指令；若所述检测结果为源数据报表的表结构存在异常，则发送表结构确认指令；若所述检测结果为源数据报表的表数据存在异常，则发送表数据确认指令；接收反馈的信息，并根据所述反馈的信息更新所述目标物流报表。

可选的，在本发明第一方面的第四种实现方式中，所述根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据，并查找所述至少一个待处理数据的引用文件，得到至少一个源数据报表，包括：根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据；将所述至少一个待处理数据进行分组，得到至少一个数据组，每个数据组中的数据来自一个引用文件；查询所述至少一个数据组中每个数据组的引用文件，得到至少一个源数据报表。

可选的，在本发明第一方面的第五种实现方式中，在根据所述检测结果执行相应的操作更新所述目标物流报表之后，还包括：对更新后的数据进行一致性分析。

可选的，在本发明第一方面的第六种实现方式中，所述对更新后的数据进行一致性分析，包括：将更新后的目标物流报表确定为初始物流报表，获取所述初始物流报表对应的至少一个初始源数据报表；解析所述至少一个初始源数据报表中目标初始源数据报表相关联的至少一个下游端，所述下游端为在物流运输过程中物流数据相关联的后续站点；获取所述至少一个下游端中基于所述目标初始源数据报表计算得到的至少一份统计数据，判断所述至少一份统计数据与所述目标初始源数据报表之间是否存在数据冲突的问题；若存在，则通过所述至少一个下游端发出数据一致性处理指令。

本发明第二方面提供了一种物流数据一致性处理装置，包括：获取模块，用于获取待进行一致性处理的目标物流报表，所述目标物流报表包括至少一个检查标记，所述检查标记用于标注存在一致性问题的数据；查找模块，用于根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据，并查找所述至少一个待处理数据的引用文件，得到至少一个源数据报表；检测模块，用于根据预置的检测规则对所述至少一个源数据报表和所述目标物流报表进行检测，得到检测结果，所述检测结果指示所述目标物流报表中数据不一致的异常类型，所述检测规则包括传输环境、表结构和表数据的检测；更新模块，用于根据所述检测结果执行相应的操作更新所述目标物流报表。

可选的，在本发明第二方面的第一种实现方式中，所述检测模块包括：检测单元，逐一检测所述目标物流报表与所述至少一个源数据报表中每个源数据报表之间的传输环境是否满足数据传输需求，所述传输环境包括每个源数据报表所属服务器、所述目标物流报表所属服务器与每个源数据报表所属服务器的接口、数据传输脚本和语言扩展包；第一判断单元，判断是否存在传输环境不满足数据传输需求的情况，若存在，则将传输环境异常确定为第一检测结果，并记录环境异常信息，所述环境异常信息包括异常传输环境对应的源数据报表以及异常源；第二判断单元，判断是否存在传输环境无异常的源数据报表，若存在，则将所述传输环境无异常的源数据报表与所述目标物流报表进行比对，得到第二检测结果，并记录比对异常信息，所述比对异常信息包括比对结果为不同的源数据报表和异常类型，所述异常类型包括表结构异常和表数据异常。

可选的，在本发明第二方面的第二种实现方式中，所述第二判断单元具体用于：判断是否存在传输环境无异常的源数据报表，若存在，则将传输环境无异常的源数据报表和所述目标物流报表中具有引用关系的区域进行表结构和表数据的比对，得到至少一个表结构比对结果和至少一个表数据比对结果，所述表结构包括列数量、列顺序、列字段名和关联字段，所述表数据包括订单信息、客户信息、网点信息或快递物流信息中的至少一种；筛选出表结构比对结果为不同的源数据报表和表数据比对结果为不同的源数据报表，将源数据报表的表结构存在异常或源数据报表的表数据存在异常中的至少一种确定为第二检测结果，并记录比对结果为不同的源数据报表信息和异常类型。

可选的，在本发明第二方面的第三种实现方式中，所述更新模块具体用于：若所述检测结果为传输环境异常，则发送传输环境调整指令；若所述检测结果为源数据报表的表结构存在异常，则发送表结构确认指令；若所述检测结果为源数据报表的表数据存在异常，则发送表数据确认指令；接收反馈的信息，并根据所述反馈的信息更新所述目标物流报表。

可选的，在本发明第二方面的第四种实现方式中，所述查找模块具体用于：根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据；将所述至少一个待处理数据进行分组，得到至少一个数据组，每个数据组中的数据来自一个引用文件；查询所述至少一个数据组中每个数据组的引用文件，得到至少一个源数据报表。

可选的，在本发明第二方面的第五种实现方式中，在所述更新模块之后，还包括分析模块，用于对更新后的数据进行一致性分析。

可选的，在本发明第二方面的第六种实现方式中，所述分析模块具体用于：将更新后的目标物流报表确定为初始物流报表，获取所述初始物流报表对应的至少一个初始源数据报表；解析所述至少一个初始源数据报表中目标初始源数据报表相关联的至少一个下游端，所述下游端为在物流运输过程中物流数据相关联的后续站点；获取所述至少一个下游端中基于所述目标初始源数据报表计算得到的至少一份统计数据，判断所述至少一份统计数据与所述目标初始源数据报表之间是否存在数据冲突的问题；若存在，则通过所述至少一个下游端发出数据一致性处理指令。

本发明第三方面提供了一种物流数据一致性处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述物流数据一致性处理设备执行上述的物流数据一致性处理方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的物流数据一致性处理方法。

本发明提供的技术方案中，获取待进行一致性处理的目标物流报表，所述目标物流报表包括至少一个检查标记，所述检查标记用于标注存在一致性问题的数据；根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据，并查找所述至少一个待处理数据的引用文件，得到至少一个源数据报表；根据预置的检测规则对所述至少一个源数据报表和所述目标物流报表进行检测，得到检测结果，所述检测结果指示所述目标物流报表中数据不一致的异常类型，所述检测规则包括传输环境、表结构和表数据的检测；根据所述检测结果执行相应的操作更新所述目标物流报表。本发明实施例中，按照检测规则对数据进行检测并判断数据的异常类型，再根据异常类型来执行对应操作更新数据，不仅可以避免遗漏检测内容，还能提高处理数据的效率。

附图说明

图1为本发明实施例中物流数据一致性处理方法的一个实施例示意图；

图2为本发明实施例中物流数据一致性处理方法的另一个实施例示意图；

图3为本发明实施例中物流数据一致性处理装置的一个实施例示意图；

图4为本发明实施例中物流数据一致性处理装置的另一个实施例示意图；

图5为本发明实施例中物流数据一致性处理设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种物流数据一致性处理方法、装置、设备及存储介质，用于按照导致数据不一致的可能性条件对存在一致性问题的数据进行分析，经过检测后得到数据的异常类型，根据异常类型执行相应操作，能快速更新数据，提高数据的处理效率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，可以理解的是，本发明的执行主体可以为物流数据一致性处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

请参阅图1，本发明实施例中物流数据一致性处理方法的一个实施例包括：

101、获取待进行一致性处理的目标物流报表，目标物流报表包括至少一个检查标记，检查标记用于标注存在一致性问题的数据；

服务器可以监测到目标物流报表中存在数据需进行一致性处理的场景有两个，一个场景是在数据采集中发现同一个数据表前后被采集的数据属性发生改变，采集器为属性发生变化的数据添加检查标记，数据属性包括数据列对应的列数量、列字段名、数据列顺序和数据的类型，采集数据可通过脚本或订阅系统完成；另一个场景是在数据分析中发现物流后端与前端针对同一个主体的数据存在冲突，为后端存在冲突的数据添加检查标记。检查标记可以为文字批注或颜色标注，优选地，服务器将目标物流报表中位置相邻且采集于同一份文件的异常数据的至少两个检查标记进行合并，即目标物流报表中位置相邻且采集于同一份文件的异常数据共用一个检查标记。采集器向服务器发送数据一致性处理指令，服务器接收到指令后，获取指令指示存储位置的物流报表。

例如，数据表1记录了2020年3月7日-2020年3月14日的物流数据，数据表1中包含“订单号”、“货物名称”、“重量”三列，其中，“订单号”列的数据类型为整数，“货物名称”列的数据类型为字符串，“重量”列的数据类型为浮点数。服务器获取数据表1中2020年3月8日“订单号”列的数据并写入采集表中，发现获取的数据中有两个数据为浮点型，而非预定义的整数型，因此将这两个浮点型数据进行标注，将采集表作为目标物流报表。

数据表2记录了2020年3月7日物流网点A发出的快递信息，数据表3记录了2020年3月7日物流网点B收到的来自物流网点A的快递信息，数据表4记录了2020年3月7日物流网点C收到的来自物流网点A的快递信息，将数据表2、数据表3和数据表4中的数据进行采集写入分析表，经统计，物流网点A发往物流网点B的快递包裹数量为40、发往物流网点C的快递包裹数量为80，物流网点B记录接收到网点A发送的快递包裹数量为38，物流网点C记录接收到网点A发送的快递包裹数量为82，表3和表4中记录的数据都与数据表2中记录的数据存在冲突，将38和82进行标注，将分析表作为目标物流报表。

102、根据至少一个检查标记从目标物流报表中筛选出至少一个待处理数据，并查找至少一个待处理数据的引用文件，得到至少一个源数据报表；

服务器根据目标物流报表中的检查标记查询到至少一个待处理数据，若目标物流报表中存在位置相邻且采集于同一份文件的异常数据共用一个检查标记的情况，则通过一个共用检查标记获得的是一个待处理数据序列。

服务器查询每个待处理数据和每个待处理数据序列的采集来源文件，即源数据报表，如果查询到重复的源数据报表，只保留最初查询到的那份源数据报表。源数据报表来自上游端的数据服务器，上游端服务器为提供数据的服务器，下游端服务器为采集数据的服务器。

例如，目标物流报表中有4个查询标记，对应3个待处理数据和1个待处理数据序列，3个待处理数据的采集来源文件为源数据报表1、源数据报表2和源数据报表3，1个待处理数据序列的采集来源文件为源数据报表2，因此得到的源数据报表为源数据报表1、源数据报表2和源数据报表3。

103、根据预置的检测规则对至少一个源数据报表和目标物流报表进行检测，得到检测结果，检测结果指示目标物流报表中数据不一致的异常类型，检测规则包括传输环境、表结构和表数据的检测；

其中，检测规则包含三个部分，第一个部分为检测传输环境，传输环境主要包括每个源数据报表所在的服务器、每个源数据报表所在服务器与目标物流报表所在服务器接口、传输网络、数据传输脚本和语言扩展包，每个系统的传输环境各有不同，系统设置越复杂，传输环境包含的内容越多；第二个部分为检测源数据报表与目标物流报表的表结构，表结构主要包括列数量、列顺序、列字段名和关联字段；第三个部分为检测源数据报表与目标物流报表的表数据，表数据包括订单信息、客户信息、网点信息或快递物流信息中的至少一种。服务器根据预置的检测规则进行检测，得到检测结果，检测结果为传输环境异常、源数据报表的表结构异常和源数据报表的表数据异常中的至少一种。

104、根据检测结果执行相应的操作更新目标物流报表。

当检测结果为传输环境异常时，服务器发送传输环境调整指令给第一管理终端；当检测结果为源数据报表的表结构存在异常时，服务器发送表结构确认指令给第二管理终端；当检测结果为源数据报表的表数据存在异常时，服务器发送表数据确认指令给第三管理终端。

第一管理终端处理存在的环境异常，包括打开关闭的服务器和服务器之间的接口、在目标物流报表所在服务器安装与源数据报表所在服务器相同的语言包和扩展包、修复自动脚本、修复网络，处理完毕后向服务器反馈环境更新信息；第二管理终端确认源数据报表的表结构，若确认源数据报表的表结构无异常，则向服务器反馈无结构异常信息；若确认源数据报表的表结构有异常，则第二管理终端对源数据报表进行更新，并向服务器反馈源数据报表的更新信息；第三管理终端确认源数据报表的表数据，若确认源数据报表的表数据无异常，则向服务器反馈无数据异常信息；若确认源数据报表的表数据有异常，则第三管理终端对源数据报表进行更新，并向服务器反馈源数据报表的更新信息。

服务器接收反馈的信息，若存在环境更新信息或源数据报表的更新信息，则重新获取源数据报表的数据，更新目标物流报表。

本发明实施例中，查找异常数据的采集来源，根据检测规则对异常数据的类型进行判断，不仅可以避免疏忽遗漏导致的无法查出源数据报表的异常点，还可以提高数据处理的效率。

请参阅图2，本发明实施例中物流数据一致性处理方法的另一个实施例包括：

201、获取待进行一致性处理的目标物流报表，目标物流报表包括至少一个检查标记，检查标记用于标注存在一致性问题的数据；

服务器可以监测到目标物流报表中存在数据需进行一致性处理的场景有两个，一个场景是在数据采集中发现同一个数据表前后被采集的数据属性发生改变，采集器为属性发生变化的数据添加检查标记，数据属性包括数据列对应的列数量、列字段名、数据列顺序和数据的类型，采集数据可通过脚本或订阅系统完成；另一个场景是在数据分析中发现物流后端与前端针对同一个主体的数据存在冲突，为后端存在冲突的数据添加检查标记。检查标记可以为文字批注或颜色标注，优选地，服务器将目标物流报表中位置相邻且采集于同一份文件的异常数据的至少两个检查标记进行合并，即目标物流报表中位置相邻且采集于同一份文件的异常数据共用一个检查标记。采集器向服务器发送数据一致性处理指令，服务器接收到指令后，获取指令指示存储位置的物流报表。

例如，数据表1记录了2020年3月7日-2020年3月14日的物流数据，数据表1中包含“订单号”、“货物名称”、“重量”三列，其中，“订单号”列的数据类型为整数，“货物名称”列的数据类型为字符串，“重量”列的数据类型为浮点数。服务器获取数据表1中2020年3月8日“订单号”列的数据并写入采集表中，发现获取的数据中有两个数据为浮点型，而非预定义的整数型，因此将这两个浮点型数据进行标注，将采集表作为目标物流报表。

数据表2记录了2020年3月7日物流网点A发出的快递信息，数据表3记录了2020年3月7日物流网点B收到的来自物流网点A的快递信息，数据表4记录了2020年3月7日物流网点C收到的来自物流网点A的快递信息，将数据表2、数据表3和数据表4中的数据进行采集写入分析表，经统计，物流网点A发往物流网点B的快递包裹数量为40、发往物流网点C的快递包裹数量为80，物流网点B记录接收到网点A发送的快递包裹数量为38，物流网点C记录接收到网点A发送的快递包裹数量为82，表3和表4中记录的数据都与数据表2中记录的数据存在冲突，将38和82进行标注，将分析表作为目标物流报表。

202、根据至少一个检查标记从目标物流报表中筛选出至少一个待处理数据，并查找至少一个待处理数据的引用文件，得到至少一个源数据报表；

服务器根据至少一个检查标记从目标物流报表中筛选出至少一个待处理数据，将至少一个待处理数据进行分组，得到至少一个数据组，每个数据组中的数据来自一个引用文件，查询至少一个数据组中每个数据组的引用文件，得到至少一个源数据报表。

例如，目标物流报表中有30个检查标记，其中，有10个检查标记标注的数据来自源数据报表1，15个检查标记标注的数据来自源数据报表2，5个检查标记标注的数据来自源数据报表3，得到源数据报表1、源数据报表2和源数据报表3总共3个源数据报表。

203、逐一检测目标物流报表与至少一个源数据报表中每个源数据报表之间的传输环境是否满足数据传输需求，传输环境包括每个源数据报表所属服务器、目标物流报表所属服务器与每个源数据报表所属服务器的接口、数据传输脚本和语言扩展包；

在此提供一种检查传输环境的方式：

1)检查源数据报表所在的服务器是否正常开启，若没有正常开启，则开启源数据报表所在的服务器；

2)检查源数据报表所在的服务器与目标物流报表所在的服务器之间的接口是否正常连接，若未正常连接，则对接口进行检查；

3)检查检查源数据报表所在的服务器与目标物流报表所在的服务器之间的网络是否存在断开或抖动，若存在，则修复网络；

4)检查目标物流报表所在的服务器的采集脚本和运行脚本是否正常工作，若未正常工作，则将采集脚本和运行脚本进行调试或者更新；

5)检查源数据报表所在服务器与目标物流报表所在服务器的语言包及扩展工具包是否不同，若是，则在目标物流报表所在的服务器安装相应的语言包及扩展工具包。

例如，服务器根据检查标记标注的数据得到源数据报表1、源数据报表2和源数据报表3。首先，服务器检查源数据报表1所在服务器是否正常开启，若没有正常开启，则开启源数据报表1所在的服务器；其次，检查源数据报表1所在的服务器与目标物流报表所在的服务器之间的接口和网络是否正常连接，若未正常连接，则检查接口或网络；接着，检查目标物流报表所在的服务器的采集脚本和运行脚本是否正常工作，若未正常工作，则将采集脚本和运行脚本进行调试或者更新；最后，检查源数据报表1所在服务器与目标物流报表所在服务器的语言包及扩展工具包是否不同，若是，则在目标物流报表所在的服务器安装相应的语言包及扩展工具包。服务器对源数据报表2和源数据报表3传输环境的检查方式与源数据报表1相同，在此不再赘述。

204、判断是否存在传输环境不满足数据传输需求的情况，若存在，则将传输环境异常确定为第一检测结果，并记录环境异常信息，环境异常信息包括异常传输环境对应的源数据报表以及异常源；

例如，经检查，源数据报表1所在服务器未开启，源数据报表2和源数据报表3对应的传输环境满足数据传输需求，则服务器将传输环境异常确定为第一检测结果，并记录源数据报表1和异常源，异常源即为服务器未开启。

205、判断是否存在传输环境无异常的源数据报表，若存在，则将传输环境无异常的源数据报表和目标物流报表中具有引用关系的区域进行表结构和表数据的比对，得到至少一个表结构比对结果和至少一个表数据比对结果，表结构包括列数量、列顺序、列字段名和关联字段，表数据包括订单信息、客户信息、网点信息或快递物流信息中的至少一种；

其中，基于生活常识可知，当数据报表的表结构比对结果为不同时，极大概率数据报表的表数据比对结果也为不同，为更进一步提高数据的处理效率，当服务器检测出一个源数据报表和目标物流报表的表结构比对结果为不同时，可立即得到这个源数据报表和目标物流报表的表数据比对结果为不同。

例如，经检查，源数据报表2和源数据报表3对应的传输环境满足数据传输需求，服务器将目标物流报表中采集到的区域数据与源数据报表2或源数据报表3中被采集的数据区域分别进行比对，先比对两个数据区域的列数量、列顺序、每列字段名等是否相同，若相同，代表两个数据区域的表结构相同，接下来继续判断两个数据区域的数据是否相同，数据包括数值大小、数据类型等，在物流领域，数据通常为订单信息、客户信息、网点信息和快递物流信息，得到源数据报表2的表结构比对结果、表数据比对结果和源数据报表3的表结构比对结果、表数据比对结果。

206、筛选出表结构比对结果为不同的源数据报表和表数据比对结果为不同的源数据报表，将源数据报表的表结构存在异常或源数据报表的表数据存在异常中的至少一种确定为第二检测结果，并记录比对结果为不同的源数据报表信息和异常类型；

例如，源数据报表2与目标物流报表的表结构比对结果为不同，源数据报表3与目标物流报表的表数据比对结果为不同，则服务器将源数据报表存在表结构存在异常和表数据存在异常确定为第二检测结果，并记录源数据报表2及表结构的异常信息、源数据报表3及表数据的异常信息。

207、根据检测结果执行相应的操作更新目标物流报表；

若检测结果为传输环境异常，则服务器向第一管理终端发送传输环境调整指令，第一管理终端调整完毕后向服务器发送反馈信息，服务器接收第一管理终端反馈的信息后，重新对相应服务器上的数据进行采集，将新采集的数据写入目标物流报表中覆盖旧数据；

若检测结果为源数据报表的表结构存在异常，则服务器向第二管理终端发送表结构确认指令，第二管理终端再次核查表结构的正确性，若第二管理终端确认表结构异常，则将表结构进行更改，第二管理终端更改完毕后向服务器发送反馈信息，服务器接收第二管理终端反馈的信息后，重新对相应服务器上的数据进行采集，将新采集的数据写入目标物流报表中覆盖旧数据；若第二管理终端确认表结构不存在异常，即代表数据的表结构变化为正常业务需要，则第二管理终端向服务器发送反馈信息，服务器根据反馈信息生成提醒信息，提醒管理端更新数据采集脚本；

若检测结果为源数据报表的表数据存在异常，则服务器向第三管理终端发送表数据确认指令，第三管理终端对相关区域的数据进行核实和修改，第三管理终端更改完毕后向服务器发送反馈信息，服务器接收第三管理终端反馈的信息后，重新对相应服务器上的数据进行采集，将新采集的数据写入目标物流报表中覆盖旧数据。

例如，源数据报表1的检测结果为传输环境异常，服务器向设备管理终端发送传输环境调整指令，设备管理终端对源数据报表1对应的传输环境进行调整，调整完毕后向服务器发送反馈信息，服务器接收设备管理终端反馈的信息后，重新对源数据报表1上的数据进行采集，将新采集的数据写入目标物流报表中覆盖旧数据；

源数据报表2的检测结果为表结构存在异常，服务器向源数据报表2的管理终端发送表结构确认指令，源数据报表2的管理终端再次核查表结构的正确性，若源数据报表2的管理终端确认表结构异常，则将表结构进行更改，源数据报表2的管理终端更改完毕后向服务器发送反馈信息，服务器接收源数据报表2的管理终端反馈的信息后，重新对源数据报表2的数据进行采集，将新采集的数据写入目标物流报表中覆盖旧数据；若源数据报表2的管理终端确认表结构不存在异常，即代表数据的表结构变化为正常业务需要，则源数据报表2的管理终端向服务器发送反馈信息，服务器根据反馈信息生成提醒信息，提醒管理端更新数据采集脚本；

源数据报表3的检测结果为表数据存在异常，服务器向源数据报表3的管理终端发送表数据确认指令，源数据报表3的管理终端对相关区域的数据进行核实和修改，源数据报表3的管理终端更改完毕后向服务器发送反馈信息，服务器接收源数据报表3的管理终端反馈的信息后，重新对源数据报表3的数据进行采集，将新采集的数据写入目标物流报表中覆盖旧数据。

208、对更新后的数据进行一致性分析。

服务器将更新后的目标物流报表确定为初始物流报表，获取初始物流报表对应的至少一个初始源数据报表，解析至少一个初始源数据报表中目标初始源数据报表相关联的至少一个下游端，下游端为在物流运输过程中物流数据相关联的后续站点，获取至少一个下游端中基于目标初始源数据报表计算得到的至少一份统计数据，判断至少一份统计数据与目标初始源数据报表之间是否存在数据不一致的问题，若存在，则通过至少一个下游端发出数据一致性处理指令。

例如，初始物流报表为2020年3月1日至2020年3月3日网点A的发出快递统计表，初始物流报表对应的初始源数据报表为网点A在2020年3月1日、2020年3月2日和2020年3月3日的发出快递记录表，其中，在2020年3月1日的发出快递记录表中记录网点A发往网点B的快递数据和网点C的快递数据，查询网点B和网点C在2020年3月1日记录的接收快递记录表，筛选出来自网点A的快递数据，判断网点A发往网点B的快递数量与网点B接收来自网点A的快递数量是否相同，若不同，则网点B 2020年3月1日的接收快递记录表与网点A 2020年3月1日的发出快递记录表存在数据不一致的问题，网点B发出数据一致性处理指令，同理检查网点C 2020年3月1日的接收快递记录表。初始源数据报表为2020年3月2日或2020年3月3日的发出快递记录表时，分析方式如上所述，不再赘述。

本发明实施例中，通过对源数据报表和目标物流报表之间的传输环境、表结构和表内容的异常判断，找出数据不一致的异常类型，根据异常类型执行相应的数据更新操作，能够避免检测内容的遗漏，还能提高数据处理的效率，对处理后的数据再扩大范围进行一致性分析，能够提高数据的准确性和可靠性。

上面对本发明实施例中物流数据一致性处理方法进行了描述，下面对本发明实施例中物流数据一致性处理装置进行描述，请参阅图3，本发明实施例中物流数据一致性处理装置一个实施例包括：

获取模块301，用于获取待进行一致性处理的目标物流报表，目标物流报表包括至少一个检查标记，检查标记用于标注存在一致性问题的数据；

查找模块302，用于根据至少一个检查标记从目标物流报表中筛选出至少一个待处理数据，并查找至少一个待处理数据的引用文件，得到至少一个源数据报表；

检测模块303，用于根据预置的检测规则对至少一个源数据报表和目标物流报表进行检测，得到检测结果，检测结果指示目标物流报表中数据不一致的异常类型，检测规则包括传输环境、表结构和表数据的检测；

更新模块304，用于根据检测结果执行相应的操作更新目标物流报表。

本发明实施例中，查找异常数据的采集来源，根据检测规则对异常数据的类型进行判断，不仅可以避免疏忽遗漏导致的无法查出源数据报表的异常点，还可以提高处理数据的效率。

请参阅图4，本发明实施例中物流数据一致性处理装置的另一个实施例包括：

获取模块301，用于获取待进行一致性处理的目标物流报表，目标物流报表包括至少一个检查标记，检查标记用于标注存在一致性问题的数据；

查找模块302，用于根据至少一个检查标记从目标物流报表中筛选出至少一个待处理数据，并查找至少一个待处理数据的引用文件，得到至少一个源数据报表；

检测模块303，用于根据预置的检测规则对至少一个源数据报表和目标物流报表进行检测，得到检测结果，检测结果指示目标物流报表中数据不一致的异常类型，检测规则包括传输环境、表结构和表数据的检测；

更新模块304，用于根据检测结果执行相应的操作更新目标物流报表。

可选的，检测模块303包括：

检测单元3031，逐一检测目标物流报表与至少一个源数据报表中每个源数据报表之间的传输环境是否满足数据传输需求，传输环境包括每个源数据报表所属服务器、目标物流报表所属服务器与每个源数据报表所属服务器的接口、数据传输脚本和语言扩展包；

第一判断单元3032，判断是否存在传输环境不满足数据传输需求的情况，若存在，则将传输环境异常确定为第一检测结果，并记录环境异常信息，环境异常信息包括异常传输环境对应的源数据报表以及异常源；

第二判断单元3033，判断是否存在传输环境无异常的源数据报表，若存在，则将传输环境无异常的源数据报表与目标物流报表进行比对，得到第二检测结果，并记录比对异常信息，比对异常信息包括比对结果为不同的源数据报表和异常类型，异常类型包括表结构异常和表数据异常。

可选的，第二判断单元3033具体用于：

判断是否存在传输环境无异常的源数据报表，若存在，则将传输环境无异常的源数据报表和目标物流报表中具有引用关系的区域进行表结构和表数据的比对，得到至少一个表结构比对结果和至少一个表数据比对结果，表结构包括列数量、列顺序、列字段名和关联字段，表数据包括订单信息、客户信息、网点信息或快递物流信息中的至少一种；筛选出表结构比对结果为不同的源数据报表和表数据比对结果为不同的源数据报表，将源数据报表的表结构存在异常或源数据报表的表数据存在异常中的至少一种确定为第二检测结果，并记录比对结果为不同的源数据报表信息和异常类型。

可选的，更新模块304具体用于：

若检测结果为传输环境异常，则发送传输环境调整指令；若检测结果为源数据报表的表结构存在异常，则发送表结构确认指令；若检测结果为源数据报表的表数据存在异常，则发送表数据确认指令；接收反馈的信息，并根据反馈的信息更新目标物流报表。

可选的，查找模块302具体用于：

根据至少一个检查标记从目标物流报表中筛选出至少一个待处理数据；将至少一个待处理数据进行分组，得到至少一个数据组，每个数据组中的数据来自一个引用文件；查询至少一个数据组中每个数据组的引用文件，得到至少一个源数据报表。

可选的，物流数据一致性处理装置还包括：

分析模块305，用于对更新后的数据进行一致性分析。

可选的，分析模块305具体用于：

将更新后的目标物流报表确定为初始物流报表，获取初始物流报表对应的至少一个初始源数据报表；解析至少一个初始源数据报表中目标初始源数据报表相关联的至少一个下游端，下游端为在物流运输过程中物流数据相关联的后续站点；获取至少一个下游端中基于目标初始源数据报表计算得到的至少一份统计数据，判断至少一份统计数据与目标初始源数据报表之间是否存在数据冲突的问题；若存在，则通过至少一个下游端发出数据一致性处理指令。

本发明实施例中，通过对源数据报表和目标物流报表之间的传输环境、表结构和表内容的异常判断，找出数据不一致的异常类型，根据异常类型执行相应的数据更新操作，能够避免检测内容的遗漏，还能提高检测效率，对检测后的数据在进行一致性分析，提高数据的准确率和可靠性。

上面图3和图4从模块化功能实体的角度对本发明实施例中的物流数据一致性处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中物流数据一致性处理设备进行详细描述。

图5是本发明实施例提供的一种物流数据一致性处理设备的结构示意图，该物流数据一致性处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对物流数据一致性处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在物流数据一致性处理设备500上执行存储介质530中的一系列指令操作。

物流数据一致性处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的物流数据一致性处理设备结构并不构成对物流数据一致性处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种物流数据一致性处理设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述物流数据一致性处理方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述物流数据一致性处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种物流数据一致性处理方法，其特征在于，所述物流数据一致性处理方法包括：

获取待进行一致性处理的目标物流报表，所述目标物流报表包括至少一个检查标记，所述检查标记用于标注存在一致性问题的数据；

根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据，并查找所述至少一个待处理数据的引用文件，得到至少一个源数据报表；

根据预置的检测规则对所述至少一个源数据报表和所述目标物流报表进行检测，得到检测结果，所述检测结果指示所述目标物流报表中数据不一致的异常类型，所述检测规则包括传输环境、表结构和表数据的检测；

根据所述检测结果执行相应的操作更新所述目标物流报表。

2.根据权利要求1所述的物流数据一致性处理方法，其特征在于，所述根据预置的检测规则对所述至少一个源数据报表和所述目标物流报表进行检测，得到检测结果，所述检测结果指示所述目标物流报表中数据不一致的异常类型，所述检测规则包括传输环境、表结构和表数据的检测，包括：

逐一检测所述目标物流报表与所述至少一个源数据报表中每个源数据报表之间的传输环境是否满足数据传输需求，所述传输环境包括每个源数据报表所属服务器、所述目标物流报表所属服务器与每个源数据报表所属服务器的接口、数据传输脚本和语言扩展包；

判断是否存在传输环境不满足数据传输需求的情况，若存在，则将传输环境异常确定为第一检测结果，并记录环境异常信息，所述环境异常信息包括异常传输环境对应的源数据报表以及异常源；

判断是否存在传输环境无异常的源数据报表，若存在，则将所述传输环境无异常的源数据报表与所述目标物流报表进行比对，得到第二检测结果，并记录比对异常信息，所述比对异常信息包括比对结果为不同的源数据报表和异常类型，所述异常类型包括表结构异常和表数据异常。

3.根据权利要求2所述的物流数据一致性处理方法，其特征在于，所述判断是否存在传输环境无异常的源数据报表，若存在，则将所述传输环境无异常的源数据报表与所述目标物流报表进行比对，得到第二检测结果，并记录比对异常信息，所述比对异常信息包括比对结果为不同的源数据报表和异常类型，所述异常类型包括表结构异常和表数据异常，包括：

判断是否存在传输环境无异常的源数据报表，若存在，则将传输环境无异常的源数据报表和所述目标物流报表中具有引用关系的区域进行表结构和表数据的比对，得到至少一个表结构比对结果和至少一个表数据比对结果，所述表结构包括列数量、列顺序、列字段名和关联字段，所述表数据包括订单信息、客户信息、网点信息或快递物流信息中的至少一种；

筛选出表结构比对结果为不同的源数据报表和表数据比对结果为不同的源数据报表，将源数据报表的表结构存在异常或源数据报表的表数据存在异常中的至少一种确定为第二检测结果，并记录比对结果为不同的源数据报表信息和异常类型。

4.根据权利要求3所述的物流数据一致性处理方法，其特征在于，所述根据所述检测结果执行相应的操作更新所述目标物流报表，包括：

若所述检测结果为传输环境异常，则发送传输环境调整指令；

若所述检测结果为源数据报表的表结构存在异常，则发送表结构确认指令；

若所述检测结果为源数据报表的表数据存在异常，则发送表数据确认指令；

接收反馈的信息，并根据所述反馈的信息更新所述目标物流报表。

5.根据权利要求1所述的物流数据一致性处理方法，其特征在于，所述根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据，并查找所述至少一个待处理数据的引用文件，得到至少一个源数据报表，包括：

根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据；

将所述至少一个待处理数据进行分组，得到至少一个数据组，每个数据组中的数据来自一个引用文件；

查询所述至少一个数据组中每个数据组的引用文件，得到至少一个源数据报表。

6.根据权利要求1-5中任一项所述的物流数据一致性处理方法，其特征在于，在根据所述检测结果执行相应的操作更新所述目标物流报表之后，还包括：

对更新后的数据进行一致性分析。

7.根据权利要求6所述的物流数据一致性处理方法，其特征在于，所述对更新后的数据进行一致性分析，包括：

将更新后的目标物流报表确定为初始物流报表，获取所述初始物流报表对应的至少一个初始源数据报表；

解析所述至少一个初始源数据报表中目标初始源数据报表相关联的至少一个下游端，所述下游端为在物流运输过程中物流数据相关联的后续站点；

获取所述至少一个下游端中基于所述目标初始源数据报表计算得到的至少一份统计数据，判断所述至少一份统计数据与所述目标初始源数据报表之间是否存在数据冲突的问题；

若存在，则通过所述至少一个下游端发出数据一致性处理指令。

8.一种物流数据一致性处理装置，其特征在于，所述物流数据一致性处理装置包括：

获取模块，用于获取待进行一致性处理的目标物流报表，所述目标物流报表包括至少一个检查标记，所述检查标记用于标注存在一致性问题的数据；

查找模块，用于根据所述至少一个检查标记从所述目标物流报表中筛选出至少一个待处理数据，并查找所述至少一个待处理数据的引用文件，得到至少一个源数据报表；

检测模块，用于根据预置的检测规则对所述至少一个源数据报表和所述目标物流报表进行检测，得到检测结果，所述检测结果指示所述目标物流报表中数据不一致的异常类型，所述检测规则包括传输环境、表结构和表数据的检测；

更新模块，用于根据所述检测结果执行相应的操作更新所述目标物流报表。

9.一种物流数据一致性处理设备，其特征在于，所述物流数据一致性处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述物流数据一致性处理设备执行如权利要求1-7中任意一项所述的物流数据一致性处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述物流数据一致性处理方法。

Images