CN110188033B - 数据检测装置、方法、计算机设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种领域，特别涉及一种数据检测装置、方法、计算机设备及计算机可读存储介质，其中，该装置包括：参数管理模块用于导入参数文件；节点识别模块用于解析双流图，获取表征双流图的文字信息，在双流图的文字信息中确定符合关键节点参数文件中待检测节点的数据处理特性的数据流节点和业务流节点，将确定的数据流节点和确定的业务流节点对应的数据流节点作为待检测节点；节点布控模块用于根据关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数；布控检查模块用于判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果。

Description

数据检测装置、方法、计算机设备及计算机可读存储介质

技术领域

本发明涉及系统软件测试技术领域，特别涉及一种数据检测装置、方法、计算机设备及计算机可读存储介质。

背景技术

我行应用系统的业务验收测试是采用端到端业务全流程的黑盒测试方法。通过对业务场景输入到输出的全流程覆盖，来验证系统整体业务功能是否可正常使用，目前行业内其他银行也有采取类似的方法进行业务测试。该方法是从业务使用的角度为出发点，可直观发现所覆盖业务场景存在的哪些不足，但同时该测试方法也存在着一定的局限性。

1、该测试方法注重业务场景从输入到输出的端到端覆盖，在实际测试中对于业务在跨应用、跨系统的测试环节上容易出现疏漏，从而导致测试覆盖不全面而引发出生产问题。

2、该测试方法注重业务功能的测试，对于数据流的测试，特别是数据流中数据传输和过程数据加工，容易出现过程数据不准确，但无法在测试中发现的情况。

3、该测试方法是基于业务场景和业务功能的测试，对于业务场景中的数据类型是否能全面覆盖的关注存在不足，可能会出现测试数据遗漏而导致部分业务分支无法覆盖的情况出现。

发明内容

本发明实施例提供了一种数据检测装置，以解决现有技术中应用系统的验收测试时无法实现跨应用、跨系统的测试、无法实现对数据流的测试的技术问题。该装置包括：

参数管理模块，用于导入参数文件，所述参数文件包括关键节点参数文件、各个布控类型参数文件，其中，所述关键节点参数文件包括待检测节点的数据处理特性以及待检测节点的布控类型，每个布控类型参数文件包括该布控类型所需检测的参数及参数所需达到的要求，每种布控类型表示对一种或多种数据处理类型的数据进行检测；

节点识别模块，用于解析双流图，获取表征所述双流图的文字信息，在所述双流图的文字信息中确定符合所述关键节点参数文件中待检测节点的数据处理特性的数据流节点和业务流节点，将确定的数据流节点和确定的业务流节点对应的数据流节点作为待检测节点，其中，所述双流图包括至少两个应用系统，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，所述双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点；

节点布控模块，用于根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数；

布控检查模块，用于判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果。

本发明实施例还提供了一种数据检测方法，以解决现有技术中应用系统的验收测试时无法实现跨应用、跨系统的测试、无法实现对数据流的测试的技术问题。该方法包括：

导入参数文件，所述参数文件包括关键节点参数文件、各个布控类型参数文件，其中，所述关键节点参数文件包括待检测节点的数据处理特性以及待检测节点的布控类型，每个布控类型参数文件包括该布控类型所需检测的参数及参数所需达到的要求，每种布控类型表示对一种或多种数据处理类型的数据进行检测；

解析双流图，获取表征所述双流图的文字信息，在所述双流图的文字信息中确定符合所述关键节点参数文件中待检测节点的数据处理特性的数据流节点和业务流节点，将确定的数据流节点和确定的业务流节点对应的数据流节点作为待检测节点，其中，所述双流图包括至少两个应用系统，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，所述双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点；

根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数；

判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据检测方法，以解决现有技术中应用系统的验收测试时无法实现跨应用、跨系统的测试、无法实现对数据流的测试的技术问题。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的数据检测方法的计算机程序，以解决现有技术中应用系统的验收测试时无法实现跨应用、跨系统的测试、无法实现对数据流的测试的技术问题。

在本发明实施例中，首先提出了双流图的概念，该双流图包括至少两个应用系统，在双流图中，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点，即双流图包括至少两个应用系统之间的业务流和数据流；其次，提出了基于双流图进行数据检测，例如，根据双流图的文字信息和导入的参数文件确定待检测节点，并对待检测节点的一种或多种数据处理类型的数据进行检测获取相应的参数，最后，通过判断获取的参数是否满足布控类型参数文件定义的参数所需达到的要求即可得出数据检测结果。实现了上述数据检测装置可以实现跨应用、跨系统的数据检测，并通过对参数文件配置不同的布控类型可以灵活实现对不同数据处理类型的数据进行检测，不仅实现了数据流的检测，且有利于提高数据流检测的全面覆盖性，有利于提高测试效率和测试质量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例提供的一种数据检测装置的结构框图；

图2是本发明实施例提供的一种参数管理模块的结构框图；

图3是本发明实施例提供的一种节点识别模块的结构框图；

图4是本发明实施例提供的一种双流图的示意图；

图5是本发明实施例提供的一种节点布控模块的结构框图；

图6是本发明实施例提供的一种布控检查模块的结构框图；

图7是本发明实施例提供的一种结果输出模块的结构框图；

图8是本发明实施例提供的一种上述数据检测装置的工作流程图；

图9是本发明实施例提供的一种数据检测方法的流程图；

图10是本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在本发明实施例中，提供了一种数据检测装置，如图1所示，该装置包括：

参数管理模块1，用于导入参数文件，所述参数文件包括关键节点参数文件、各个布控类型参数文件，其中，所述关键节点参数文件包括待检测节点的数据处理特性以及待检测节点的布控类型，每个布控类型参数文件包括该布控类型所需检测的参数及参数所需达到的要求，每种布控类型表示对一种或多种数据处理类型的数据进行检测；

节点识别模块2，用于解析双流图，获取表征所述双流图的文字信息，在所述双流图的文字信息中确定符合所述关键节点参数文件中待检测节点的数据处理特性的数据流节点和业务流节点，将确定的数据流节点和确定的业务流节点对应的数据流节点作为待检测节点，其中，所述双流图包括至少两个应用系统，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，所述双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点；

节点布控模块3，用于根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数；

布控检查模块4，用于判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果。

由图1所示可知，在本发明实施例中，首先提出了双流图的概念，该双流图包括至少两个应用系统，在双流图中，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点，即双流图包括至少两个应用系统之间的业务流和数据流；其次，提出了基于双流图进行数据检测，例如，根据双流图的文字信息和导入的参数文件确定待检测节点，并对待检测节点的一种或多种数据处理类型的数据进行检测获取相应的参数，最后，通过判断获取的参数是否满足布控类型参数文件定义的参数所需达到的要求即可得出数据检测结果。实现了上述数据检测装置可以实现跨应用、跨系统的数据检测，并通过对参数文件配置不同的布控类型可以灵活实现对不同数据处理类型的数据进行检测，不仅实现了数据流的检测，且有利于提高数据流检测的全面覆盖性，有利于提高测试效率和测试质量。

具体实施时，如图2所示，参数管理模块1可以包括参数导入单元11、参数存储单元12以及参数读取单元13。

具体的，参数导入单元11用于导入参数文件，该参数文件可以包括关键节点参数文件以及各个布控类型参数文件，布控类型可以包括数据传输类型、数据加工类型以及样本管理类型等，针对每个布控类型可以配置一个对应的参数文件，即该各个布控类型参数文件可以包括传输数据布控参数文件、应用数据布控参数文件以及样本管理布控参数文件等。

具体实施时，关键节点参数文件可以包括待检测节点的数据处理特性、待检测节点的布控类型以及待检测节点的节点类型等等信息，可以根据不同的测试需求灵活地配置该关键节点参数文件，例如，如下表1所示，关键节点参数文件可以包括以下关键字(即描述待检测节点的数据处理特性的关键字，例如，传输、清算、录入等描述数据处理特性的关键字)、数据流分类(即待检测节点的节点类型，例如，业务流、数据流等类型)、布控模块(即待检测节点的布控类型)等部分。

表1

具体实施时，针对数据传输布控类型可以配置传输数据布控参数文件，该传输数据布控参数文件可以定义该数据传输布控类型所需检测的参数及参数所需达到的要求，例如，传输数据布控参数文件可以包括：应用名、批量日期、文件名、文件大小、数据量、传输时间等参数；阀值1(文件大小阀值)、阀值2(数据量阀值)、阀值3(传输时间阀值)等参数要求。

具体实施时，针对应用数据布控类型可以配置应用数据布控参数文件，该应用数据布控参数文件可以定义该应用数据布控类型所需检测的参数及参数所需达到的要求，例如，应用数据布控参数文件可以包括：应用名、文件名、字段名称、数量、汇总金额等参数；阀值1(汇总金额数量大小阀值)、阀值2(数量大小阈值)等参数要求。

具体实施时，针对样本管理布控类型可以配置样本管理布控参数文件，该样本管理布控参数文件可以定义该样本管理布控类型所需检测的参数及参数所需达到的要求，例如，样本管理布控参数文件可以包括：所属地区、业务渠道、业务类型、业务名称、客户类型、客户信息号、账户类型、账号、接口文件名称、接口字段等参数；备注1、备注2等参数要求。

具体实施时，参数存储单元12用于存储导入的参数文件，该参数文件可以包括关键节点参数文件以及各个布控类型参数文件。

具体实施时，参数读取单元13，用于读取参数存储单元12中参数文件的各字段信息。确定布控节点单元23可读取关键节点参数文件；数据检查单元43可读取传输数据布控参数文件、应用数据布控参数文件、样本管理布控参数文件。

具体实施时，如图3所示，节点识别模块2可以包括：

双流图识别解析单元21，用于根据所述双流图中不同图元的表型特征(例如，图元的形状、颜色)识别图元为业务流节点或数据流节点，根据业务流节点之间连线的箭头指向确定业务流节点之间的顺序关系，根据数据流节点之间连线的箭头指向确定数据流节点之间的顺序关系，将数据流节点连线的起始点连接的业务流节点为该数据流节点对应的业务流节点，将数据流节点连线的箭头指向点连接的业务流节点对应的数据流节点为该数据流节点的下一数据流节点，将视图信息转化为文字信息，即得到所述双流图的文字信息，所述双流图的文字信息包括各应用系统的信息、各业务流节点的信息、各数据流节点的信息以及各数据流节点与各业务流节点之间的连接关系；

具体的，如图4所示的双流图的示意图，仅供参考。从示意图中可识别该双流图涉及3个应用系统之间的数据交互关系，数据从应用系统A传输到应用系统B，应用系统B对接收的数据进行解析、处理后将数据传输到应用系统C；应用系统B录入信息，进行账户处理、资金处理后生产报表，将数据联机传输到应用系统C；应用系统C接收应用系统B的两类数据后，对数据进行解析。

具体的，可以根据双流图中不同图元的颜色、形状等表型特征，识别VISIO格式双流图中的图文信息。首先，可以读取VISIO双流图进程名称中的应用系统名称和英文简称(名称按照规范编写)，然后，分别读取各进程下方的图元信息。例如，将方框自动识别为业务流节点，柱状图自动识别为数据流节点，分别读取方框和柱状图中的文字信息作为业务流节点名称和数据流节点名称。对于业务流节点可直接根据细连接线的箭头指向找到下一业务流节点，对于数据流节点可根据粗连接线的起始节点找到该节点所对应的业务流节点，并根据箭头指向找到该节点的下一数据流节点所对应的业务流节点，最终找到该节点的下一数据流节点(若一业务节点即不是粗连接线的起始点也不是粗连接线箭头的指向点，则该业务流节点对应的数据流节点为上层业务流节点所对应的数据流节点)。

对于同一业务流节点对应两个不同下一业务流节点，或不同业务流节点对应同一个下一业务流节点的情况，按照不同分支来记录，并根据分支的不同生成不同的节点编码写入后台表中。最后，将读取的文字信息写入到后台表中形成业务流解析表和数据流解析表以及业务流和数据流的对照关系表。

具体的，业务流解析表可以如下表2所示，包括：业务应用系统编码(业务系统英文缩写)、业务应用系统名称、业务流分支编码(1个字母Y+2位数字，用于区分不同的分支)、业务流节点编码(1个字母Y5位数字，前2位为业务流分支编码，后3位按照顺序依次书写)、业务流节节点名称、前项业务流节点编码(该字段为空则表示该业务流节点为分支的起点编码，若该业务流节点对应多个前项业务流节点编码，则表示该业务流节点为分支汇聚点)

表2

数据流解析表可以如下表3所示，包括：业务系统编码(业务系统英文缩写)、业务系统名称、数据流分支编码(1个字母S+2位数字，用于区分不同的分支)、数据流节点编码(1个字母S+5位数字，前2位为数据流分支编码，后3位按照顺序依次书写)、数据流节点名称、前项步骤编码、数据表名等。

表3

业务流与数据流对照关系表如下表4所示，包括：业务系统编码(业务系统英文缩写)、业务系统名称、业务流分支编码(1个字母S+2位数字，用于区分不同的分支)、业务流节点编码(1个字母S+5位数字，前2位为数据流分支编码，后3位按照顺序依次书写)、业务流节点名称、数据流节点编码(1个字母S+5位数字，前2位为数据流分支编码，后3位按照顺序依次书写)、数据流节点名称。

表4

具体实施时，如图3所示，上述节点识别模块2还可以包括：双流信息存储单元22，用于对双流图的文字信息进行存储，即将双流图拆分成业务流解析表和数据流解析表、业务流与数据流对照关系表分别进行存储。

具体实施时，确定布控节点单元23，用于将所述双流图的文字信息中各业务流节点的信息以及各数据流节点的信息与待检测节点的数据处理特性进行匹配，得到匹配成功的数据流节点和业务流节点，将得到的数据流节点和得到的业务流节点对应的数据流节点确定为待检测节点。

具体的，确定布控节点单元23，可以通过参数读取单元13读取关键节点参数文件中的字段信息，根据关键字自动筛选出业务流解析表和数据流解析表中的关键节点(即关键字匹配成功的节点，包括业务流节点和数据流节点)。对于业务流解析表中筛选出来的关键节点需要通过业务流和数据流对照关系表，找到该业务流节点对应的数据流节点，将所有匹配成功的数据流节点和筛选出的业务流节点对应的数据流节点汇总去重后可作为待检测节点进行布控。

如：通过读取关键节点参数文件、业务流解析表、数据流解析表，将关键节点参数文件中的关键字作为筛选条件，若业务流节点名称和数据流节点名称中包含对应的关键字，则该节点可作为关键节点，如自动筛选出关键节点：联机传输、信息录入、账户处理、资金处理、数据接收(分别包含关键字：联机传输、录入、处理、接收关键字)。其中，数据流中筛选带有“联机传输”“批量传输”字样的数据流节点，可直接作为待检测节点进行布控，即联机传输、批量传输1、批量传输2节点作为待检测节点进行布控。对于在业务流中筛选的信息录入、账户处理、资金处理、数据接收、文件接收1、交易处理的关键节点，通过读取业务流和数据流对照关系表找到对应的数据流节点，根据数据流节点编码去重后，将数据流中的数据生成、数据加工2、数据加载2、数据加载1、数据加工1等数据流节点作为待检测节点进行布控。

具体实施时，为了实现节点布控，在本实施例中，布控类型可以包括传输数据布控、应用数据布控、样本管理布控等，对应的布控类型参数文件包括：传输数据布控参数文件、应用数据布控参数文件以及样本管理布控参数文件。具体的，如图5所示，所述节点布控模块3，包括：

传输数据布控单元31，用于对待检测节点的传输处理类型的数据进行检测，获取所述传输数据布控参数文件定义的传输处理类型所需检测的参数；

具体的，传输数据布控单元31，用于对数据传输过程的布控，传输数据布控单元31是对数据流在传输过程中的检查，确保测试数据在传输过程中的完整性和准确性，可有效测试覆盖。根据参数读取单元13关键节点参数文件中布控模块字段信息，可将确定布控节点单元23抓取的数据流中带有“批量传输”和“联机传输”字样(即“批量传输”、“联机传输”等有关传输的数据处理类型)的待检测节点，直接进行传输数据布控。如实例中，对于批量传输1、批量传输2、联机传输3各布控点均可进行传输数据布控。

应用数据布控单元32，用于对待检测节点的加工处理类型的数据进行检测，获取所述应用数据布控参数文件定义的加工处理类型所需检测的参数；

具体的，应用数据布控单元32，用于对应用数据加工过程的布控，一个完整的业务场景测试，在数据流处理过程中会产生大量的数据加工过程，通过该应用数据布控单元32来布控数据加工节点，以确保过程数据加工准确。确定布控点单元23通过参数读取单元13读取关键字段参数文件筛选出带有“处理”、“清算”等描述数据加工(即“处理”、“清算”等有关数据加工的数据处理类型)字样的节点，再依照业务流和数据流对照关系抓取其对应的数据流节点去重后作为待检测节点进行布控，根据关键节点参数文件信息可直接进行应用数据布控；对于“联机传输”节点，通常数据在传输过程中还会进行简单的逻辑加工，确定布控点单元23对于抓取到的数据流中“联机传输”字样的节点也可进行应用数据布控。如上例中，对于数据加工1、数据加工2、联机传输3各布控点均可进行应用数据布控。

样本管理布控单元33，用于对待检测节点的数据进行检测，获取所述样本管理布控参数文件定义的样本管理类型所需检测的参数，其中，所述样本管理布控单元布控的待检测节点为业务流的起始业务流节点对应的数据流节点；

具体的，样本管理布控单元33，用于对数据完整性的布控，业务处理流程中，可能会出现数据缺失的情况，该样本管理布控单元33通过使用样本数据来布控业务起始点，可确保数据以及业务场景的完整性。如果获取的待检测节点的数据完全包含样本管理布控参数文件定义的样本管理类型所需检测的参数，则表示待检测节点数据完整，反之，为数据缺失。如样本管理布控参数文件中的参数为北京地区、数据渠道是网银和直连主机两种，但如果获取待检测节点的数据的渠道只有主机一种，则表示数据有缺失，需要补充网银的数据。

具体的，样本数据是以生产上真实数据为原型，抽取生产业务高频以及覆盖各种业务类型的TOP20或TOP50的真实数据，通过制定关键字段(如：客户、介质、产品组合、账号等为基础)，根据不同的业务类型和规则提炼出的可覆盖所有业务场景，并同时经过业务专家评定并确定的样本库，样本管理布控参数实际是将样本库的数据对应到后台数据表中，包括：所属地区、业务渠道、业务类型、业务名称、客户类型、客户信息号、账户类型、账号、接口文件名称、接口字段、备注1、备注2等。具体的，样本库如下表5所示。

表5

具体的，确定布控点单元23通过参数读取单元13读取关键节点参数文件信息，筛选出业务流中带有“录入”“加载”“接收”等字样的业务流节点，根据业务流和数据流对照关系表抓取其对应的数据流节点作为待检测节点进行布控，根据关键节点参数文件信息中的布控类型可进行样本管理布控。如上例中，对于数据生成、数据加载1、数据加载2各布控点可进行样本管理布控。

组合布控单元35，用于根据所述关键节点参数文件中待检测节点的布控类型，采用所述传输数据布控单元、所述应用数据布控单元以及所述样本管理布控单元中的任意组合对待检测节点进行布控。

具体的，组合布控单元35，用于灵活组合使用传输数据布控单元31、应用数据布控单元32、样本管理布控单元33，对于同一节点存在多个布控工具时，可组合使用多个布控工具进行布控。如实例中，“联机传输”的待检测节点可组合使用传输数据布控单元31和应用数据布控单元32进行检查，确保联机传输的过程中数据没有缺失，且数据传输准确。

具体实施时，如图5所示，上述节点布控模块3还可以包括：

布控节点存储单元34：用于存储待检测节点的具体信息，包括布控模块信息及待检测节点布控顺序，当同一模块对应不同的布控进行时，可对该模块进行组合布控。

如：业务系统编码(业务系统英文缩写)、业务系统名称、数据流分支编码(1个字母S+2位数字，用于区分不同的分支)、数据节点编码(1个字母S+5位数字，前2位为数据流分支编码，后3位按照顺序依次书写)、数据流节点名称、数据流节点特点(0普通节点、1分支起点、2分支汇聚点)、下一数据流节点编号、布控模块标志(0，单一布控，1，组合布控)，布控工具(用3位数字表示，由左至右分别为传输数据布控、应用数据布控、样本管理布控，当位数对应的数据为1时，表示可使用该位数对应的布控模块，为0时表示无需使用其对应的布控模块)等。

对于不同分支的节点，分支的起点可同时展开布控，进行并行处理，对于分支的汇聚点，需要等所有分支的布控均完成后，才能进入下一布控节点。如布控节点数据生成和批量传输1为分支1和分支2的两个起始点，可同时开展布控检查，布控完成后进入各自各分支的下一布控点数据加工2和数据加载1继续进行布控检查。但对于数据加载2的布控检查，需要等批量传输2和联机传输布控点均完成后，才可进行数据加载2的布控点的检查。

具体实施时，如图6所示，所述布控检查模块4，包括：

信息生成单元41，用于获取所述传输数据布控单元检测的参数，生成传输数据信息；获取所述应用数据布控单元检测的参数生成应用数据信息；获取所述样本管理布控单元检测的参数，生成样本管理信息；

具体的，信息生成单元41：用于布控检查结果文件的生成，包括传输数据信息表、应用数据信息表、样本管理信息表。

对于传输数据布控，信息生成单元41可以通过读取UDS传输文件日志，可直接生成传输数据信息表，包括：应用名、批量日期、文件名、文件大小、数据量、传输时间；应用数据布控，信息生成单元41通过读取应用系统应用日志或后台数据库表，可直接生成应用数据信息表，包括：应用名、文件名、字段名称、数量、汇总金额；样本管理布控，信息生成单元41通过读取样本管理布控参数表中的接口文件名称和接口字段信息，在对应的数据库中筛选出具体的样本数据信息，包含客户类型、客户信息号、账户类型、账号等。

数据检查单元43，用于将传输数据信息与所述传输数据布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果；将应用数据信息与所述应用数据布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果；将样本管理信息与所述样本管理布控参数文件定义的参数所需达到的要求(例如，该要求可以是参数一致性要求)进行匹配，根据匹配结果得出检测结果。

具体的，数据检查单元43：用于对布控点(即待检测节点)数据的检查。读取结果存储单元42存储的信息表和参数读取单元13中的参数表进行匹配，当数据匹配一致则检查通过，可根据布控节点存储单元34中的布控点的布控顺序进入到下一布控节点，若匹配不一致，则通过结果返回单元44返回不一致信息。

如传输数据检查，读取结果存储单元42中存储的传输数据信息表通过应用名、批量日期、文件名同参数读取单元13中读取的传输数据布控参数表(即传输数据布控参数文件)进行关联，分别对文件大小、数据量、传输时间进行差值处理，当结果的绝对值在其对应的阀值内，则认为匹配成功，即检测通过，否则为匹配失败，即检测失败；对于应用数据检查，读取结果存储单元42中存储的应用数据信息表通过应用名、表名、字段名成同参数读取单元13读取的应用数据布控参数表(即应用数据布控参数文件)进行关联，分别对数据量、汇总金额进行差值处理，当差值为0，则认为匹配成功，即检测通过，否则为匹配失败，即检测失败。对于样本管理检查，读取结果存储单元42存储的样本管理信息文件条目数同参数读取单元13中读取的样本管理参数文件(即样本管理布控参数文件)的条目数进行比较，当两边条目数一致时(即得到要求)，则认为匹配成功，即检测通过，否则，为匹配失败，即检测失败。

具体实施时，如图6所示，所述布控检查模块4还可以包括：

结果存储单元42：用于存储生成的监控信息检查表，包括传输数据信息表、应用数据信息表，样本管理信息表。和/或

结果返回单元44：用于反馈匹配失败的明细信息。

具体实施时，为了便于用户查询、下载检测结果数据，在本实施例中，如图1所示，上述数据检测装置还包括：

结果输出模块5，与布控检查模块连接4，用于查询和/或下载数据检测结果。

具体的，如图7所示，该结果输出模块5可以包括：

结果查询单元51：用于数据检查结果和明细数据的查询；

结果下载单元52：用于数据检查结果和明细数据的下载。

具体实施时，如图8所示，该上述数据检测装置的工作流程包括以下步骤：

步骤801：通过参数导入单元11导入参数文件，并在参数存储单元12中存储。参数文件包括：关键节点参数文件、传输数据布控参数文件、应用数据布控参数文件、样本管理布控参数文件。

步骤802：通过解析双流图单元21解析双流图，将图文信息转化成文件信息存入到存储双流图单元22中。

步骤803：通过参数读取单元13读取关键节点参数文件，自动筛选双流图信息中的节点名称，得到关键节点。

步骤804：确认布控节点，确定布控点单元23根据存储双流图单元22中存储的业务流和数据流的对照关系表，取出所有关键节点所对应的数据流节点，去重后确定为待检测节点进行布控。

步骤805：配置布控工具，通过参数读取单元13读取关键节点参数文件信息，根据布控点的布控模块信息，自动对待检测节点进行布控，即使用传输数据布控单元31，应用数据布控单元32，样本管理布控单元33。若同一待检测节点同时具有多种布控模块特征，也可采用组合布控单元35进行布控，组合的待检测节点如下表6所示：

组合布控点	传输数据布控	应用数据布控	样本管理布控
				组合布控点1	√	√
组合布控点2	√		√
				组合布控点3		√	√
组合布控点4	√	√	√

表6

步骤806：生成布控信息，信息生成单元41实时监控该布控点的具体情况，生成相应的布控信息并在结果存储单元42中存储。

步骤807：检查布控信息，数据检查单元43将结果存储单元42中存储的布控信息同参数读取单元13中参数文件进行比对，并将检查结果记录到结果返回单元44中。

步骤808：发送用户分析，将结果返回单元44中存储的数据检查不匹配的信息直接发送给用户进行分析。

步骤809：解决问题，查找数据检查不匹配的原因，并予以解决。问题解决后，重新进行监控，并生成新的布控信息进行数据检查，直至数据检查成功。

步骤810：完成该点布控，无匹配不一致信息，则认为该布控点数据检查准确，布控完成。

步骤811：查询布控结果，用户可在结果查询单元51中查询布控检查结果明细数据，也可在结果下载单元52中下载布控检查结果明细数据。

步骤812：进入下一布控点，当布控点的检查完成后，可根据布控节点存储单元34中中的布控节点顺序接进入到下一布控点进行检查。对于监控成功的数据流，可通知业务验证人员提前展开其相应数据验证工作和对应的分段业务验证工作，提供最优测试方案，实现快速测试，从而提高测试效率。

上述数据检测装置具备以下优点：

1、通过灵活使用该智能数据检测装置，可帮忙测试人员将跨应用和跨系统的业务场景及时覆盖全面，在业务层面验证的同时加固数据层面的验证，实现业务和数据同步测试的目的，彻底解决跨应用、系统业务场景覆盖不全面的问题。

2、通过灵活使用该智能数据检测装置，可帮忙测试人员加强数据流的检查，特别是数据流中数据传输和过程数据加工的的检查，及时掌握数据传输和加工是否准确落地。对于过程数据的验证，不再是简单的端到端的黑盒测试，而是使测试更加精细化的灰盒测试。通过数据流的检查灵活实现分段业务验证测试，从而提高测试效率，提升测试质量。

3、通过灵活使用该智能数据检测装置，可帮忙测试人员加强数据全面性的验证，能够及时发现数据不全面的问题。对于有遗漏的业务数据，能够快速补充完整，杜绝出现测试数据遗漏而导致部分业务分支无法覆盖的情况出现，真正意义上的解决数据覆盖不全面的问题。

基于同一发明构思，本发明实施例中还提供了一种数据检测方法，如下面的实施例所述。由于数据检测方法解决问题的原理与数据检测装置相似，因此数据检测方法的实施可以参见数据检测装置的实施，重复之处不再赘述。

图9是本发明实施例的数据检测方法的流程图，如图9所示，该方法包括：

步骤902：导入参数文件，所述参数文件包括关键节点参数文件、各个布控类型参数文件，其中，所述关键节点参数文件包括待检测节点的数据处理特性以及待检测节点的布控类型，每个布控类型参数文件包括该布控类型所需检测的参数及参数所需达到的要求，每种布控类型表示对一种或多种数据处理类型的数据进行检测；

步骤904：解析双流图，获取表征所述双流图的文字信息，在所述双流图的文字信息中确定符合所述关键节点参数文件中待检测节点的数据处理特性的数据流节点和业务流节点，将确定的数据流节点和确定的业务流节点对应的数据流节点作为待检测节点，其中，所述双流图包括至少两个应用系统，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，所述双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点；

步骤906：根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数；

步骤908：判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果。

在一个实施例中，解析双流图，获取表征所述双流图的文字信息，包括：

根据所述双流图中不同图元的表型特征识别图元为业务流节点或数据流节点，根据业务流节点之间连线的箭头指向确定业务流节点之间的顺序关系，根据数据流节点之间连线的箭头指向确定数据流节点之间的顺序关系，将数据流节点连线的起始点连接的业务流节点为该数据流节点对应的业务流节点，将数据流节点连线的箭头指向点连接的业务流节点对应的数据流节点为该数据流节点的下一数据流节点，得到所述双流图的文字信息，所述双流图的文字信息包括各应用系统的信息、各业务流节点的信息、各数据流节点的信息以及各数据流节点与各业务流节点之间的连接关系；

将所述双流图的文字信息中各业务流节点的信息以及各数据流节点的信息与待检测节点的数据处理特性进行匹配，得到匹配成功的数据流节点和业务流节点，将得到的数据流节点和得到的业务流节点对应的数据流节点确定为待检测节点。

在一个实施例中，布控类型参数文件包括：传输数据布控参数文件、应用数据布控参数文件以及样本管理布控参数文件，根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数，包括：

对待检测节点的传输处理类型的数据进行检测，获取所述传输数据布控参数文件定义的传输处理类型所需检测的参数；

对待检测节点的加工处理类型的数据进行检测，获取所述应用数据布控参数文件定义的加工处理类型所需检测的参数；

对待检测节点的数据进行检测，获取所述样本管理布控参数文件定义样本管理类型的所需检测的参数，其中，所述样本管理布控单元布控的待检测节点为业务流的起始业务流节点对应的数据流节点；

根据所述关键节点参数文件中待检测节点的布控类型，对待检测节点的以下数据的任意组合进行检测：传输处理类型的数据、加工处理类型的数据以及样本管理类型的数据。

在一个实施例中，判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果，包括：

根据对待检测节点的传输处理类型的数据进行检测获取的参数生成传输数据信息；根据对待检测节点的加工处理类型的数据进行检测获取的参数生成应用数据信息；根据采用数据样本对待检测节点的数据进行布控获取的参数生成样本管理信息；

将传输数据信息与所述传输数据布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果；将应用数据信息与所述应用数据布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果；将样本管理信息与所述样本管理布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果。

在一个实施例中，上述方法还包括：

结果输出模块，与布控检查模块连接，用于查询和/或下载数据检测结果。

在本实施例中提供了一种计算机设备，如图10所示，包括存储器1002、处理器1004及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据检测方法，

具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。

在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的数据检测方法的计算机程序。

具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本发明实施例实现了如下技术效果：首先提出了双流图的概念，该双流图包括至少两个应用系统，在双流图中，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点，即双流图包括至少两个应用系统之间的业务流和数据流；其次，提出了基于双流图进行数据检测，例如，根据双流图的文字信息和导入的参数文件确定待检测节点，并对待检测节点的一种或多种数据处理类型的数据进行检测获取相应的参数，最后，通过判断获取的参数是否满足布控类型参数文件定义的参数所需达到的要求即可得出数据检测结果。实现了上述数据检测装置可以实现跨应用、跨系统的数据检测，并通过对参数文件配置不同的布控类型可以灵活实现对不同数据处理类型的数据进行检测，不仅实现了数据流的检测，且有利于提高数据流检测的全面覆盖性，有利于提高测试效率和测试质量。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据检测装置，其特征在于，包括：

参数管理模块，用于导入参数文件，所述参数文件包括关键节点参数文件、各个布控类型参数文件，其中，所述关键节点参数文件包括待检测节点的数据处理特性以及待检测节点的布控类型，每个布控类型参数文件包括该布控类型所需检测的参数及参数所需达到的要求，每种布控类型表示对一种或多种数据处理类型的数据进行检测；

节点识别模块，用于解析双流图，获取表征所述双流图的文字信息，在所述双流图的文字信息中确定符合所述关键节点参数文件中待检测节点的数据处理特性的数据流节点和业务流节点，将确定的数据流节点和确定的业务流节点对应的数据流节点作为待检测节点，其中，所述双流图包括至少两个应用系统，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，所述双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点；

节点布控模块，用于根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数；

布控检查模块，用于判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果。

2.如权利要求1所述的数据检测装置，其特征在于，所述节点识别模块包括：

双流图识别解析单元，用于根据所述双流图中不同图元的表型特征识别图元为业务流节点或数据流节点，根据业务流节点之间连线的箭头指向确定业务流节点之间的顺序关系，根据数据流节点之间连线的箭头指向确定数据流节点之间的顺序关系，将数据流节点连线的起始点连接的业务流节点为该数据流节点对应的业务流节点，将数据流节点连线的箭头指向点连接的业务流节点对应的数据流节点为该数据流节点的下一数据流节点，得到所述双流图的文字信息，所述双流图的文字信息包括各应用系统的信息、各业务流节点的信息、各数据流节点的信息以及各数据流节点与各业务流节点之间的连接关系；

确定布控节点单元，用于将所述双流图的文字信息中各业务流节点的信息以及各数据流节点的信息与待检测节点的数据处理特性进行匹配，得到匹配成功的数据流节点和业务流节点，将得到的数据流节点和得到的业务流节点对应的数据流节点确定为待检测节点。

3.如权利要求1所述的数据检测装置，其特征在于，布控类型参数文件包括：传输数据布控参数文件、应用数据布控参数文件以及样本管理布控参数文件，所述节点布控模块，包括：

传输数据布控单元，用于对待检测节点的传输处理类型的数据进行检测，获取所述传输数据布控参数文件定义的传输处理类型所需检测的参数；

应用数据布控单元，用于对待检测节点的加工处理类型的数据进行检测，获取所述应用数据布控参数文件定义的加工处理类型所需检测的参数；

样本管理布控单元，用于对待检测节点的数据进行检测，获取所述样本管理布控参数文件定义的样本管理类型所需检测的参数，其中，所述样本管理布控单元布控的待检测节点为业务流的起始业务流节点对应的数据流节点；

组合布控单元，用于根据所述关键节点参数文件中待检测节点的布控类型，采用所述传输数据布控单元、所述应用数据布控单元以及所述样本管理布控单元中的任意组合对待检测节点进行布控。

4.如权利要求3所述的数据检测装置，其特征在于，所述布控检查模块，包括：

信息生成单元，用于获取所述传输数据布控单元检测的参数，生成传输数据信息；获取所述应用数据布控单元检测的参数生成应用数据信息；获取所述样本管理布控单元检测的参数，生成样本管理信息；

数据检查单元，用于将传输数据信息与所述传输数据布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果；将应用数据信息与所述应用数据布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果；将样本管理信息与所述样本管理布控参数文件定义的参数所需达到的要求进行匹配，根据匹配结果得出检测结果。

5.如权利要求1至4中任一项所述的数据检测装置，其特征在于，还包括：

结果输出模块，与布控检查模块连接，用于查询和/或下载数据检测结果。

6.一种数据检测方法，其特征在于，包括：

导入参数文件，所述参数文件包括关键节点参数文件、各个布控类型参数文件，其中，所述关键节点参数文件包括待检测节点的数据处理特性以及待检测节点的布控类型，每个布控类型参数文件包括该布控类型所需检测的参数及参数所需达到的要求，每种布控类型表示对一种或多种数据处理类型的数据进行检测；

解析双流图，获取表征所述双流图的文字信息，在所述双流图的文字信息中确定符合所述关键节点参数文件中待检测节点的数据处理特性的数据流节点和业务流节点，将确定的数据流节点和确定的业务流节点对应的数据流节点作为待检测节点，其中，所述双流图包括至少两个应用系统，将每个应用系统中的各业务处理步骤分别作为一个业务流节点，将每个应用系统中的各数据处理步骤分别作为一个数据流节点，所述双流图通过各业务流节点之间的连接关系表示各应用系统之间的业务流，并在业务流的基础上通过各数据流节点之间的连接关系表示各应用系统之间的数据流，当前业务流节点与下一业务流节点之间完成的数据处理步骤对应的数据流节点为当前业务流节点对应的数据流节点；

根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数；

判断获取的参数是否满足布控类型参数文件中参数所需达到的要求，得出数据检测结果。

7.如权利要求6所述的数据检测方法，其特征在于，解析双流图，获取表征所述双流图的文字信息，包括：

根据所述双流图中不同图元的表型特征识别图元为业务流节点或数据流节点，根据业务流节点之间连线的箭头指向确定业务流节点之间的顺序关系，根据数据流节点之间连线的箭头指向确定数据流节点之间的顺序关系，将数据流节点连线的起始点连接的业务流节点为该数据流节点对应的业务流节点，将数据流节点连线的箭头指向点连接的业务流节点对应的数据流节点为该数据流节点的下一数据流节点，得到所述双流图的文字信息，所述双流图的文字信息包括各应用系统的信息、各业务流节点的信息、各数据流节点的信息以及各数据流节点与各业务流节点之间的连接关系；

将所述双流图的文字信息中各业务流节点的信息以及各数据流节点的信息与待检测节点的数据处理特性进行匹配，得到匹配成功的数据流节点和业务流节点，将得到的数据流节点和得到的业务流节点对应的数据流节点确定为待检测节点。

8.如权利要求6所述的数据检测方法，其特征在于，布控类型参数文件包括：传输数据布控参数文件、应用数据布控参数文件以及样本管理布控参数文件，根据所述关键节点参数文件中待检测节点的布控类型对待检测节点进行布控，根据布控类型参数文件从各待检测节点获取与布控类型对应的参数，包括：

对待检测节点的传输处理类型的数据进行检测，获取所述传输数据布控参数文件定义的传输处理类型所需检测的参数；

对待检测节点的加工处理类型的数据进行检测，获取所述应用数据布控参数文件定义的加工处理类型所需检测的参数；

对待检测节点的数据进行检测，获取所述样本管理布控参数文件定义样本管理类型的所需检测的参数，其中，所述样本管理布控单元布控的待检测节点为业务流的起始业务流节点对应的数据流节点；

根据所述关键节点参数文件中待检测节点的布控类型，对待检测节点的以下数据的任意组合进行检测：传输处理类型的数据、加工处理类型的数据以及样本管理类型的数据。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至8中任一项所述的数据检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求6至8中任一项所述的数据检测方法的计算机程序。

Images