CN110347657B - 数据生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

一种数据生成方法，所述方法包括：获取经过数据脱敏的用户账单数据；根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；对所述筛选数据进行修改，获得修改数据；根据所述修改数据，生成账单源文件；将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。本发明还提供一种数据生成装置、电子设备以及存储介质。本发明能提高测试数据的生成效率。

Description

数据生成方法、装置、电子设备及存储介质

技术领域

本发明涉及数据生成技术领域，尤其涉及一种数据生成方法、装置、电子设备及存储介质。

背景技术

多年运行的老账单系统逻辑众多，没有资料可以参考，功能覆盖只能凭经验，生产验证主要靠人工抽检，测试覆盖度极低。每账期平均400万账户，4000多万条账户明细，超过400G的超大数据帐单需要合成，这难以保证数据场景的全部覆盖，使得巨量数据难以验证，此外，NAS(Network Attached Storage，网络附属存储)存储资源有限，无法容纳全量数据，因账单系统为批量作业处理系统，不能实时发现问题、修复、处理，又涉及客户私密信息，被列为高风险项目。

可见，旧的账单系统已经无法满足要求，而新系统的开发、测试没有账单业务背景，业务人员无法澄清所有细节，现有业务必须平滑过渡，需要通过新旧系统比对测试来对新系统进行改造。

因此，如何获得测试数据来进行新旧系统的比对测试是一个亟待解决的技术课题。

发明内容

鉴于以上内容，有必要提供一种数据生成方法、装置、电子设备及存储介质，能够提高测试数据的生成效率。

本发明的第一方面提供一种数据生方法，所述方法包括：

获取经过数据脱敏的用户账单数据；

根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；

根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；

对所述筛选数据进行修改，获得修改数据；

根据所述修改数据，生成账单源文件；

将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。

作为一种可选的实施方式，所述将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件包括：

分别将所述账单源文件保存至新测试服务器以及旧测试服务器；

由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。

在一种可能的实现方式中，所述获取经过数据脱敏的用户账单数据前，所述方法还包括：

从生产库中获取原始数据；

获取预设的敏感字段；

根据所述敏感字段，对所述原始数据进行脱敏，获得用户账单数据。

在一种可能的实现方式中，所述根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据包括：

加载用户定义控制文件CTL；

根据所述CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据。

在一种可能的实现方式中，所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取预设文件的文件名称；

从所述文件名称中获取日期；

对所述日期进行修改，获得修改后的文件名称；

将所述修改后的文件名称确定为修改数据。

在一种可能的实现方式中，所述对所述筛选数据进行修改，获得修改数据包括：

获取预设参数；

从所述筛选数据中确定与所述预设参数匹配的目标数据；

对所述目标数据进行修改；

将修改后的目标数据确定为修改数据。

在一种可能的实现方式中，所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取标志位；

对所述标志位进行修改；

将修改后的标志位确定为修改数据。

本发明的第二方面提供一种数据处理装置，所述装置包括：

获取模块，用于获取经过数据脱敏的用户账单数据；

读取模块，用于根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；

筛选模块，用于根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；

修改模块，用于对所述筛选数据进行修改，获得修改数据；

生成模块，用于根据所述修改数据，生成账单源文件；

保存模块，用于将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据生成方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据生成方法。

由以上技术方案，本发明中，可以先获取经过数据脱敏的用户账单数据，根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据，进一步地，可以根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据，对所述筛选数据进行修改，获得修改数据，根据所述修改数据，生成账单源文件，最后，即可将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。整个过程中，完全自动化实现数据的抽取以及清洗，从而可以提高测试数据的生成效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明公开的一种数据生成方法的较佳实施例的流程图。

图2是本发明公开的一种数据生成装置的较佳实施例的功能模块图。

图3是本发明实现数据生成方法的较佳实施例的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的数据生成方法应用在电子设备中，也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。

所述电子设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA、游戏机、交互式网络电视IPTV、智能式穿戴式设备等。其中，所述用户设备及网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络VPN等。

请参见图1，图1是本发明公开的一种数据生成方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S11、电子设备获取经过数据脱敏的用户账单数据。

其中，所述用户账单数据为经过数据脱敏后的数据，即所述用户账单数据中不存在用户比较敏感的数据。其中，用户比较敏感的数据指用户不希望公开并被其他用户知晓的数据，可以包括但不限于姓名、证件号、银行账户、住址、电话号码、企业工商注册号、车牌号等。

本发明实施例中，可以预先接收用户输入的数据存储地址，根据所述数据存储地址确定存储有用户账单数据的目标设备，并直接从所述目标设备中获取经过脱敏后的用户账单数据。

或者，可选的，所述数据存储地址也可以是生产库的地址，可以预先从生产库中获取原始数据，并对原始数据进行脱敏，获得用户账单数据。

其中，所述用户账单数据为文本文件，可以为TXT格式的文本文件，也可以为其他格式的文本文件，本发明实施例不做限定。

可选的，在步骤S11之前，所述方法还包括：

从生产库中获取原始数据；

获取预设的敏感字段；

根据所述敏感字段，对所述原始数据进行脱敏，获得用户账单数据。

在该可选的实施方式中，生产库为生成原始数据的数据库，可以预先从生产库中获取原始数据，并获取预设的敏感字段，其中，所述预设的敏感字段为预先通过多次试验获得的用户比较敏感的数据，比如姓名、证件号、银行账户、住址、电话号码、企业工商注册号、车牌号等。

之后，即可根据所述敏感字段，从所述原始数据中将与所述敏感字段匹配的数据进行去除，获得剩余数据，并将所述剩余数据确定为用户账单数据，其中，所述用户账单数据为不包括敏感字段的数据。

S12、电子设备根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据。

其中，用户定义控制文件CTL属于VB编程中产生的一种文件，所述CTL文件包括控制信息，其中，所述控制信息可以指定字符集、指定数据文件位置、指定装载方式以及指定导入数据的表，所述控制信息用于指示如何读取数据，可以根据所述CTL文件中的控制信息来读取数据。

其中，CTL文件中包含多个字段，不同的字段代表不同的含义，有些字段代表日期，有些字段代表标志位。

具体的，所述根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据包括：

加载用户定义控制文件CTL；

根据所述CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据。

在该可选的实施方式中，可以先加载用户定义控制文件CTL，并获得所述CTL文件中的控制信息，并根据所述控制信息，使用分页读取的方式，对所述用户账单数据进行读取，并将读取的数据进行存储，获得读取数据，比如预先设置每次读取1000个数据，可以将第一次读取的1000个数据存储为第一页，第二次读取的1000个数据存储为第二页，第三次读取的1000个数据存储为第三页…，如此读取获得的每页数据就构成了读取数据。

S13、电子设备根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据。

其中，账号为用户在银行的用户识别编号，银行可以通过所述账号唯一确定用户的身份。账户类型为用户申请的银行卡的类型，可以包括但不限于公务卡金卡、欧尚卡、白金信用卡、一般卡、BB卡、一帐通账单、钻石卡、大润发卡、金通卡以及白金一帐通卡等。

本发明实施例中，可以预先接收用户针对多个选项的选择指令，并根据所述选择指令确定筛选条件。其中，所述多个选项可以为账号以及账户类型，根据所述选择指令确定的筛选条件可以为账号筛选条件，也可以为账户类型筛选条件。

具体的，可以确定用户选择的需要进行数据处理的账号或账户类型，进一步的，根据所述账号，从所述读取数据中筛选出与所述账号匹配的数据作为筛选数据，或者，根据所述账户类型，从所述读取数据中筛选出与所述账户类型匹配的数据作为筛选数据。

S14、电子设备对所述筛选数据进行修改，获得修改数据。

其中，所述筛选数据可以包括多种类型的数据，比如文件名称、日期、标志位、金额、交易明细等，可以预先设置一些需要修改的数据类型以及业务逻辑，在获得筛选数据之后，可以根据预设的数据类型以及业务逻辑，针对性的进行修改。

具体的，所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取预设文件的文件名称；

从所述文件名称中获取日期；

对所述日期进行修改，获得修改后的文件名称；

将所述修改后的文件名称确定为修改数据。

在该可选的实施方式中，预设文件可以包括但不限于信用卡主机文件、积分文件以及万里通文件，可以先从所述筛选数据中获取预设文件的文件名称，通常文件名称是由日期组成的。

其中，可以预先输入账期，所述账期可以理解为银行提取数据的日期，如果所述预设文件为信用卡主机文件或积分文件，则需要将信用卡主机文件或积分文件的文件名称中的日期修改为输入的所述账期。如果所述预设文件为万里通文件，则需要将万里通文件的文件名称中的日期修改为目标日期，所述目标日期为输入的所述账期加上预设天数之后的日期，其中，所述预设天数比如1天、2天、5天。举例来说，假设所述账期为2018年3月15号，预设天数为1天，则所述目标日期为2018年3月16号。

具体的，所述对所述筛选数据进行修改，获得修改数据包括：

获取预设参数；

从所述筛选数据中确定与所述预设参数匹配的目标数据；

对所述目标数据进行修改；

将修改后的目标数据确定为修改数据。

其中，所述预设参数可以包括但不限于账期、账单开始日、账单结束日、到期还款日以及用户刷卡日。

在该可选的实施方式中，可以先获取预设参数，进一步地，从所述筛选数据中确定与所述预设参数匹配的目标数据，比如，从所述筛选数据中确定与账期、账单开始日以及账单结束日匹配的目标数据，之后，再对所述目标数据进行修改，将修改后的目标数据确定为修改数据。

其中，需要预先接收用户输入的目标账期，比如20180315，在获取预设参数，从所述筛选数据中确定与所述预设参数匹配的目标数据之后，如果所述目标数据包括账期数据，则需要将所述目标数据中的账期数据修改为所述目标账期对应的数据；如果所述目标数据还包括账单开始日数据、账单结束日数据以及到期还款日数据，则需要根据所述账期数据以及所述目标账期，确定变量数据，进一步地，根据所述账单开始日数据以及所述变量数据，确定目标账单开始日数据，并将所述账单开始日数据修改为目标账单开始日数据，同理，可以根据账单结束日数据以及所述变量数据，确定目标账单结束日数据，并将所述账单结束日数据修改为目标账单结束日数据，同理，还可以根据到期还款日数据以及所述变量数据，确定目标到期还款日数据，并将所述到期还款日数据修改为目标到期还款日数据。

举例来说，比如输入的目标账期为20181215，筛选出的所述目标数据中的账期数据为20181201，则需要将20181201修改为20181215，计算得到的变量数据为14，如果所述目标数据包括的账单开始日数据为20181201，则根据所述账单开始日数据以及所述变量数据，确定的目标账单开始日数据为20181215，如果所述目标数据包括的账单结束日数据为20181231，则根据账单结束日数据以及所述变量数据，确定的目标账单结束日数据为20190114。

具体的，所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取标志位；

对所述标志位进行修改；

将修改后的标志位确定为修改数据。

其中，CTL文件中包含多个字段，不同的字段代表不同的含义，有些字段代表日期，有些字段代表标志位。

在该可选的实施方式中，可以先从所述筛选数据中获取表示标志位的字段，进一步地，针对表示标志位的字段，可以根据测试需要，对标志位的字段进行修改，获得修改数据。

S15、电子设备根据所述修改数据，生成账单源文件。

其中，在获得所述修改数据之后，可以将所有的所述修改数据生成账单源文件，其中，所述账单源文件包括的数据即来自于生产库经数据抽取工具加工后的数据。

其中，所述修改数据即数据内容，需要对所述修改数据进行封装，即可以以预设设定的文件格式来对所述修改数据进行封装，生成账单源文件。

S16、电子设备将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。

其中，所述测试服务器可以为新测试服务器或旧测试服务器，所述测试文件可以包括电子账单HTML(HyperText Markup Language，超级文本标记语言)文件、报表文件以及消息提醒文件。其中，旧测试服务器属于老账单系统，新测试服务器属于新账单系统，需要将所述老账单系统与所述新账单系统的数据文件进行比对测试，以发现新旧系统中隐藏的缺陷问题，进而对新系统进行改进。

其中，将所述账单源文件保存至测试服务器后，测试服务器可以根据所述账单源文件各部分的内容对所述账单源文件进行拆分，获得HTML文件、报表文件以及消息提醒文件，所述HTML文件、报表文件以及消息提醒文件即需要进行测试的测试文件。

具体的，所述将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件包括：

分别将所述账单源文件保存至新测试服务器以及旧测试服务器；

由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。

在该可选的实施方式中，需要分别将所述账单源文件保存至新测试服务器以及旧测试服务器，即输入所述新测试服务器的数据与输入所述旧测试服务器的数据为相同的数据。

进一步地，可以经由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，即第一电子账单HTML文件、第一报表文件以及第一消息提醒文件。同样，可以经由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件，即第二电子账单HTML文件、第二报表文件以及第二消息提醒文件。后续，即可将所述第一电子账单HTML文件与所述第二电子账单HTML文件进行比对，将所述第一报表文件与所述第二报表文件进行比对，以及将所述第一消息提醒文件与所述第二消息提醒文件进行比对。

在图1所描述的方法流程中，可以先获取经过数据脱敏的用户账单数据，根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据，进一步地，可以根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据，对所述筛选数据进行修改，获得修改数据，根据所述修改数据，生成账单源文件，最后，即可将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。整个过程中，完全自动化实现数据的抽取以及清洗，从而可以提高测试数据的生成效率。

以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

请参见图2，图2是本发明公开的一种数据生成装置的较佳实施例的功能模块图。

在一些实施例中，所述数据生成装置运行于电子设备中。所述数据生成装置可以包括多个由程序代码段所组成的功能模块。所述数据生成装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的数据生成方法中的部分或全部步骤。

本实施例中，所述数据生成装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、读取模块202、筛选模块203、修改模块204、生成模块205及保存模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。

获取模块201，用于获取经过数据脱敏的用户账单数据；

其中，所述用户账单数据为经过数据脱敏后的数据，即所述用户账单数据中不存在用户比较敏感的数据。其中，用户比较敏感的数据指用户不希望公开并被其他用户知晓的数据，可以包括但不限于姓名、证件号、银行账户、住址、电话号码、企业工商注册号、车牌号等。

本发明实施例中，可以预先接收用户输入的数据存储地址，根据所述数据存储地址确定存储有用户账单数据的目标设备，并直接从所述目标设备中获取经过脱敏后的用户账单数据。

或者，可选的，所述数据存储地址也可以是生产库的地址，可以预先从生产库中获取原始数据，并对原始数据进行脱敏，获得用户账单数据。

其中，所述用户账单数据为文本文件，可以为TXT格式的文本文件，也可以为其他格式的文本文件，本发明实施例不做限定。

读取模块202，用于根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；

其中，用户定义控制文件CTL属于VB编程中产生的一种文件，所述CTL文件包括控制信息，其中，所述控制信息可以指定字符集、指定数据文件位置、指定装载方式以及指定导入数据的表，所述控制信息用于指示如何读取数据，可以根据所述CTL文件中的控制信息来读取数据。

其中，CTL文件中包含多个字段，不同的字段代表不同的含义，有些字段代表日期，有些字段代表标志位。

筛选模块203，用于根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；

其中，账号为用户在银行的用户识别编号，银行可以通过所述账号唯一确定用户的身份。账户类型为用户申请的银行卡的类型，可以包括但不限于公务卡金卡、欧尚卡、白金信用卡、一般卡、BB卡、一帐通账单、钻石卡、大润发卡、金通卡以及白金一帐通卡等。

本发明实施例中，可以预先接收用户针对多个选项的选择指令，并根据所述选择指令确定筛选条件。其中，所述多个选项可以为账号以及账户类型，根据所述选择指令确定的筛选条件可以为账号筛选条件，也可以为账户类型筛选条件。

具体的，可以确定用户选择的需要进行数据处理的账号或账户类型，进一步的，根据所述账号，从所述读取数据中筛选出与所述账号匹配的数据作为筛选数据，或者，根据所述账户类型，从所述读取数据中筛选出与所述账户类型匹配的数据作为筛选数据。

修改模块204，用于对所述筛选数据进行修改，获得修改数据；

其中，所述筛选数据可以包括多种类型的数据，比如文件名称、日期、标志位、金额、交易明细等，可以预先设置一些需要修改的数据类型以及业务逻辑，在获得筛选数据之后，可以根据预设的数据类型以及业务逻辑，针对性的进行修改。

生成模块205，用于根据所述修改数据，生成账单源文件；

其中，在获得所述修改数据之后，可以将所有的所述修改数据生成账单源文件，其中，所述账单源文件包括的数据即来自于生产库经数据抽取工具加工后的数据。

其中，所述修改数据即数据内容，需要对所述修改数据进行封装，即可以以预设设定的文件格式来对所述修改数据进行封装，生成账单源文件。

保存模块206，用于将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。

其中，所述测试服务器可以为新测试服务器或旧测试服务器，所述测试文件可以包括电子账单HTML(HyperText Markup Language，超级文本标记语言)文件、报表文件以及消息提醒文件。其中，旧测试服务器属于老账单系统，新测试服务器属于新账单系统，需要将所述老账单系统与所述新账单系统的数据文件进行比对测试，以发现新旧系统中隐藏的缺陷问题，进而对新系统进行改进。

其中，将所述账单源文件保存至测试服务器后，测试服务器可以根据所述账单源文件各部分的内容对所述账单源文件进行拆分，获得HTML文件、报表文件以及消息提醒文件，所述HTML文件、报表文件以及消息提醒文件即需要进行测试的测试文件。

作为一种可选的实施方式，所述保存模块206包括：

保存子模块，用于分别将所述账单源文件保存至新测试服务器以及旧测试服务器；

生成子模块，用于由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。

在该可选的实施方式中，需要分别将所述账单源文件保存至新测试服务器以及旧测试服务器，即输入所述新测试服务器的数据与输入所述旧测试服务器的数据为相同的数据。

进一步地，可以经由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，即第一电子账单HTML文件、第一报表文件以及第一消息提醒文件。同样，可以经由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件，即第二电子账单HTML文件、第二报表文件以及第二消息提醒文件。后续，即可将所述第一电子账单HTML文件与所述第二电子账单HTML文件进行比对，将所述第一报表文件与所述第二报表文件进行比对，以及将所述第一消息提醒文件与所述第二消息提醒文件进行比对。

作为一种可选的实施方式，所述获取模块201，还用于从生产库中获取原始数据；

所述获取模块201，还用于获取预设的敏感字段；

所述数据生成装置还包括：

脱敏模块，用于根据所述敏感字段，对所述原始数据进行脱敏，获得用户账单数据。

在该可选的实施方式中，生产库为生成原始数据的数据库，可以预先从生产库中获取原始数据，并获取预设的敏感字段，其中，所述预设的敏感字段为预先通过多次试验获得的用户比较敏感的数据，比如姓名、证件号、银行账户、住址、电话号码、企业工商注册号、车牌号等。

之后，即可根据所述敏感字段，从所述原始数据中将与所述敏感字段匹配的数据进行去除，获得剩余数据，并将所述剩余数据确定为用户账单数据，其中，所述用户账单数据为不包括敏感字段的数据。

作为一种可选的实施方式，所述读取模块202包括：

加载子模块，用于加载用户定义控制文件CTL；

读取子模块，用于根据所述CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据。

在该可选的实施方式中，可以先加载用户定义控制文件CTL，并获得所述CTL文件中的控制信息，并根据所述控制信息，使用分页读取的方式，对所述用户账单数据进行读取，并将读取的数据进行存储，获得读取数据，比如预先设置每次读取1000个数据，可以将第一次读取的1000个数据存储为第一页，第二次读取的1000个数据存储为第二页，第三次读取的1000个数据存储为第三页…，如此读取获得的每页数据就构成了读取数据。

作为一种可选的实施方式，所述修改模块204包括：

第一获取子模块，用于从所述筛选数据中获取预设文件的文件名称；

所述第一获取子模块，还用于从所述文件名称中获取日期；

第一修改子模块，用于对所述日期进行修改，获得修改后的文件名称；

第一确定子模块，用于将所述修改后的文件名称确定为修改数据。

在该可选的实施方式中，预设文件可以包括但不限于信用卡主机文件、积分文件以及万里通文件，可以先从所述筛选数据中获取预设文件的文件名称，通常文件名称是由日期组成的。

其中，可以预先输入账期，所述账期可以理解为银行提取数据的日期，如果所述预设文件为信用卡主机文件或积分文件，则需要将信用卡主机文件或积分文件的文件名称中的日期修改为输入的所述账期。如果所述预设文件为万里通文件，则需要将万里通文件的文件名称中的日期修改为目标日期，所述目标日期为输入的所述账期加上预设天数之后的日期，其中，所述预设天数比如1天、2天、5天。举例来说，假设所述账期为2018年3月15号，预设天数为1天，则所述目标日期为2018年3月16号。

作为一种可选的实施方式，所述修改模块204包括：

第二获取子模块，用于获取预设参数；

第二确定子模块，用于从所述筛选数据中确定与所述预设参数匹配的目标数据；

第二修改子模块，用于对所述目标数据进行修改；

所述第二确定子模块，还用于将修改后的目标数据确定为修改数据。

其中，所述预设参数可以包括但不限于账期、账单开始日、账单结束日、到期还款日以及用户刷卡日。

在该可选的实施方式中，可以先获取预设参数，进一步地，从所述筛选数据中确定与所述预设参数匹配的目标数据，比如，从所述筛选数据中确定与账期、账单开始日以及账单结束日匹配的目标数据，之后，再对所述目标数据进行修改，将修改后的目标数据确定为修改数据。

其中，需要预先接收用户输入的目标账期，比如20180315，在获取预设参数，从所述筛选数据中确定与所述预设参数匹配的目标数据之后，如果所述目标数据包括账期数据，则需要将所述目标数据中的账期数据修改为所述目标账期对应的数据；如果所述目标数据还包括账单开始日数据、账单结束日数据以及到期还款日数据，则需要根据所述账期数据以及所述目标账期，确定变量数据，进一步地，根据所述账单开始日数据以及所述变量数据，确定目标账单开始日数据，并将所述账单开始日数据修改为目标账单开始日数据，同理，可以根据账单结束日数据以及所述变量数据，确定目标账单结束日数据，并将所述账单结束日数据修改为目标账单结束日数据，同理，还可以根据到期还款日数据以及所述变量数据，确定目标到期还款日数据，并将所述到期还款日数据修改为目标到期还款日数据。

举例来说，比如输入的目标账期为20181215，筛选出的所述目标数据中的账期数据为20181201，则需要将20181201修改为20181215，计算得到的变量数据为14，如果所述目标数据包括的账单开始日数据为20181201，则根据所述账单开始日数据以及所述变量数据，确定的目标账单开始日数据为20181215，如果所述目标数据包括的账单结束日数据为20181231，则根据账单结束日数据以及所述变量数据，确定的目标账单结束日数据为20190114。

作为一种可选的实施方式，所述修改模块204包括：

第三获取子模块，用于从所述筛选数据中获取标志位；

第三修改子模块，用于对所述标志位进行修改；

第三确定子模块，用于将修改后的标志位确定为修改数据。

其中，CTL文件中包含多个字段，不同的字段代表不同的含义，有些字段代表日期，有些字段代表标志位。

在该可选的实施方式中，可以先从所述筛选数据中获取表示标志位的字段，进一步地，针对表示标志位的字段，可以根据测试需要，对标志位的字段进行修改，获得修改数据。

在图2所描述的数据生成装置中，可以先获取经过数据脱敏的用户账单数据，根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据，进一步地，可以根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据，对所述筛选数据进行修改，获得修改数据，根据所述修改数据，生成账单源文件，最后，即可将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。整个过程中，完全自动化实现数据的抽取以及清洗，从而可以提高测试数据的生成效率。

如图3所示，图3是本发明实现数据生成方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。

本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备3的示例，并不构成对所述电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。

所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。

所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种数据生成方法，所述处理器32可执行所述多个指令从而实现：

获取经过数据脱敏的用户账单数据；

根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；

根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；

对所述筛选数据进行修改，获得修改数据；

根据所述修改数据，生成账单源文件；

将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。

在一种可选的实施方式中，所述将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件包括：

分别将所述账单源文件保存至新测试服务器以及旧测试服务器；

由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。

在一种可选的实施方式中，所述获取经过数据脱敏的用户账单数据前，所述处理器32可执行所述多个指令从而实现：

从生产库中获取原始数据；

获取预设的敏感字段；

根据所述敏感字段，对所述原始数据进行脱敏，获得用户账单数据。

在一种可选的实施方式中，所述根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据包括：

加载用户定义控制文件CTL；

根据所述CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据。

在一种可选的实施方式中，所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取预设文件的文件名称；

从所述文件名称中获取日期；

对所述日期进行修改，获得修改后的文件名称；

将所述修改后的文件名称确定为修改数据。

在一种可选的实施方式中，所述对所述筛选数据进行修改，获得修改数据包括：

获取预设参数；

从所述筛选数据中确定与所述预设参数匹配的目标数据；

对所述目标数据进行修改；

将修改后的目标数据确定为修改数据。

在一种可选的实施方式中，所所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取标志位；

对所述标志位进行修改；

将修改后的标志位确定为修改数据。

具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在图3所描述的电子设备3中，可以先获取经过数据脱敏的用户账单数据，根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据，进一步地，可以根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据，对所述筛选数据进行修改，获得修改数据，根据所述修改数据，生成账单源文件，最后，即可将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。整个过程中，完全自动化实现数据的抽取以及清洗，从而可以提高测试数据的生成效率。

所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种数据生成方法，其特征在于，所述方法包括：

获取经过数据脱敏的用户账单数据；

根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据，包括：加载用户定义控制文件CTL；根据CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据；

根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；

对所述筛选数据进行修改，获得修改数据；

根据所述修改数据，生成账单源文件；

将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件，包括：分别将所述账单源文件保存至新测试服务器以及旧测试服务器；由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。

2.根据权利要求1所述的方法，其特征在于，所述获取经过数据脱敏的用户账单数据之前，所述方法还包括：

从生产库中获取原始数据；

获取预设的敏感字段；

根据所述敏感字段，对所述原始数据进行脱敏，获得用户账单数据。

3.根据权利要求1至2中任一项所述的方法，其特征在于，所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取预设文件的文件名称；

从所述文件名称中获取日期；

对所述日期进行修改，获得修改后的文件名称；

将所述修改后的文件名称确定为修改数据。

4.根据权利要求1至2中任一项所述的方法，其特征在于，所述对所述筛选数据进行修改，获得修改数据包括：

获取预设参数；

从所述筛选数据中确定与所述预设参数匹配的目标数据；

对所述目标数据进行修改；

将修改后的目标数据确定为修改数据。

5.根据权利要求1至2中任一项所述的方法，其特征在于，所述对所述筛选数据进行修改，获得修改数据包括：

从所述筛选数据中获取标志位；

对所述标志位进行修改；

将修改后的标志位确定为修改数据。

6.一种数据生成装置，其特征在于，所述数据生成装置包括：

获取模块，用于获取经过数据脱敏的用户账单数据；

读取模块，用于根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据，包括：加载用户定义控制文件CTL；根据CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据；

筛选模块，用于根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；

修改模块，用于对所述筛选数据进行修改，获得修改数据；

生成模块，用于根据所述修改数据，生成账单源文件；

保存模块，用于将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件，包括：分别将所述账单源文件保存至新测试服务器以及旧测试服务器；由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。

7.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至5中任意一项所述的数据生成方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至5中任意一项所述的数据生成方法。