CN112035355A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112035355A
CN112035355A CN202010890062.XA CN202010890062A CN112035355A CN 112035355 A CN112035355 A CN 112035355A CN 202010890062 A CN202010890062 A CN 202010890062A CN 112035355 A CN112035355 A CN 112035355A
Authority
CN
China
Prior art keywords
service data
target service
format
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010890062.XA
Other languages
English (en)
Inventor
卢显锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202010890062.XA priority Critical patent/CN112035355A/zh
Publication of CN112035355A publication Critical patent/CN112035355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management

Abstract

本申请涉及人工智能领域,根据格式校验策略对目标业务数据进行格式校验和根据目标功能类型对校验后的目标业务数据进行功能加载,可以自动生成可直接用于开发测试的目标功能数据,提高了开发测试的效率。尤其涉及一种数据处理方法、装置、计算机设备和存储介质,该数据处理方法包括:获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型;根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据;根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能类型。此外,本申请还涉及区块链技术,格式校验策略和目标功能类型可存储于区块链中。

Description

数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能领域,尤其涉及一种数据处理方法、装置、计算机设备和存储介质。
背景技术
在保险行业的业务数据的测试开发过程中,由于业务数据包含的保险信息不同于常规的数据信息,对保险业务数据的格式要求比较严格,因此经常遇到数据格式不对应的情况,导致程序无法运行、上下游系统的对接数据不一致、业务场景无法真实复原等问题。例如,在对业务数据的开发测试过程中,需要严格按照规范的数据格式进行程序开发,但是经常性出现数据格式对接不一致的情况,浪费开发测试的时间。
因此如何提高业务数据的开发测试的效率成为亟需解决的问题。
发明内容
本申请提供了一种数据处理方法、装置、计算机设备和存储介质,根据格式校验策略对目标业务数据进行格式校验和根据目标功能类型对校验后的目标业务数据进行功能加载,可以自动生成可直接用于开发测试的目标功能数据,提高了开发测试的效率。
第一方面,本申请提供了一种数据处理方法,应用于数据开发测试系统中,所述方法包括:
获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型;
根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据;
根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据。
第二方面,本申请还提供了一种数据处理装置,所述装置包括:
数据获取模块,用于获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型;
格式校验模块,用于根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据;
功能加载模块,用于根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据处理方法。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的数据处理方法。
本申请公开了一种数据处理方法、装置、计算机设备和存储介质,通过获取目标业务数据以及获取目标业务数据对应的格式校验策略和目标功能类型,可以确定目标业务数据进行格式校验的格式校验策略和进行功能输出的目标功能类型;根据格式校验策略对目标业务数据进行格式校验,使得校验后的目标业务数据的格式统一,避免后续使用目标业务数据时出现格式对接问题,节省了开发测试的时间;通过根据目标功能类型对校验后的目标业务数据进行功能加载处理,可以自动生成可直接用于开发测试的目标功能数据,提高了开发测试的效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种数据处理方法的示意流程图;
图2是本申请的实施例提供的获取目标业务数据的示意图;
图3是本申请的实施例提供的对数据内容进行封装的示意流程图;
图4是图2中的对校验后的目标业务数据进行功能加载处理的子步骤的示例性框图;
图5是本申请实施例提供的一种数据处理装置的示意性框图;
图6是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本申请的实施例提供了一种数据处理方法、装置、计算机设备和存储介质。其中,该数据处理方法可以应用于服务器或终端的数据开发测试系统中,实现根据格式校验策略对目标业务数据进行格式校验和根据目标功能类型对校验后的目标业务数据进行功能加载,可以自动生成可直接用于开发测试的目标功能数据,提高了开发测试的效率。
其中,服务器可以为独立的服务器,也可以为服务器集群。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
如图1所示,数据处理方法包括步骤S10至步骤S30。
步骤S10、获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型。
请参阅图2,图2是获取目标业务数据的示意图。具体地,可以通过获取用户在数据开发测试系统中输入的业务数据,将接收到的业务数据作为目标业务数据。例如,获取用户通过电子表格导入业务数据,也可以获取用户通过手工填表的方式在数据开发测试系统中输入的业务数据。
示例性的,业务数据可以包括关于保险信息的数据,可以包括但不限于客户姓名、证件号、手机号码、保单日期、车架号码、车牌号以及保单号等等。
具体地,获取目标业务数据对应的格式校验策略和目标功能类型,可以在获取目标业务数据之后,在数据开发测试系统的显示界面显示格式校验策略表和功能类型表;然后获取用户在显示界面输入的选择指令,根据选择指令确定目标业务数据对应的格式校验策略和目标功能类型。其中,格式校验策略表包括多个格式校验类型,功能类型表包括多个功能类型。
示例性的,格式校验类型可以包括但不限于保单日期格式、字母格式、数字格式、证件号格式、保单号格式、长度格式以及车牌号格式等类型。格式校验策略可以包括上述格式校验类型的其中一种或多种组合。示例性的,格式校验策略表,如表1所示。
表1为格式校验策略表
Figure BDA0002656630170000041
表中,长度格式:位数,用于对业务数据进行长度格式校验;例如,对车架号、保单号进行长度格式校验,校验车架号或保单号的位数是否满足预设的位数。保单号格式:n位全数字,用于对业务数据进行保单号格式校验,校验保单号是否为全数字以及保单号的长度是否满足预设的n位数。例如,校验保单号是否为全数字、长度是否为19位。
示例性的,可以获取用户通过鼠标对格式校验策略表中的格式校验类型进行点击或框选的选择指令,根据选择指令确定用户选定的格式校验类型;根据选定的格式校验类型生成格式校验策略。
在一些实施方式中,若用户选中的格式校验类型包括保单日期格式、数字格式、保单号格式、车牌号格式以及证件号格式,则生成的格式校验策略包括保单日期格式、数字格式、保单号格式、车牌号格式以及证件号格式。
示例性的,功能类型可以包括但不限于自动化脚本、脚本自动入库以及样例数据等等。需要说明的是,功能是指数据开发测试系统输出的数据所具备的功能;自动化脚本是指将目标业务数据生成脚本,可以节省人工编写脚本的时间;脚本自动入库是指对自动化脚本执行入库操作,实现目标业务数据入库,可以节省人工进行目标业务数据入库的过程和时间;样例数据是指可以批量造数的目标业务数据。
示例性的,功能类型表,如表2所示。
表2为功能类型表
功能类型
自动化脚本
脚本自动入库
样例数据
需要说明的是,功能类型表为单选表;用户可以选择功能类型表中的其中一个功能类型,可以将用户选择的功能类型作为目标功能类型。
示例性的,若用户选择自动化脚本,则可以确定用户输入的目标功能类型为自动化脚本,因此可以将输入的目标业务数据生成脚本并输出。
示例性的,若用户选择样例数据,则可以确定用户输入的目标功能类型为样例数据,因此可以将输入的目标业务数据生成样例数据并输出。
需要强调的是,为进一步保证上述格式校验策略和目标功能类型的私密和安全性,上述格式校验策略和目标功能类型还可以存储于一区块链的节点中。
通过获取用户输入的目标业务数据以及确定目标业务数据对应的格式校验策略和目标功能类型,后续可以根据格式校验策略对目标业务数据进行格式校验,并输出目标功能类型对应的目标功能数据,实现对业务数据的格式校验和功能加载的自动化处理,减少对业务数据的开发和测试时间。
在一些实施例中,获取目标业务数据对应的格式校验策略之前,还包括:获取预设数量的业务数据的格式信息;根据格式信息生成业务数据对应的格式校验类型,并将业务数据对应的格式校验类型添加至格式校验库中。
示例性的,收集业务数据中的车牌号的格式信息;例如,若车牌号的格式信息为:汉字+字母-字母+数字,则可以将格式信息“汉字+字母-字母+数字”作为格式校验类型中的车牌号格式。其中,车牌号格式用于对业务数据中的车牌号进行格式校验。
示例性的,收集业务数据中的保单号的格式信息;例如,若保单号的格式信息为:n位全数字,则可以将格式信息“n位全数字”作为格式校验类型中的保单号格式。其中,保单号格式用于对业务数据中的保单号进行格式校验。
在一些实施方式中,还可以将预设的模型格式存储至在格式校验库中。例如,预设的模型格式可以是“4个连续数字或4个连续字母”,该模型格式可以用于筛选业务数据中符合“4个连续数字或4个连续字母”的保单号。
需要强调的是,为进一步保证上述格式校验库的私密和安全性,上述格式校验库还可以存储于一区块链的节点中。示例性的,在获取目标业务数据对应的格式校验策略时,可以从区块链的节点中获取格式校验库中的格式校验类型,将获取的格式校验类型生成格式校验策略表并在显示界面显示。
步骤S20、根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据。
在一些实施例中,根据格式校验策略对目标业务数据进行格式校验之前,还包括:对目标业务数据中的数据内容进行封装,得到目标业务数据对应的多个键值对。
示例性的,目标业务数据可以包括多行和多列的数据内容;数据内容包括列名字段和列名字段所在列对应的字段值。其中,第一行是列名字段,第二行至末行是字段值。
需要说明的是,封装是指将目标业务数据中的数据内容以键值对的形式表示。其中,键值对可以包括列名字段和列名字段对应的字段值。示例性的,将目标业务数据中的数据内容中的列名字段和该列名字段所在列对应的多个字段值分别以键值对的形式表示,得到多个键值对。
请参阅图3,图3是对目标业务数据中的数据内容进行封装的示意性流程图,具体可以包括以下步骤S201至步骤S203。
步骤S201、依次获取所述数据内容中的首行的列名字段,并确定所述列名字段对应的编码字符集。
示例性的,字符集可以包括但不限于GB2312、UTF-8以及UTF-16等字符集。编码字符集是指使用上述字符集进行编码。其中,GB2312字符集用于汉字处理、汉字通信等系统之家的信息交换。示例性的,在本申请实施例中,预设的编码字符集可以是UTF-8字符集。
示例性的,可以根据文本流的读取方式依次获取数据内容中的首行的列名字段,并确定列名字段对应的编码字符集。需要说明的是,文本流是指文档的读取和输出顺序,即由左到右、由上而下的读取和输出形式。
示例性的,确定列名字段对应的编码字符集,可以先将列名字段的内容取出并将取出的内容转化为字节数组,然后调用java解码器,解析出该字节数组对应的编码字符集。
步骤S202、若所述列名字段的编码字符集不是预设的编码字符集,则根据所述预设的编码字符集对所述列名字段进行编码转换,得到编码后的列名字段。
具体地,若确定列名字段的编码字符集是预设的编码字符集,则无需进行编码转换;若确定列名字段的编码字符集不是预设的编码字符集,则根据预设的编码字符集对列名字段进行编码转换,得到编码后的列名字段。
示例性的,若目标业务数据包括GB2312字符集的列名字段“姓名”,则将GB2312字符集的列名字段“姓名”进行编码转换,转换成UTF-8字符集的列名字段“姓&#x540D”。其中,可以通过UTF-8转换工具进行编码转换。
通过确定列名字段对应的编码字符集,并对编码字符集不是预设的编码字符集的列名字段进行编码转换,可以使得目标业务数据中的数据内容的编格式统一。
步骤S203、将所述编码后的列名字段分别与所述编码后的列名字段所在列对应的字段值进行关联,得到所述目标业务数据对应的多个键值对。
在一些实施例中,将编码后的列名字段分别与编号后的列名字段所在列对应的字段值进行关联,得到目标业务数据对应的多个键值对,可以包括:对编码后的各个列名字段添加分隔符;基于文本流的读取方式,依次读取第二行至末行中的字段值;将字段值与字段值所在列的列名字段进行关联,得到目标业务数据对应的多个键值对。
其中,得到的键值对包括列名字段以及列名字段对应的字段值。
具体地,可以根据List集合,将将字段值与字段值所在列的列名字段进行关联,得到目标业务数据对应的多个键值对。其中,List集合是一种元素有序、可重复的集合,集合中的每个元素都有对应的顺序索引。
示例性的,可以通过循环调用list()函数来读取目标业务数据中的每一行中的数据内容,将各数据内容赋给列名字段并输出列名字段与列名字段对应的字段值,得到目标业务数据对应的多个集合,即键值对。
通过将编码后的列名字段所在列对应的字段值进行关联,得到目标业务数据对应的多个键值对,可以方便后续对每个键值对进行格式校验,提高了格式校验的准确性和效率。
在一些实施例中,根据格式校验策略对目标业务数据进行格式校验,得到校验后的目标业务数据,可以包括:根据格式校验策略,对目标业务数据对应的键值对中的字段值进行正则匹配、长度匹配以及模型匹配,得到校验后的目标业务数据,其中,校验后的目标业务数据包括已校验的键值对。
示例性的,格式校验策略可以包括保单日期格式、字母格式、数字格式、证件号格式、保单号格式、长度格式车牌号格式以及模型格式等格式校验类型之中的一个或多个组合。
具体地,根据格式校验策略,对目标业务数据对应的键值对中的字段值进行正则匹配、长度匹配以及模型匹配,将通过格式校验的键值对保留,将没通过格式校验的键值对标记错误,得到已校验的键值对和错误标记的键值对。
在一些实施例中,若格式校验策略包括字母格式,则根据字母格式对键值对中的字段值进行正则匹配。
示例性的,若字母格式为a-z,则对字段值中的字母进行正则匹配,将字段值的字母格式为a-z的键值对保留,将字段值的字母格式为a-z的键值对标记错误。
在一些实施例中,若格式校验策略包括长度格式,则根据长度格式对键值对中的字段值进行长度匹配。
示例性的,若长度格式为n位,则对字段值中的保单号进行长度匹配,将保单号的长度格式为n位的键值对保留,将保单号的长度格式不为n位的键值对标记错误。
在一些实施例中,若格式校验策略包括模型格式,则根据模型格式对键值对中的字段值进行模型匹配。
示例性的,若模型格式为4个连续数字,则对字段值中的保单号进行模型匹配,将保单号为4个连续数字的键值对保留,将保单号不是4个连续数字的键值对标记错误。
具体地,在本申请实施例中,模型格式还可以是其它格式;例如,模型格式为4个连续字母。模型格式的具体内容在此不作限制。
示例性的,若格式校验策略包括长度格式、字母格式和模型格式,则对根据长度格式、字母格式和模型格式对键值对中的字段值进行校验,得到通过校验的键值对。此外,若格式校验策略中还包括保单日期格式、证件号格式等格式校验类型,则保单日期格式、证件号格式对根据长度格式、字母格式和模型格式对键值对中的字段值进行校验,得到通过校验的键值对。
在一些实施例中,若目标业务数据中存在错误标记的键值对,则生成错误通知,以提醒用户对错误标记的对键值对进行修改。
需要说明的是,校验后的目标业务数据可以与oracle、mysql、mongo、pg、hbase、tdb、sqlserver以及pig等数据库系统进行对接。通过根据格式校验策略对目标业务数据进行格式校验,校验后的目标业务数据包括格式一致的多个键值对,保证各个数据库系统之间业务数据的格式一致性,可以避免各个数据库系统之间的数据格式的对接错误,缩短各数据库系统之间的沟通时间。
步骤S30、根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据。
通过根据目标功能类型对校验后的目标业务数据进行功能加载处理,以得到目标业务数据对应的目标功能数据,可以有效缩短对目标业务数据的开发测试时间,从而提高了开发测试的效率。
具体地,目标功能类型可以包括自动化脚本、脚本自动入库以及样例数据中的其中一个。
示例性的,功能加载处理可以包括对校验后的目标业务数据生成自动化脚本,得到目标业务数据对应的自动化脚本;或者包括对校验后的目标业务数据生成自动化脚本并执行该自动化脚本;或者包括对校验后的目标业务数据中的键值对添加标记符,并将带有标记符的键值对作为样例数据。
请参阅图4,图4是步骤S30中根据目标功能类型对校验后的目标业务数据进行功能加载处理,以得到目标业务数据对应的目标功能数据的示意性框图,具体可以包括以下步骤S301至步骤S303中的任一个。
步骤S301、若所述目标功能类型为自动化脚本,则对校验后的所述目标业务数据进行脚本生成并输出,得到所述目标业务数据对应的自动化脚本。
具体地,确定校验后的目标业务数据对应的数据库类型,根据数据库类型对应的数据库语句将校验后的目标业务数据生成自动化脚本。
示例性的,数据库类型可以包括但不限于DM、PostgreSQL、Oracle以及Mysql等关系型数据库,或者包括MongoDB、Hbase以及Redis等非关系数据库。
可以理解的是,不同的数据库对应有不同的数据库语句。例如,oracle数据库对应有sql语句,hbase数据库对应有pu语句。
示例性的,oracle数据库对应的sql语句可以包括但不限于:创建表语句:createtable表名(字段字段类型);复制表数据语句:insert into目标表select*from参考表;增加字段语句:alter table表名add(字段名称字段类型);删除字段语句:lter table表名drop column字段名称;以及其它语句等等。通过sql语句,可以将校验后的目标业务数据生成oracle数据库对应的自动化脚本。
具体地,可以预先确定校验后的目标业务数据对应的数据库类型。示例性的,若校验后的目标业务数据对应的数据库类型为oracle数据库,则根据oracle数据库对应的sql语句,将校验后的目标业务数据生成自动化脚本,该自动化脚本由sql语句组成。示例性的,若校验后的目标业务数据对应的数据库类型为hbase数据库,则根据hbase数据库对应的pu语句,将校验后的目标业务数据生成自动化脚本,该自动化脚本由pu语句组成。
需要强调的是,为进一步保证上述自动化脚本的私密和安全性,上述自动化脚本还可以存储于一区块链的节点中。
需要说明的是,通过将校验后的目标业务数据生成自动化脚本,可以节省人工根据目标业务数据编写脚本的时间。脚本实际上就是程序,可以被应用程序临时调用并执行。在本申请实施例中,自动化脚本可以被执行,以将目标业务数据保存至数据库中,可以节省人工对目标业务数据进行数据入库的时间。
步骤S302、若所述目标功能类型为脚本自动入库,则对校验后的所述目标业务数据进行脚本生成并执行生成的自动化脚本,以将所述目标业务数据对应的自动化脚本进行自动入库。
在一些实施例中,对校验后的目标业务数据进行脚本生成并执行生成的自动化脚本,以将目标业务数据对应的自动化脚本进行自动入库,可以包括:确定校验后的目标业务数据对应的数据库类型,根据数据库类型对应的数据库语句将校验后的目标业务数据生成自动化脚本;与自动化脚本对应的目标数据库建立连接,执行自动化脚本以将校验后的目标业务数据保存至目标数据库中;在将校验后的目标业务数据保存至目标数据库之后,关闭与目标数据库之间的连接。
具体地,确定校验后的目标业务数据对应的数据库类型,根据数据库类型对应的数据库语句将校验后的目标业务数据生成自动化脚本,可以参见上述步骤S301中的详细说明,具体实现过程在此不再赘述。
在本申请实施例中,自动化脚本可以被执行,以将目标业务数据保存至数据库中;通过执行自动化脚本,可以节省人工对目标业务数据进行数据入库的时间。
具体地,与自动化脚本对应的目标数据库建立连接,该目标数据库可以是oracle、mysql、mongo、pg以及hbase等数据库。目标数据库可以根据实际情况进行设定。可以理解的是,与目标数据库建立连接,目的是将目标业务数据保存至目标数据库中。
示例性的,若生成的自动化脚本对应的目标数据库为mysql数据库,则可以与mysql数据库建立连接。例如,可以通过mysql_connect()函数与mysql数据库建立连接。在与mysql数据库建立连接之后,可以执行自动化脚本以将校验后的目标业务数据保存至目标数据库中。
步骤S303、若所述目标功能类型为样例数据,则对校验后的所述目标业务数据中的键值对添加标记符,并将带有标记符的键值对以及所述键值对的行号输出,得到所述目标业务数据对应的样例数据,其中,所述样例数据存储在区块链中。
示例性的,行号用于定位目标业务数据中每一行的键值对,通过行号可以确定键值对所在的行;标记符用于表示键值对通过格式校验。
具体地,通过对校验后的目标业务数据中的键值对添加标记符,并将带有标记符的键值对以及该键值对的行号输出,得到样例数据。
需要强调的是,为进一步保证上述样例数据的私密和安全性,上述样例数据还可以存储于一区块链的节点中。
示例性的,在根据目标业务数据进行压力测试或性能测试时,需要先对该目标业务数据中的键值对进行格式校验;通过格式校验的键值对可以作为样例数据,其他数据可以参照样例数据进行批量造数。可以根据样例数据进行批量造数,例如进行数据复制、数据仿造以及循环出指定数量的数据等等。
通过生成样例数据,可以根据样例数据进行批量造数,可以节省在开发和测试过程中的造数时间,提高了开发测试的效率。
上述实施例提供的数据处理方法,通过获取用户输入的目标业务数据以及确定目标业务数据对应的格式校验策略和目标功能类型,后续可以根据格式校验策略对目标业务数据进行格式校验,并输出目标功能类型对应的目标功能数据,实现对业务数据的格式校验和功能加载的自动化处理,减少对业务数据的开发测试的时间,从而提高了开发测试的效率;通过确定列名字段对应的编码字符集,并对编码字符集不是预设的编码字符集的列名字段进行编码转换,可以使得目标业务数据中的数据内容的编格式统一;通过将编码后的列名字段所在列对应的字段值进行关联,得到目标业务数据对应的多个键值对,可以方便后续对每个键值对进行格式校验,提高了格式校验的准确性和效率;通过将校验后的目标业务数据生成自动化脚本,可以节省人工根据目标业务数据编写脚本的时间;通过执行自动化脚本,可以节省人工对目标业务数据进行数据入库的时间;通过生成样例数据,可以根据样例数据进行批量造数,可以节省在开发和测试过程中的造数时间,提高了开发测试的效率。
请参阅图5,图5是本申请的实施例还提供一种数据处理装置100的示意性框图,该数据处理装置用于执行前述的数据处理方法。其中,该数据处理装置可以配置于服务器或终端中。
如图5所示,该数据处理装置100,包括:数据获取模块101、格式校验模块102和功能加载模块103。
数据获取模块101,用于获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型。
格式校验模块102,用于根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据。
功能加载模块103,用于根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6,图6是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
请参阅图6,该计算机设备包括通过系统总线连接的处理器和存储器,其中,存储器可以包括非易失性存储介质和内存储器。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种数据处理方法。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型;根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据;根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据。
在一个实施例中,所述处理器在实现获取所述目标业务数据对应的格式校验策略之前,还用于实现:
获取预设数量的业务数据的格式信息;根据所述格式信息生成所述业务数据对应的格式校验类型,并将所述业务数据对应的格式校验类型添加至格式校验库中,其中,所述格式校验库存储在区块链中。
在一个实施例中,所述处理器在实现获取所述目标业务数据对应的格式校验策略和目标功能类型时,用于实现:
在所述数据开发测试系统的显示界面显示格式校验策略表和功能类型表,所述格式校验策略表包括多个格式校验类型,所述功能类型表包括多个功能类型;获取用户在所述显示界面输入的选择指令,根据所述选择指令确定所述目标业务数据对应的格式校验策略和目标功能类型。
在一个实施例中,所述处理器在实现根据所述格式校验策略对所述目标业务数据进行格式校验之前,还用于实现:
对所述目标业务数据中的数据内容进行封装,得到所述目标业务数据对应的多个键值对。
在一个实施例中,所述处理器在实现根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据时,用于实现:
根据所述格式校验策略,对所述目标业务数据对应的键值对中的字段值进行正则匹配、长度匹配以及模型匹配,得到校验后的所述目标业务数据,其中,校验后的所述目标业务数据包括已校验的键值对。
在一个实施例中,所述数据内容包括列名字段和列名字段所在列对应的字段值;所述处理器在实现对所述目标业务数据中的数据内容进行封装,得到所述目标业务数据对应的多个键值对时,用于实现:
依次获取所述数据内容中的首行的列名字段,并确定所述列名字段对应的编码字符集;若所述列名字段的编码字符集不是预设的编码字符集,则根据所述预设的编码字符集对所述列名字段进行编码转换,得到编码后的列名字段;将所述编码后的列名字段分别与所述编码后的列名字段所在列对应的字段值进行关联,得到所述目标业务数据对应的多个键值对。
在一个实施例中,所述处理器在实现根据所述格式校验策略,对所述目标业务数据对应的键值对中的字段值进行正则匹配、长度匹配以及模型匹配时,用于实现:
若所述格式校验策略包括字母格式,则根据所述字母格式对所述键值对中的字段值进行正则匹配;或若所述格式校验策略包括长度格式,则根据所述长度格式对所述键值对中的字段值进行长度匹配;或若所述格式校验策略包括模型格式,则根据所述模型格式对所述键值对中的字段值进行模型匹配。
在一个实施例中,所述目标功能类型包括自动化脚本、脚本自动入库以及样例数据;所述处理器在实现根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据时,用于实现:
若所述目标功能类型为自动化脚本,则对校验后的所述目标业务数据进行脚本生成并输出,得到所述目标业务数据对应的自动化脚本;或若所述目标功能类型为脚本自动入库,则对校验后的所述目标业务数据进行脚本生成并执行生成的自动化脚本,以将所述目标业务数据对应的自动化脚本进行自动入库;或若所述目标功能类型为样例数据,则对校验后的所述目标业务数据中的键值对添加标记符,并将带有标记符的键值对以及所述键值对的行号输出,得到所述目标业务数据对应的样例数据。
在一个实施例中,所述处理器在实现对校验后的所述目标业务数据进行脚本生成并执行生成的自动化脚本,以将所述目标业务数据对应的自动化脚本进行自动入库时,用于实现:
确定校验后的所述目标业务数据对应的数据库类型,根据所述数据库类型对应的数据库语句将校验后的所述目标业务数据生成自动化脚本;与所述自动化脚本对应的目标数据库建立连接,执行所述自动化脚本以将校验后的所述目标业务数据保存至所述目标数据库中;在将校验后的所述目标业务数据保存至所述目标数据库之后,关闭与所述目标数据库之间的连接。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项数据处理方法。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字卡(Secure Digital Card,SD Card),闪存卡(Flash Card)等。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法,应用于数据开发测试系统中,其特征在于,包括:
获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型;
根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据;
根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述获取所述目标业务数据对应的格式校验策略之前,还包括:
获取预设数量的业务数据的格式信息;
根据所述格式信息生成所述业务数据对应的格式校验类型,并将所述业务数据对应的格式校验类型添加至格式校验库中,其中,所述格式校验库存储在区块链中;
所述获取所述目标业务数据对应的格式校验策略和目标功能类型,包括:
在所述数据开发测试系统的显示界面显示格式校验策略表和功能类型表,所述格式校验策略表包括多个格式校验类型,所述功能类型表包括多个功能类型;
获取用户在所述显示界面输入的选择指令,根据所述选择指令确定所述目标业务数据对应的格式校验策略和目标功能类型,其中,所述格式校验策略和所述目标功能类型存储在区块链中。
3.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述格式校验策略对所述目标业务数据进行格式校验之前,还包括:
对所述目标业务数据中的数据内容进行封装,得到所述目标业务数据对应的多个键值对;
所述根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据,包括:
根据所述格式校验策略,对所述目标业务数据对应的键值对中的字段值进行正则匹配、长度匹配以及模型匹配,得到校验后的所述目标业务数据,其中,校验后的所述目标业务数据包括已校验的键值对。
4.根据权利要求3所述的数据处理方法,其特征在于,所述数据内容包括列名字段和列名字段所在列对应的字段值;所述对所述目标业务数据中的数据内容进行封装,得到所述目标业务数据对应的多个键值对,包括:
依次获取所述数据内容中的首行的列名字段,并确定所述列名字段对应的编码字符集;
若所述列名字段的编码字符集不是预设的编码字符集,则根据所述预设的编码字符集对所述列名字段进行编码转换,得到编码后的列名字段;
将所述编码后的列名字段分别与所述编码后的列名字段所在列对应的字段值进行关联,得到所述目标业务数据对应的多个键值对。
5.根据权利要求3所述的数据处理方法,其特征在于,所述根据所述格式校验策略,对所述目标业务数据对应的键值对中的字段值进行正则匹配、长度匹配以及模型匹配,包括:
若所述格式校验策略包括字母格式,则根据所述字母格式对所述键值对中的字段值进行正则匹配;或
若所述格式校验策略包括长度格式,则根据所述长度格式对所述键值对中的字段值进行长度匹配;或
若所述格式校验策略包括模型格式,则根据所述模型格式对所述键值对中的字段值进行模型匹配。
6.根据权利要求1所述的数据处理方法,其特征在于,所述目标功能类型包括自动化脚本、脚本自动入库以及样例数据;所述根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据,包括:
若所述目标功能类型为自动化脚本,则对校验后的所述目标业务数据进行脚本生成并输出,得到所述目标业务数据对应的自动化脚本;或
若所述目标功能类型为脚本自动入库,则对校验后的所述目标业务数据进行脚本生成并执行生成的自动化脚本,以将所述目标业务数据对应的自动化脚本进行自动入库;或
若所述目标功能类型为样例数据,则对校验后的所述目标业务数据中的键值对添加标记符,并将带有标记符的键值对以及所述键值对的行号输出,得到所述目标业务数据对应的样例数据,其中,所述样例数据存储在区块链中。
7.根据权利要求6所述的数据处理方法,其特征在于,所述对校验后的所述目标业务数据进行脚本生成并执行生成的自动化脚本,以将所述目标业务数据对应的自动化脚本进行自动入库,包括:
确定校验后的所述目标业务数据对应的数据库类型,根据所述数据库类型对应的数据库语句将校验后的所述目标业务数据生成自动化脚本;
与所述自动化脚本对应的目标数据库建立连接,执行所述自动化脚本以将校验后的所述目标业务数据保存至所述目标数据库中;
在将校验后的所述目标业务数据保存至所述目标数据库之后,关闭与所述目标数据库之间的连接。
8.一种数据处理装置,其特征在于,包括:
数据获取模块,用于获取目标业务数据,以及获取所述目标业务数据对应的格式校验策略和目标功能类型;
格式校验模块,用于根据所述格式校验策略对所述目标业务数据进行格式校验,得到校验后的所述目标业务数据;
功能加载模块,用于根据所述目标功能类型对校验后的所述目标业务数据进行功能加载处理,以得到所述目标业务数据对应的目标功能数据。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7任一项所述的数据处理方法。
CN202010890062.XA 2020-08-28 2020-08-28 数据处理方法、装置、计算机设备和存储介质 Pending CN112035355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010890062.XA CN112035355A (zh) 2020-08-28 2020-08-28 数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010890062.XA CN112035355A (zh) 2020-08-28 2020-08-28 数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112035355A true CN112035355A (zh) 2020-12-04

Family

ID=73587153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010890062.XA Pending CN112035355A (zh) 2020-08-28 2020-08-28 数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112035355A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651843A (zh) * 2020-12-30 2021-04-13 中国平安人寿保险股份有限公司 产品的交纳方式控制方法、装置、计算机设备及存储介质
CN113419944A (zh) * 2021-05-26 2021-09-21 深圳开源互联网安全技术有限公司 模糊测试的初始化方法、装置及存储介质
CN113705211A (zh) * 2021-10-29 2021-11-26 云账户技术(天津)有限公司 字号自动生成方法、装置、电子设备和可读存储介质
CN114024759A (zh) * 2021-11-09 2022-02-08 北京天融信网络安全技术有限公司 安全策略管控方法、装置、计算机设备和介质
CN114048230A (zh) * 2021-11-29 2022-02-15 平安科技(深圳)有限公司 业务数据处理方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN104618182A (zh) * 2015-01-21 2015-05-13 中国移动通信集团广东有限公司 一种支持多种移动业务协议的模拟测试系统
US20160342501A1 (en) * 2015-05-18 2016-11-24 Hcl Technologies Limited Accelerating Automated Testing
CN108984759A (zh) * 2018-07-19 2018-12-11 北京中电普华信息技术有限公司 一种数据转换方法、装置及电子设备
CN109325045A (zh) * 2018-09-21 2019-02-12 中国银行股份有限公司 一种开立银行的方法及装置
CN109766340A (zh) * 2018-12-14 2019-05-17 广州优态科技有限公司 传入参数的自动校验方法
CN109800258A (zh) * 2018-12-10 2019-05-24 平安科技(深圳)有限公司 数据文件部署方法、装置、计算机设备及存储介质
US20190166035A1 (en) * 2017-11-27 2019-05-30 Jpmorgan Chase Bank, N.A. Script accelerate
CN110489325A (zh) * 2019-07-09 2019-11-22 微民保险代理有限公司 车险数据测试方法、装置、测试平台及车险测试系统
CA3053693A1 (en) * 2018-08-31 2020-02-29 Mindbridge Analytics Inc. Method and apparatus for shaping data
CN110941593A (zh) * 2019-12-03 2020-03-31 浪潮卓数大数据产业发展有限公司 一种文件入库系统及方法
CN111221739A (zh) * 2020-01-10 2020-06-02 中国建设银行股份有限公司 业务测试方法、装置和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN104618182A (zh) * 2015-01-21 2015-05-13 中国移动通信集团广东有限公司 一种支持多种移动业务协议的模拟测试系统
US20160342501A1 (en) * 2015-05-18 2016-11-24 Hcl Technologies Limited Accelerating Automated Testing
US20190166035A1 (en) * 2017-11-27 2019-05-30 Jpmorgan Chase Bank, N.A. Script accelerate
CN108984759A (zh) * 2018-07-19 2018-12-11 北京中电普华信息技术有限公司 一种数据转换方法、装置及电子设备
CA3053693A1 (en) * 2018-08-31 2020-02-29 Mindbridge Analytics Inc. Method and apparatus for shaping data
CN109325045A (zh) * 2018-09-21 2019-02-12 中国银行股份有限公司 一种开立银行的方法及装置
CN109800258A (zh) * 2018-12-10 2019-05-24 平安科技(深圳)有限公司 数据文件部署方法、装置、计算机设备及存储介质
CN109766340A (zh) * 2018-12-14 2019-05-17 广州优态科技有限公司 传入参数的自动校验方法
CN110489325A (zh) * 2019-07-09 2019-11-22 微民保险代理有限公司 车险数据测试方法、装置、测试平台及车险测试系统
CN110941593A (zh) * 2019-12-03 2020-03-31 浪潮卓数大数据产业发展有限公司 一种文件入库系统及方法
CN111221739A (zh) * 2020-01-10 2020-06-02 中国建设银行股份有限公司 业务测试方法、装置和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651843A (zh) * 2020-12-30 2021-04-13 中国平安人寿保险股份有限公司 产品的交纳方式控制方法、装置、计算机设备及存储介质
CN113419944A (zh) * 2021-05-26 2021-09-21 深圳开源互联网安全技术有限公司 模糊测试的初始化方法、装置及存储介质
CN113419944B (zh) * 2021-05-26 2022-07-12 深圳开源互联网安全技术有限公司 模糊测试的初始化方法、装置及存储介质
CN113705211A (zh) * 2021-10-29 2021-11-26 云账户技术(天津)有限公司 字号自动生成方法、装置、电子设备和可读存储介质
CN114024759A (zh) * 2021-11-09 2022-02-08 北京天融信网络安全技术有限公司 安全策略管控方法、装置、计算机设备和介质
CN114024759B (zh) * 2021-11-09 2024-02-02 北京天融信网络安全技术有限公司 安全策略管控方法、装置、计算机设备和介质
CN114048230A (zh) * 2021-11-29 2022-02-15 平安科技(深圳)有限公司 业务数据处理方法、装置、设备及存储介质
CN114048230B (zh) * 2021-11-29 2024-05-07 平安科技(深圳)有限公司 业务数据处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112035355A (zh) 数据处理方法、装置、计算机设备和存储介质
CN108268253B (zh) 接口代码生成方法及终端设备
CN102609403B (zh) 按示例格式化数据
CN110597814B (zh) 结构化数据的序列化、反序列化方法以及装置
CN111400170A (zh) 一种数据权限测试方法及装置
CN113312338A (zh) 数据一致性的校验方法、装置、设备、介质及程序产品
CN112631924A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN112817935A (zh) 基于字段类型的数据处理方法、装置、设备及存储介质
CN111949550A (zh) 自动生成测试数据的方法、装置、设备及存储介质
CN111666087A (zh) 运算规则更新方法、装置、计算机系统及可读存储介质
CN111625567A (zh) 数据模型匹配方法、装置、计算机系统及可读存储介质
CN111367982B (zh) 导入tririga基础数据的方法、装置、计算机设备及存储介质
CN111159985B (zh) 数据导出方法、装置、计算机设备和计算机可读存储介质
CN112699027A (zh) 一种接口测试方法、装置、设备及可读存储介质
CN114780497B (zh) 批量文件处理方法、装置、计算机设备、介质和程序产品
CN107025214A (zh) 数据处理方法和装置
CN115659942A (zh) 合同模板的生成、装置及设备
CN114490415A (zh) 业务测试方法、计算机设备、存储介质和计算机程序产品
CN114626352A (zh) 报表自动化生成方法、装置、计算机设备及存储介质
CN114564336A (zh) 数据一致性校验方法、装置、设备以及存储介质
CN116107971A (zh) 模型的数据处理方法、装置、电子设备以及存储介质
CN107436728A (zh) 规则分析结果存储方法、规则回溯方法及装置
CN112686759A (zh) 对账监测方法、装置、设备及介质
US11797644B2 (en) Identifying checksum mechanisms using linear equations
CN114065736A (zh) 文件校验方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination