CN110851446B - 数据表的生成方法、装置、计算机设备及存储介质 - Google Patents
数据表的生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110851446B CN110851446B CN201911082104.0A CN201911082104A CN110851446B CN 110851446 B CN110851446 B CN 110851446B CN 201911082104 A CN201911082104 A CN 201911082104A CN 110851446 B CN110851446 B CN 110851446B
- Authority
- CN
- China
- Prior art keywords
- data
- data table
- source
- name
- object list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
Abstract
本发明公开了一种数据表的生成方法、装置、计算机设备和存储介质,该方法包括:从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;对所述第一对象列表进行标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。本发明实施例的技术方案在将数据源导入数据表的过程中,无需在代码中指定数据对象与列标题之间的映射关系,利用预设的标签识别出数据名称作为数据表的列名,减少了数据库中数据对象与数据表列名对照错误的概率。
Description
技术领域
本发明实施例涉及数据处理技术,尤其涉及一种数据表的生成方法、装置、计算机设备及存储介质。
背景技术
在大多数业务操作平台中,业务层需要经常查询数据层中的数据表,以获取业务操作所需的数据源。目前,数据层通过谷歌提出的现代、开源、高效的远程过程调用(RemoteProcedure Call,RPC)接口的方式对外提供查询服务。
一般来说,当业务层从数据层中获取所需的数据源后,需要将该数据源导出至设定的数据表中,典型的,excel数据表。具体的,在数据导出之前,需要预先在excel数据表中,给出每一列的列标题,并需要指定数据源中的数据对象对应于该excel数据表中的具体哪一列,这样才能将数据源中数据对象的具体数值对应的填充于数据表中。
发明人在实现本发明的过程中,发现现有技术存在如下缺陷:开发人员需要预先在代码中指定每个数据对象与每个列标题之间的映射关系,代码编写繁琐,且易出错,尤其是当数据源中包括的数据对象很多时,可能会出现各种错误对照。
发明内容
本发明实施例提供了一种数据表的生成方法、装置、计算机设备及存储介质,在将数据源导入数据表的过程中,无需在代码中指定数据对象与列标题之间的映射关系,以减少出错概率。
第一方面,本发明实施例提供了一种数据表的生成方法,所述方法包括:
从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;
对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;
根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
第二方面,本发明实施例还提供了一种数据表的生成装置,该装置包括:
数据源获取模块,用于从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;
数据名称写入模块,用于对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;
数据对象值填充模块,用于根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
第三方面,本发明实施例还提供了一种计算机设备,该计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例提供的一种数据表的生成方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,该存储介质上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例提供的一种数据表的生成方法。
本发明实施例首先从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;然后对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;最后根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。本发明实施例在将数据源导入数据表的过程中,无需在代码中指定数据对象与列标题之间的映射关系,利用预设的标签识别出数据名称作为数据表的列名,减少了数据库中数据对象与数据表列名对照错误的概率。
附图说明
图1a是本发明实施例一中的一种数据表的生成方法的流程图;
图1b是本发明实施例一中的一种数据表的示意图;
图1c是本发明实施例一中的一种数据表的示意图;
图2是本发明实施例二中的一种数据表的生成方法的流程图;
图3是本发明实施例三中的一种数据表的生成方法的流程图;
图4是本发明实施例四中的一种数据表的生成装置的结构图;
图5是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的一种数据表的生成方法的流程图,本实施例可适用于从数据库中获取数据源后,使用该数据源自动生成数据表的情形,该方法可以由数据表的生成装置来执行,该装置可以由软件和/或硬件来实现,并一般可以集在具有数据识别与处理功能的终端或者服务器中,具体包括如下步骤:
步骤110、从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系。
在本实施例中,获取数据源的方式可以为直接获取,也可以为通过回调函数的方式获取。其中,通过回调函数的方式获取数据源包括:通过调用第一回调函数,从所述数据库中获取所述数据源,所述第一回调函数用于实现对所述数据库的远端接口调用。
典型的,可以通过调用gRPC接口的方式,获取数据源。
在本实施例中所述数据源包括:第一对象列表和多个第二对象列表。第一对象列表中包括数据对象与数据名称间的映射关系,所述数据对象可以为数据库代码中定义的字符串,如Nostr、BeginDt以及EndDt等,与所述数据对象对应的数据名称通过预设的标签进行标识,数据名称可以为序号、结算开始日期以及结算结束日期等。
在一个具体的示例中,第一对象列表的形式可以为:
通过反射来获取有TExcel标签标识的列,并给这些列对应到TExcel里面的标题。
其中,第一对象列表BillDTO中,包括多行数据,并以“行”为单位,定义了数据对象与数据名称间的映射关系。具体的,在第一对象列表的第一行定义的内容中,“NoStr”为数据对象,该数据对象与数据库中定义的数据对象相一致,通过该数据对象,可以对数据源中的数据进行识别,“序号”为数据名称,该数据名称为在数据表中写入的列名。TExcel为预设的标签,通过识别该标签,可以建立上述数据对象与数据名称之间的映射关系。
第二对象列表中包括数据对象与数据对象值间的映射关系,所述数据对象值指所述数据对象下具体映射的数据值,也即,数据库中返回的实际的数据结果。一般来说,数据库中的数据以“行”为单位作为数据源进行反馈,数据库中的每一行数据,对应于数据源中的一个第二对象列表。作为示例,第二对象列表的形式可以为:
具体的,在第二对象列表Bill1的第一行中定义的内容中,“NoStr”为数据对象,该数据对象与第一对象列表中的数据对象含义相同,“1”为数据对象值,表示在数据库中,在Bill1这一行数据中,“NoStr”的值为“1”。通过使用第一对象列表以及第二对象列表,可以识别出哪些数据名称是需要写入到数据表的列首位置的,并且以数据对象为中间量,可以建立出数据名称与数据值直接对应关系,进而可以确定出每个第二对象列表中的数据,具体应该填入数据表中的哪一个具体的位置。
步骤120、对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首。
具体的,可以首先针对数据库返回的数据源,预先建立一个数据表,本领域技术人员可以根据需要选择各种形式的数据表,例如,excel等,本实施例对此并不进行限制。
续前例,在步骤110中已经建立好用于确定数据名称的标签TExcel,将数据库代码中定义的字符串与所述标签进行比对,从而识别出数据对象关联的数据名称,如序号、结算开始日期以及结算结束日期等,并且将此数据名称当做数据表的列名,写入所述数据表各列的列首,如图1b所示。
步骤130、根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
续前例,在上述步骤中确定出数据表的列名如序号、结算开始日期以及结算结束日期等,对应的数据对象为Nostr、BeginDt以及EndDt等,所述数据对象下具体映射的数据值为1、2019-11-1以及2019-11-2等,然后将此数据对象值填入数据表的对应列中,如图1c所示。
相类似的,可以将数据源中包括的各个第二对象列表,按行写入该数据表中,也即,每个第二对象列表根据列名(数据名称)与数据对象之间的对应关系,将对应的数据对象值对应写入数据表的每个行中。
具体的,在得到与该数据源对应的数据表中,可以将该数据表进行本地存储或者云存储等,或者可以同时进行本地存储以及云存储,以方便后续的使用。
本发明实施例首先从数据库获取第一对象列表和多个第二对象列表;然后对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;最后根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。本发明实施例在将数据源导入数据表的过程中,无需在代码中指定数据对象与列标题之间的映射关系,利用预设的标签识别出数据名称作为数据表的列名,减少了数据库中数据对象与数据表列名对照错误的概率。
实施例二
本实施例在上述实施例一的基础上,提供了具体的获取数据源的实施方式。与上述实施例相同或相应的术语解释,本实施例不再赘述。
图2是本发明实施例二提供的一种数据表的生成方法的流程图,如图2所示,该方法包括如下步骤:
步骤210、获取与数据库中数据源匹配的标准回调参数。
以使用gRPC接口对数据库中的数据源进行远端接口调用为例,gRPC接口单次传输的数据量上限为4M,现有技术中在使用gRPC接口传输大于4M的数据源时,首先需要对获取的全部数据源整体打包为一个原始数据包后,再根据4M的传输上限,将该原始数据包分包为多个满足单次传输条件的分片数据包,在接收端收到这些分片数据包后,按照设定的数据包重组方式,再重组为一个整体的数据包进行后续处理,这样的数据操作过程提高了对程序开发者的要求,增加了编程难度以及程序代码的复杂度。
本实施例中通过调用第一回调函数,从所述数据库中获取所述数据源,通过判断数据源的数据量决定分段获取的次数,以实现对所述数据库的远端接口多次调用。
具体的,例如客户端请求的是3月-5月的工资数据,此工资数据的数据量大于4M,可以按照时间将请求参数进行分段,先请求3月,再请求4月,最后请求5月。每次请求都是一个数据包,避免了对数据包进行分包再重组的操作,减少了各方的工作量。
其中,所述标准回调参数为第一回调函数的默认参数值,该标准回调参数,与客户端实际的查询请求关联,具体用于提供给第一回调函数,以使该第一回调函数在数据库中定位所需请求的数据源。
例如,如果客户端的查询请求为“查询XX公司的XX项目组中的各个成员在3月-5月的工资”:该标准回调参数可以为:“XX公司”、“XX项目组”、“3月-5月”以及“工资”等。
步骤220、根据所述标准回调参数,获取所述数据源的数据行数,并根据所述数据行数,以及标准单行数据的字段数,计算所述数据源的数据量。
具体的,可以基于该调用第一回调函数,使用设定查询函数对该数据库进行查询,获取与该调用第一回调函数匹配的数据源的数据行数。
在此步骤中,所述数据源的数据量为所述数据行数与所述标准单行数据的字段数的乘积。
在一个具体的例子中,在根据所述标准回调参数,确定数据行数为1024行,并且根据经验数据,估计单行数据的字段数,也即标准单行数据的字段数为1Byte时,相应的,该数据源的数据量为1Byte*1024=1024Byte=1Kb。
步骤230、根据所述数据量,以及单次远端接口调用的数据传输量,计算数据分段数。
在此步骤中,所述分段数为所述数据量与所述单次远端接口调用的数据传输量的比值,具体的,该比值的向上取整值。
在一个具体的例子中,假设步骤220中计算出数据量为20M,gRPC接口单次传输数据量上限为4M,据此可以计算出所述数据分段数为5。也即,上述数据分段数为将数据源通过gRPC接口进行传输时,需要gRPC接口将整体数据源分为5个数据包,才能发送完成。在得到上述数据分段数后,可以通过多次调用的方式,分别获取5个独立的数据包,而不再需要经过数据包的分包以及重组的工作了。
步骤240、判断所述数据分段数是否大于1。
步骤250、如果所述数据分段数大于1,则根据所述数据分段数以及所述标准回调参数,构造与所述第一回调函数匹配的分段回调参数;根据所述分段回调参数多次调用所述第一回调函数,以分段获取所述数据源。
具体的,例如步骤230计算出数据分段数为5,单次远端接口调用的数据传输量为4M,通过调整函数参数重新构造出与第一回调函数匹配的分段回调参数。
在一个具体例子中,如果确定出的数据分段数为5,且确定获取所述数据源的数据行数为1000,则可以估计每次通过gRPC调用获取200行数据的话,请求5次,可以完成获取该数据源,进而可以相应修改标准回调参数为5个分段回调参数。例如,如果上述1000行数据涉及1000个用户,则可以将1000个用户分为5个由200个用户构成的小分组,并构造与每个小分组对应的分段回调参数,以分5次获取所需的数据。之后,通过对这5次获取的数据进行过滤和整合,以最终得到该数据源。
在此步骤中,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系。
步骤260、如果所述数据分段数等于1,则根据所述标准回调参数单次调用所述第一回调函数,以直接获取所述数据源。
如果该数据分段数等于1,则说明该数据源没有超过单次远端接口调用的数据传输量,也就不涉及数据包的拆分以及组装,进而可以直接对该第一回调函数进行调用。
所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系。
步骤270、对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首。
步骤280、根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
本发明实施例首先通过计算数据源的数据分段数将数据源获取方式分为分段获取和直接获取,所述数据源包括第一对象列表和多个第二对象列表;然后对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;最后根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。本发明实施例针对数据量大的情况采用分段获取数据源,降低了编码的复杂度,提高了数据获取与整合的效率;其次本发明实施例无需在代码中指定数据对象与列标题之间的映射关系,利用预设的标签识别出数据名称作为数据表的列名,减少了数据库中数据对象与数据表列名对照错误的概率。
实施例三
本实施例在上述实施例一的基础上,提供了具体的根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中的实施方式。与上述实施例相同或相应的术语解释,本实施例不再赘述。
图3是本发明实施例三提供的一种数据表的生成方法的流程图,如图3所示,该方法包括如下步骤:
步骤310、从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系。
步骤320、对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首。
步骤330、获取当前处理的第二对象列表中当前处理的目标数据对象值。
在此步骤中,所述目标数据对象值为数据库中设定数据对象下对应的具体数据值,比如具体的序号、身份证号码、手机号码、日期以及金额等数值。
步骤340、判断是否需要对所述目标数据对象值进行数据规则处理。
在步骤330中获取到目标数据对象值后,判断所述目标数据对象值是否需要数据规则处理。
在此步骤中,所述数据规则处理的类型包括下述至少一项:身份证脱敏、手机号脱敏、年月日转换以及金钱换算等通用规则。
本实施例中利用上述通用规则定义了不同的枚举结构,以使用不同枚举结构区分或者引用不同类型的数据规则处理。
步骤350、若是,则采用匹配的数据规则对所述目标数据对象值进行处理,并将处理后的所述目标数据对象值对应填充于所述数据表中。
在此步骤中,如果某些目标数据对象值需要加密,则采用对应的加密规则对所述目标数据对象值进行处理,并将加密后的目标数据对象值对应填充于所述数据表中;如果某些目标数据对象值需要进行格式转换(时间转换或者元角分换算等金钱换算),则采用对应的格式转换规则对所述目标数据对象值进行处理,并将转换后的目标数据对象值对应填充于所述数据表中。
其中,采用匹配的数据规则对所述目标数据对象值进行处理可以为采用方法内置的通用规则对所述目标数据对象值进行处理;也可以为接口回调的方式,具体包括:调用与所述数据规则匹配的第二回调函数,对所述目标数据对象值进行处理。
步骤360、若否,则直接将所述目标数据对象值对应填充于所述数据表中。
步骤370、判断是否需要对所述数据表进行表格样式转换。
在此步骤中,生成数据表后判断所述数据表是否需要进行表格样式转换,比如转换数据表中的某些行的颜色、字体以及宽度等样式。
具体的,可以对整个数据表进行格式转换,也可以对数据表中的某一行或者某一列进行格式装换。
步骤380、若是,则获取行表格样式转换参数,并根据所述行表格样式转换调用第三回调函数,得到样式转换后的数据表。
其中,对所述数据表进行表格样式转换可以为采用方法内置的通用转换方式对所述数据表进行处理;也可以为接口回调的方式,具体包括:获取行表格样式转换参数,并根据所述行表格样式转换调用第三回调函数,得到样式转换后的数据表。
步骤390、将所述数据表进行云存储,并根据所述数据表的云存储位置,返回匹配的存储链接。
在此步骤中,数据表可以选择自动上传到云端,返回链接,也可以给定文件目录,输出excel文件。
本发明实施例首先从数据库获取数据源,所述数据源包括第一对象列表和多个第二对象列表;然后对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首,对需要进行数据规则处理的目标数据对象值进行处理,将处理后的目标数据对象值对应填充于所述数据表中;最后对需要进行表格样式转换的数据表进行转换,将最终的数据表进行存储。本发明实施例无需在代码中指定数据对象与列标题之间的映射关系,利用预设的标签识别出数据名称作为数据表的列名,减少了数据库中数据对象与数据表列名对照错误的概率;其次本发明实施例对数据对象值进行了规则处理,对数据表进行了样式转换,实现了数据的规范化,保证了用户的体验度。
实施例四
图4为本发明实施例四提供的一种数据表的生成装置的结构图,该装置包括:数据源获取模块410、数据名称写入模块420和数据对象值填充模块430。
其中,数据源获取模块410,用于从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;数据名称写入模块420,用于对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;数据对象值填充模块430,用于根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
本实施例的技术方案首先通过数据源获取模块获取到第一对象列表和多个第二对象列表;然后利用数据名称写入模块对所述第一对象列表进行识别,并将识别出的数据名称分别写入数据表中各列的列首;最后利用数据对象值填充模块将各所述第二对象列表中的数据对象值对应填充于所述数据表中。本实施例提供了一种有效的数据表的生成装置,在将数据源导入数据表的过程中,无需在代码中指定数据对象与列标题之间的映射关系,利用预设的标签识别出数据名称作为数据表的列名,减少了数据库中数据对象与数据表列名对照错误的概率。
在上述各实施例的基础上,数据源获取模块410可以包括:
远端接口调用单元,用于通过调用第一回调函数,从所述数据库中获取所述数据源,所述第一回调函数用于实现对所述数据库的远端接口调用。
远端接口调用单元可以包括:
标准回调参数获取单元,用于获取与所述数据源匹配的标准回调参数;
数据量计算单元,用于根据所述标准回调参数,获取所述数据源的数据行数,并根据所述数据行数,以及标准单行数据的字段数,计算所述数据源的数据量;
数据分段数计算单元,用于根据所述数据量,以及单次远端接口调用的数据传输量,计算数据分段数;
分段数判断单元,用于判断所述数据分段数是否大于1;
数据源分段获取单元,用于在数据分段数大于1的情况下根据所述数据分段数以及所述标准回调参数,构造与所述第一回调函数匹配的分段回调参数;根据所述分段回调参数多次调用所述第一回调函数,以分段获取所述数据源;
数据源直接获取单元,用于在数据分段数等于1的情况下根据所述标准回调参数单次调用所述第一回调函数,以直接获取所述数据源。
数据对象值填充模块430可以包括:
目标数据对象值获取单元,用于获取当前处理的第二对象列表中当前处理的目标数据对象值;
数据规则处理判断单元,用于判断是否需要对所述目标数据对象值进行数据规则处理;
其中,所述数据规则处理的类型包括下述至少一项:身份证脱敏、手机号脱敏、年月日转换以及金钱换算。
目标数据对象值填充单元,用于当目标数据对象值需要进行规则处理时,采用匹配的数据规则对所述目标数据对象值进行处理,并将处理后的所述目标数据对象值对应填充于所述数据表中;当目标数据对象值不需要进行规则处理时,直接将所述目标数据对象值对应填充于所述数据表中;
其中,采用匹配的数据规则对所述目标数据对象值进行处理,包括:调用与所述数据规则匹配的第二回调函数,对所述目标数据对象值进行处理。
所述数据表的生成装置还可以包括:
数据表表格样式转换模块,用于判断是否需要对所述数据表进行表格样式转换;若是,则获取行表格样式转换参数,并根据所述行表格样式转换调用第三回调函数,得到样式转换后的数据表;
数据表存储模块,用于将所述数据表进行云存储,并根据所述数据表的云存储位置,返回匹配的存储链接。
本发明实施例所提供的数据表的生成装置可执行本发明任意实施例所提供的数据表的生成方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图,如图5所示,该计算机设备包括处理器510、存储器520、输入装置530和输出装置540;计算机设备中处理器510的数量可以是一个或多个,图5中以一个处理器510为例;计算机设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器520作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的一种数据表的生成方法对应的程序指令/模块(例如,一种数据表的生成装置中的数据源获取模块410、数据名称写入模块420和数据对象值填充模块430)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的一种数据表的生成方法。也即,该程序被处理器执行时实现:
从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;
对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;
根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器520可进一步包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入,可以包括键盘和鼠标等。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的一种数据表的生成方法。当然,本发明实施例所提供的一种计算机可读存储介质,其可以执行本发明任意实施例所提供的数据表的生成方法中的相关操作。也即,该程序被处理器执行时实现:
从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;
对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;
根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述一种数据表的生成装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种数据表的生成方法,其特征在于,包括:
从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;
对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;
根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
2.根据权利要求1所述的方法,其特征在于,从数据库获取数据源,包括:
通过调用第一回调函数,从所述数据库中获取所述数据源,所述第一回调函数用于实现对所述数据库的远端接口调用。
3.根据权利要求2所述的方法,其特征在于,通过调用第一回调函数,从所述数据库中获取所述数据源,包括:
获取与所述数据源匹配的标准回调参数;
根据所述标准回调参数,获取所述数据源的数据行数,并根据所述数据行数,以及标准单行数据的字段数,计算所述数据源的数据量;
根据所述数据量,以及单次远端接口调用的数据传输量,计算数据分段数;
如果所述数据分段数大于1,则根据所述数据分段数以及所述标准回调参数,构造与所述第一回调函数匹配的分段回调参数;
根据所述分段回调参数多次调用所述第一回调函数,以分段获取所述数据源。
4.根据权利要求3所述的方法,其特征在于,在根据所述数据量,以及单次远端接口调用的数据传输量,计算数据分段数之后,还包括:
如果所述数据分段数等于1,则根据所述标准回调参数单次调用所述第一回调函数,以直接获取所述数据源。
5.根据权利要求1-4任一项所述的方法,其特征在于,根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中,包括:
获取当前处理的第二对象列表中当前处理的目标数据对象值;
判断是否需要对所述目标数据对象值进行数据规则处理;
若是,则采用匹配的数据规则对所述目标数据对象值进行处理,并将处理后的所述目标数据对象值对应填充于所述数据表中;
若否,则直接将所述目标数据对象值对应填充于所述数据表中。
6.根据权利要求5所述的方法,其特征在于,所述数据规则处理的类型包括下述至少一项:
身份证脱敏、手机号脱敏、年月日转换以及金钱换算。
7.根据权利要求5所述的方法,其特征在于,采用匹配的数据规则对所述目标数据对象值进行处理,包括:
调用与所述数据规则匹配的第二回调函数,对所述目标数据对象值进行处理。
8.根据权利要求1所述的方法,其特征在于,在将各所述第二对象列表中的数据对象值对应填充于所述数据表中之后,还包括:
判断是否需要对所述数据表进行表格样式转换;
若是,则获取行表格样式转换参数,并根据所述行表格样式转换调用第三回调函数,得到样式转换后的数据表。
9.根据权利要求1所述的方法,其特征在于,在将各所述第二对象列表中的数据对象值对应填充于所述数据表中之后,还包括:
将所述数据表进行云存储,并根据所述数据表的云存储位置,返回匹配的存储链接。
10.一种数据表的生成装置,其特征在于,包括:
数据源获取模块,用于从数据库获取数据源,所述数据源包括:第一对象列表和多个第二对象列表;第一对象列表中包括数据对象与数据名称间的映射关系,数据名称通过预设的标签进行标识,第二对象列表中包括数据对象与数据对象值间的映射关系;
数据名称写入模块,用于对所述第一对象列表进行所述标签的识别,并将识别出的每个标签所关联的数据名称分别写入数据表中各列的列首;
数据对象值填充模块,用于根据所述第一对象列表中数据名称与所述第二对象列表中数据对象值之间的对应关系,将各所述第二对象列表中的数据对象值对应填充于所述数据表中。
11.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的一种数据表的生成方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的一种数据表的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911082104.0A CN110851446B (zh) | 2019-11-07 | 2019-11-07 | 数据表的生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911082104.0A CN110851446B (zh) | 2019-11-07 | 2019-11-07 | 数据表的生成方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110851446A CN110851446A (zh) | 2020-02-28 |
CN110851446B true CN110851446B (zh) | 2022-10-28 |
Family
ID=69599319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911082104.0A Active CN110851446B (zh) | 2019-11-07 | 2019-11-07 | 数据表的生成方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110851446B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112784553A (zh) * | 2020-12-31 | 2021-05-11 | 语联网(武汉)信息技术有限公司 | 将数据导出为Excel文档的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103593445A (zh) * | 2013-11-15 | 2014-02-19 | 北京国双科技有限公司 | 数据填充方法及装置 |
CN109002560A (zh) * | 2018-08-23 | 2018-12-14 | 平安科技(深圳)有限公司 | 文档导出方法、装置、计算机设备及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9720971B2 (en) * | 2008-06-30 | 2017-08-01 | International Business Machines Corporation | Discovering transformations applied to a source table to generate a target table |
-
2019
- 2019-11-07 CN CN201911082104.0A patent/CN110851446B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103593445A (zh) * | 2013-11-15 | 2014-02-19 | 北京国双科技有限公司 | 数据填充方法及装置 |
CN109002560A (zh) * | 2018-08-23 | 2018-12-14 | 平安科技(深圳)有限公司 | 文档导出方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110851446A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
CN108664582B (zh) | 企业关系的查询方法、装置、计算机设备及存储介质 | |
WO2018201887A1 (zh) | 数据响应方法、装置、终端设备及介质 | |
US20200286100A1 (en) | Payment complaint method, device, server and readable storage medium | |
CN107870989A (zh) | 网页生成方法及终端设备 | |
CN108460068B (zh) | 报表导入导出的方法、装置、存储介质及终端 | |
CN110738038A (zh) | 合同文本的生成方法、装置、设备及计算机可读存储介质 | |
CN110633959A (zh) | 基于图结构的审批任务创建方法、装置、设备及介质 | |
CN112559526A (zh) | 数据表导出方法、装置、计算机设备及存储介质 | |
CN115827084A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN110851446B (zh) | 数据表的生成方法、装置、计算机设备及存储介质 | |
CN111047434A (zh) | 一种操作记录生成方法、装置、计算机设备和存储介质 | |
CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
CN113626512A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
CN117093619A (zh) | 一种规则引擎处理方法、装置、电子设备及存储介质 | |
CN116360769A (zh) | 代码生成方法、装置、设备及存储介质 | |
CN108196921B (zh) | 单据开发方法、装置、计算机设备和存储介质 | |
CN109271564A (zh) | 保单查询方法及设备 | |
CN115858905A (zh) | 数据处理的方法、装置、电子设备和存储介质 | |
CN115098738A (zh) | 业务数据的提取方法、装置、存储介质及电子设备 | |
CN114238585A (zh) | 基于5g消息的查询方法、装置、计算机设备和存储介质 | |
CN115168509A (zh) | 风控数据的处理方法及装置、存储介质、计算机设备 | |
CN114840586A (zh) | 一种数据转换方法、设备、服务器及计算机可读存储介质 | |
CN111506644B (zh) | 一种应用数据处理方法、装置和电子设备 | |
CN111597240A (zh) | 数据导出方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |