CN111767350A - 数据仓库测试方法、装置、终端设备及存储介质 - Google Patents
数据仓库测试方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111767350A CN111767350A CN202010617022.8A CN202010617022A CN111767350A CN 111767350 A CN111767350 A CN 111767350A CN 202010617022 A CN202010617022 A CN 202010617022A CN 111767350 A CN111767350 A CN 111767350A
- Authority
- CN
- China
- Prior art keywords
- source
- data
- target
- association
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 101
- 238000012216 screening Methods 0.000 claims abstract description 141
- 238000013507 mapping Methods 0.000 claims abstract description 60
- 238000013515 script Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用于大数据技术领域，提供了一种数据仓库测试方法、装置、终端设备及存储介质，其中，一种数据仓库测试方法，包括：根据用户设置的表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表；根据表格映射文档中的表格筛选条件对目标表和源表进行数据筛选得到目标筛选表和源筛选表；根据表格映射文档中的表格关联关系分别对目标筛选表和所述源筛选表进行关联查询得到目标关联表和源关联表；将目标关联表和源关联表进行数据比对，将数据比对结果作为测试结果进行输出。本实施例中无需用户手动进行目标表和源表的查询、目标表和源表的数据筛选、目标筛选表和源筛选表的关联查询、目标关联表和源关联表的数据比对，方便了用户的操作。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种数据仓库测试方法、装置、终端设备及存储介质。
背景技术
数据仓库(Data Warehouse，DWH)是保存企业生产或研发过程中产生的数据的集合。数据仓库通常用于记录企业从过去某一时点到当前的各个阶段的信息数据，管理者通过这些数据，可以对企业的发展历程和未来趋势做出定量分析和预测。
数据仓库使用过程中，需要定期对其进行数据测试，以判断数据仓库中存储的数据与相关联的数据库中的数据是否准确，但现有的数据仓库测试过程中，需要花费较多时间核对表结构和数据处理结果的正确性，且数据仓库测试过程中，需要用户手动的进行目标表和源表的查询、数据筛选和关联查询，进而降低了数据仓库测试效率。
发明内容
有鉴于此，本申请实施例提供了一种数据仓库测试方法、装置、终端设备及存储介质，以解决现有技术中数据仓库测试过程中用户操作不便利的问题。
本申请实施例的第一方面提供了一种数据仓库测试方法，包括：
获取用户设置的表格映射文档，并根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，所述表格映射文档中存储有所述目标表、所述源表的表格标识和所述关联数据库的关联库地址；
根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表；
根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表；
将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出。
进一步地，所述根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，包括：
与所述待测试数据仓库进行数据连接，并根据所述表格映射文档中存储的第一表格标识对所述待测试数据仓库分别进行表格查询和数仓脚本查询；
若表格查询和数仓脚本查询均成功，则将查询到的表格设置为所述目标表；
若表格查询和数仓脚本查询均失败，则发出目标表查询错误提示；
若表格查询成功，且数仓脚本查询失败，则将查询到的表格设置为所述目标表，并发出脚本查询失败提示；
若表格查询失败，且数仓脚本查询成功，则对查询到的数仓脚本进行运行，并在所述数仓脚本运行后，根据所述第一表格标识重新对所述待测试数据仓库进行表格查询，若表格查询成功，则将查询到的表格设置为所述目标表，若表格查询失败，则发出目标表查询错误提示。
进一步地，所述根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，还包括：
根据所述关联库地址与所述关联数据库进行数据连接，并根据所述表格映射文档中存储的第二表格标识对所述关联数据库进行表格查询；
若表格查询成功，则将查询到的表格设置为所述源表；
若表格查询失败，则发出源表查询错误提示。
进一步地，所述根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表，包括：
获取所述表格筛选条件中的目标字段，并根据所述目标字段对所述目标表进行列表数据查询，得到所述目标筛选表；
获取所述表格筛选条件中的源字段，并根据所述源字段对所述源表进行列表数据查询，得到所述源筛选表。
进一步地，所述根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表，包括：
获取所述表格关联关系中的目标关联关系，并根据所述目标关联关系中存储的表头信息对所述目标筛选表进行表格数据查询，得到目标列表；
根据所述目标关联关系中存储的表头顺序对所述表头信息对应的所述目标列表进行排序，得到所述目标关联表；
获取所述表格关联关系中的源关联关系，并根据所述源关联关系中存储的主表标识确定所述源筛选表中的源主表；
根据所述源主表对其他所述源关联表进行表格关联，得到所述源关联表。
进一步地，所述将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出，包括：
对所述目标关联表和所述源关联表进行数据量比对；
若所述目标关联表和所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试合格；
若所述目标关联表和所述源关联表的数据量不相同，则将所述源主表的数据量与每次表格关联后所述源关联表的数据量进行比对；
若所述源主表的数据量与所述源关联表的数据量不相同，则针对所述源关联表发送关联错误提示；
若所述源主表的数据量与所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试不合格，并针对所述目标表发送数据量存储错误提示。
进一步地，所述将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出，包括：
对所述目标关联表和所述源关联表进行数据明细比对；
若所述目标关联表和所述源关联表的数据明细相同，则判定所述待测试数据仓库的数据明细测试合格；
若所述目标关联表和所述源关联表的数据明细不相同，则将所述源主表的数据字段与每次表格关联后所述源关联表的数据字段进行比对；
若所述源主表的数据字段与所述源关联表的数据字段不相同，则针对所述源关联表发送关联错误提示；
若所述源主表的数据字段与所述源关联表的数据字段相同，则判定所述待测试数据仓库的数据明细测试不合格，并针对所述目标表发送数据明细存储错误提示；
将所述数据比对结果上传至区块链中。
进一步地，所述方法还包括：
将所述数据比对结果上传至区块链中。
本申请实施例的第二方面提供了一种数据仓库测试装置，包括：
表格查询单元，用于获取用户设置的表格映射文档，并根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，所述表格映射文档中存储有所述目标表、所述源表的表格标识和所述关联数据库的关联库地址；
数据筛选单元，用于根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表；
关联查询单元，用于根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表；
数据比对单元，用于将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出。
本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在终端设备上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方案提供的数据仓库测试方法的各步骤。
本申请实施例的第五方面提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方案提供的数据仓库测试方法的各步骤。
实施本申请实施例提供的一种数据仓库测试方法、装置、终端设备及存储介质具有以下有益效果：
本申请实施例提供的一种数据仓库测试方法，可以根据用户设置的表格映射文档自动进行目标表和源表的查询，根据表格映射文档中用户设置的表格筛选条件能自动对目标表和源表进行数据筛选得到目标筛选表和源筛选表，根据表格映射文档中用户设置的表格关联关系能自动对目标筛选表和源筛选表进行关联查询得到目标关联表和源关联表，基于目标关联表和源关联表的数据比对结果以得到待测试数据仓库的测试结果，本申请实施例提供的一种数据仓库测试方法无需用户手动进行目标表和源表的查询、目标表和源表的数据筛选、目标筛选表和源筛选表的关联查询、目标关联表和源关联表的数据比对操作，进而方便了用户的操作，提高了数据仓库测试效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据仓库测试方法的实现流程图；
图2是本申请另一实施例提供的一种数据仓库测试方法的实现流程图；
图3是本申请再一实施例提供的一种数据仓库测试方法的实现流程图；
图4是本申请另一实施例提供的一种数据仓库测试方法的实现流程图；
图5是本申请再一实施例提供的一种数据仓库测试方法的实现流程图；
图6是本申请实施例提供的一种数据仓库测试装置的结构框图；
图7是本申请实施例提供的一种终端设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例所涉及的数据仓库测试方法，可以由控制设备或终端(以下称“移动终端”)执行。
请参阅图1，图1示出了本申请实施例提供的一种数据仓库测试方法的实现流程图，包括：
步骤S10，获取用户设置的表格映射文档，并根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表；
其中，所述表格映射文档中存储有所述目标表、所述源表的表格标识和所述关联数据库的关联库地址，该目标表的表格标识包括：目标表所在环境、目标表名、目标表字段名称、目标表字段数据类型/长度，该源表的表格标识包括：源表所在环境/数据库/数据库配置、源表表名、源表字段名称、源表字段数据类型/长度。
具体的，该步骤中，当根据该目标表名在该待测试数据仓库中查询到目标表、根据该源表表名在该关联数据库中查询到源表时，获取该目标表的表字段信息和源表的字段信息，该字段信息包括表字段名称和表字段数据类型/长度，并分别判断该目标表的表字段信息和源表的字段信息与表格映射文档中对应表格标识中的表字段信息是否相同；
若判断到目标表和/或源表的表字段信息与表格映射文档中对应表格标识中的表字段信息是否不相同，则针对该目标表和/或源表发送查询错误提示。
步骤S20，根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表；
其中，该表格筛选条件用于根据用户指定的字段分别对目标表和源表进行数据筛选，以得到该目标筛选表和源筛选表，该表格筛选条件针对该目标表和源表设置的字段可以相同或不相同，该字段可以是任意列表文字或表头文字。
可选的，该字段可以为用户姓名、用户年龄、用户考试成绩、城市名称、城市地址或任一的编号等，例如，当针对该目标表和源表的字段均为用户姓名“张三”，则根据该“张三”对目标表和源表进行数据筛选，提取该目标表和源表中携带有“张三”的列表信息，以得到对应的目标筛选表和源筛选表。
此外，该步骤中，该表格筛选条件可以存储有多个不同的字段，基于该字段采用多维度的方式分别对该目标表和源表进行数据筛选，以得到对应的目标筛选表和源筛选表。
可选的，该步骤中，将筛选后的目标筛选表和源筛选表存储至临时文件，进而有效的方便了后续针对该目标筛选表和源筛选表的关联查询。
步骤S30，根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表；
其中，该表格关联关系包括目标关联关系和源关联关系，该目标关联关系用于针对该目标筛选表中的列表数据进行自关联查询，以生成该目标关联表，该目标关联关系中至少设置有两个表头信息，该步骤根据该表头信息，将对应的列表数据进行对应关联，以得到该目标关联表，例如，该表头信息为“姓名信息”和“成绩信息”，则将该目标筛选表中的“姓名信息”和“成绩信息”进行对应关联，以生成该目标关联表。
该步骤中，该源关联关系用于在不同的源筛选表之间进行关联查询，该源关联关系可以为两表关联、三表关联或四表关联等，即针对源筛选表进行两个不同的源筛选表之间的关联、三个不同的源筛选表之间的关联或四个不同的源筛选表之间的关联等，以生成对应的源关联表。
步骤S40，将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出；
其中，该目标关联表和源关联表之间的数据比对包括数据量比对和数据明细比对，即以数据量和数据明细为比对条件对目标关联表和源关联表进行比对，并将目标关联表和源关联表的数据量比对结果和数据明细比对结果作为该待测试数据仓库的测试结果进行输出。
以上可以看出，可以根据用户设置的表格映射文档自动进行目标表和源表的查询，根据表格映射文档中用户设置的表格筛选条件能自动对目标表和源表进行数据筛选得到目标筛选表和源筛选表，根据表格映射文档中用户设置的表格关联关系能自动对目标筛选表和源筛选表进行关联查询得到目标关联表和源关联表，基于目标关联表和源关联表的数据比对结果以得到待测试数据仓库的测试结果，本申请实施例提供的一种数据仓库测试方法无需用户手动进行目标表和源表的查询、目标表和源表的数据筛选、目标筛选表和源筛选表的关联查询、目标关联表和源关联表的数据比对操作，进而方便了用户的操作，提高了数据仓库测试效率。
请参阅图2，图2是本申请另一实施例提供的一种数据仓库测试方法的实现流程图。相对于图1对应的实施例，本实施例提供的数据仓库测试方法是对图1对应的实施例中步骤S10的进一步细化，步骤S10包括：
S11，与所述待测试数据仓库进行数据连接，并根据所述表格映射文档中存储的第一表格标识对所述待测试数据仓库分别进行表格查询和数仓脚本查询；
其中，该第一表格标识可以采用表格名称或表格编号的方式进行存储，该待测试数据仓库中的数仓脚本均携带对应表格的表格标识。
可选的，该步骤中，若与待测试数据仓库的数据连接失败，则针对该待测试数据仓库发送连接错误提示。
S12，若表格查询和数仓脚本查询均成功，则将查询到的表格设置为所述目标表；
S13，若表格查询和数仓脚本查询均失败，则发出目标表查询错误提示；
S14，若表格查询成功，且数仓脚本查询失败，则将查询到的表格设置为所述目标表，并发出脚本查询失败提示；
其中，该脚本查询失败提示可以采用文字、语音或图像的方式对用户进行提示，该脚本查询失败提示中存储的提示信息可以根据用户的需求进行设置，例如，该提示信息可以为文本“目标表存在，但数仓脚本不存在，只能用目标表现有数据测试”等。
S15，若表格查询失败，且数仓脚本查询成功，则对查询到的数仓脚本进行运行，并在所述数仓脚本运行后，根据所述第一表格标识重新对所述待测试数据仓库进行表格查询，若表格查询成功，则将查询到的表格设置为所述目标表，若表格查询失败，则发出目标表查询错误提示；
其中，通过对查询到的数仓脚本进行运行的设计，以达到恢复生成该目标表的效果。
可选的，当在该数仓脚本运行后，保留跑数日志及执行结果(若跑数失败会有短信、邮件提醒)，并根据该第一表格标识再次对待测试数据仓库进行表格查询，以判断该目标表是否存在，若目标表存在，则继续测试，若目标表不存在，则测试失败，发出目标表查询错误提示。
S16，根据所述关联库地址与所述关联数据库进行数据连接，并根据所述表格映射文档中存储的第二表格标识对所述关联数据库进行表格查询；
S17，若表格查询成功，则将查询到的表格设置为所述源表；
S18，若表格查询失败，则发出源表查询错误提示；
本实施例中，通过根据第一表格标识和第二表格标识分别对待测试数据仓库和关联数据仓库进行表格查询的设计，以分别判断该待测试数据仓库和关联数据仓库中是否存储有目标表和源表，使得无需用户手动的进行目标表和源表的查询，方便了用户的操作，且通过根据第一表格标识对待测试数据仓库进行数仓脚本查询的设计，使得在未查询到目标表的情况下，能重新生成该目标表，进而保障了目标表的查询效率。
请参阅图3，图3是本申请另一实施例提供的一种数据仓库测试方法的实现流程图。相对于图1对应的实施例，本实施例提供的数据仓库测试方法是对图1对应的实施例中步骤S20的进一步细化，步骤S20包括：
S21，获取所述表格筛选条件中的目标字段，并根据所述目标字段对所述目标表进行列表数据查询，得到所述目标筛选表；
其中，该目标字段可以是任意列表文字或表头文字，当该目标字段为列表文字时，则根据该目标字段对目标表中的列表数据进行文字匹配，并提取携带该列表文字的列表数据，得到该目标筛选表；
当该目标字段为表头文字时，则根据该目标字段对目标表中的表头进行文字匹配，并提取匹配到的表头下的列表数据，得到该目标筛选表。
可选的，该步骤中，根据该目标字段和预设查询SQL以生成目标表查询SQL，并对该目标表执行该目标表查询SQL，以得到该目标筛选表。
该步骤中，若根据该目标字段在目标表中未查询到对应数据时，则发出目标表筛选错误提示。
S22，获取所述表格筛选条件中的源字段，并根据所述源字段对所述源表进行列表数据查询，得到所述源筛选表；
可以理解的，该源字段对源表的列表数据查询方式与该目标字段对目标表的列表数据查询方式相同，在此不再赘述。
本实施例中，根据目标字段和源字段分别对目标表和源表进行列表数据查询的设计，以达到对目标表和源表的数据筛选的效果，使得用户无需手动进行目标标表和源表的数据筛选，方便了用户的操作。
请参阅图4，图4是本申请另一实施例提供的一种数据仓库测试方法的实现流程图。相对于图1对应的实施例，本实施例提供的数据仓库测试方法是对图1对应的实施例中步骤S30的进一步细化，步骤S30包括：
S31，获取所述表格关联关系中的目标关联关系，并根据所述目标关联关系中存储的表头信息对所述目标筛选表进行表格数据查询，得到目标列表；
其中，该目标关联关系用于查询目标筛选表中，用户预设的表头信息对应的表格数据，并将查询到的所有表格数据进行合并，以得到该目标列表。
具体的，该目标关联关系中可以存储有多个不同的表头信息，该表头信息可以根据用户的需求进行设置，例如，该表头信息可以为“姓名信息”和“成绩信息”，则根据该“姓名信息”和“成绩信息”对目标筛选表中的表头进行查询，并将查询到的表头下的表格数据进行合并，以得到该目标列表。
可选的，该步骤中，根据该目标关联关系和第一预设关联SQL以生成目标表关联SQL，并对该目标筛选表执行该目标表关联SQL，以得到该目标列表。
S32，根据所述目标关联关系中存储的表头顺序对所述表头信息对应的所述目标列表进行排序，得到所述目标关联表；
其中，该表头顺序用于对查询到的表头信息对应的目标列表进行排序，并将排序后的列表设置为该目标关联表，。
S33，获取所述表格关联关系中的源关联关系，并根据所述源关联关系中存储的主表标识确定所述源筛选表中的源主表；
其中，该源表的数量至少为两个，对应的，该源筛选表的数量至少为两个，因此，该步骤中，将该源关联关系中存储的主表标识分别与源表的表格标识进行匹配，并将匹配到的表格标识对应的源表对应的源筛选表设置为该源主表。
S34，根据所述源主表对其他所述源关联表进行表格关联，得到所述源关联表；
其中，存储包括源主表中的所有表格数据和其他源关联表中与源主表中联结字段相等的表格数据，以得到该源关联表；
例如，源主表为：
| aID | aNum |
| 1 | a20050111 |
| 2 | a20050112 |
| 3 | a20050113 |
| 4 | a20050114 |
| 5 | a20050115 |
源关联表为：
| bID | bNum |
| 1 | 2006032401 |
| 2 | 2006032402 |
| 3 | 2006032403 |
| 4 | 2006032404 |
| 8 | 2006032408 |
则，源主表对源关联表进行表格关联后得到的源关联表为：
| aID | aNum | bID | bNum |
| 1 | a20050111 | 1 | 2006032401 |
| 2 | a20050112 | 2 | 2006032402 |
| 3 | a20050113 | 3 | 2006032403 |
| 4 | a20050114 | 4 | 2006032404 |
| 5 | a20050115 | NULL | NULL |
可选的，该步骤中，若该源筛选表的数量大于两个，且该源关联关系为两两关联时，则将该源主表分别与不同的源关联表进行表格关联，并分别存储每次表格关联后得到的源关联表。
此外，该步骤中，根据该表格关联关系中存储的表头顺序对该源关联表进行排序，提高了后续目标关联表和源关联表之间数据比对的准确性，进而提高了待测试数据仓库的数据测试的准确性。
本申请中，通过根据目标关联关系中存储的表头信息对目标筛选表进行表格数据查询，并根据目标关联关系中存储的表头顺序对表头信息对应的目标列表进行排序的设计，以自动得到目标关联表，通过根据源关联关系中存储的主表标识确定源筛选表中的源主表，并根据源主表对其他源关联表进行表格关联的设计，以自动关联得到源关联表，进而使得用户无需手动的进行目标关联表和源关联表的查询，方便了用户的测试操作。
请参阅图5，图5是本申请另一实施例提供的一种数据仓库测试方法的实现流程图。相对于图1对应的实施例，本实施例提供的数据仓库测试方法是对图1对应的实施例中步骤S40的进一步细化，步骤S40包括：
S41，分别对所述目标关联表和所述源关联表进行数据量比对和数据明细比对；
其中，分别获取该目标关联表和每个源关联表的数据量和数据明细，并将目标关联表的数据量和数据明细分别与每个源关联表的数据量和数据明细进行比对。
S42，若所述目标关联表和所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试合格；
其中，若目标关联表和所有源关联表的数据量均相同，则判定该目标表在该待测试数据仓库的数据量存储正确，该待测试数据仓库的数据量测试合格。
S43，若所述目标关联表和所述源关联表的数据量不相同，则将所述源主表的数据量与每次表格关联后所述源关联表的数据量进行比对；
其中，若目标关联表和任一源关联表的数据量不相同，则将源主表的数据量与每次表格关联后源关联表的数据量进行比对，以判断该源主表的数据量在表格关联后是否有发生变化。
S44，若所述源主表的数据量与所述源关联表的数据量不相同，则针对所述源关联表发送关联错误提示；
其中，若源主表的数据量与任一源关联表的数据量不相同，则判定与该源主表的数据量不相同的源关联表存在关联错误，通过针对关联错误的源关联表发送关联错误提示的设计，以提示用户对该源关联表进行人工查看。
S45，若所述源主表的数据量与所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试不合格，并针对所述目标表发送数据量存储错误提示；
其中，若源主表的数据量与所有源关联表的数据量均相同，则判定该目标表在该待测试数据仓库中存储的数据量错误，因此，该待测试数据仓库的数据量测试不合格，并通过针对目标表发送数据量存储错误提示的设计，以提示用户针对该目标表在待测试数据仓库中重新进行数据量的存储。
S46，若所述目标关联表和所述源关联表的数据明细相同，则判定所述待测试数据仓库的数据明细测试合格；
其中，若目标关联表和所有源关联表的数据明细均相同，则判定该目标表在该待测试数据仓库的数据明细存储正确，该待测试数据仓库的数据明细测试合格。
S47，若所述目标关联表和所述源关联表的数据明细不相同，则将所述源主表的数据字段与每次表格关联后所述源关联表的数据字段进行比对；
其中，若目标关联表和任一源关联表的数据明细不相同，则将源主表的数据字段与每次表格关联后源关联表的数据字段进行比对，以判断该源主表的数据字段在表格关联后是否有发生变化。
S48，若所述源主表的数据字段与所述源关联表的数据字段不相同，则针对所述源关联表发送关联错误提示；
其中，若源主表的数据量与任一源关联表的数据字段不相同，则判定与该源主表的数据字段不相同的源关联表存在关联错误，通过针对关联错误的源关联表发送关联错误提示的设计，以提示用户对该源关联表进行人工查看。
S49，若所述源主表的数据字段与所述源关联表的数据字段相同，则判定所述待测试数据仓库的数据明细测试不合格，并针对所述目标表发送数据明细存储错误提示；
其中，若源主表的数据字段与所有源关联表的数据字段均相同，则判定该目标表在该待测试数据仓库中存储的数据字段错误，因此，该待测试数据仓库的数据明细测试不合格，并通过针对目标表发送数据明细存储错误提示的设计，以提示用户针对该目标表在待测试数据仓库中重新进行数据明细的存储。
可选的，该步骤中，可以采用测试选取时间的方式进行该目标关联表和源关联表之间的数据量比对和数据明细比对，即根据用户设置的测试选取时间，获取该目标关联表和源关联表在该测试选取时间对应时间段范围内的数据量和数据明细，并基于获取到的数据量和数据明细进行数据比对，以得到多个测试选取时间对应的数据量比对结果和数据明细比对结果，并将该数据量比对结果和数据明细比对结果作为对应测试选取时间的测试结果进行输出。
本实施例中，通过分别对目标关联表和源关联表进行数据量比对和数据明细比对的设计，有效的提高了目标表与源表之间的数据比对效率，通过将源主表的数据量与每次表格关联后源关联表的数据量进行比对的设计，以判断该源主表的数据量在表格关联后是否有发生变化，若该源主表的数据量在表格关联后均未发生变化，则判定该目标表在该待测试数据仓库中存储的数据量错误，该待测试数据仓库的数据量测试不合格，通过将源主表的数据字段与每次表格关联后源关联表的数据字段进行比对的设计，以判断该源主表的数据字段在表格关联后是否有发生变化，若该源主表的数据字段在表格关联后均未发生变化，则判定该目标表在该待测试数据仓库中存储的数据字段错误，该待测试数据仓库的数据明细测试不合格。
在本申请的所有实施例中，基于目标关联表和源关联表的数据比对结果生成对应的数据仓库测试结果，具体来说，将目标关联表和源关联表的数据比对结果作为数据仓库测试结果进行输出。将数据比对结果上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该数据比对结果，以便查证数据比对结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
请参阅图6，图6是本申请实施例提供的一种数据仓库测试装置100的结构框图。本实施例中该数据仓库测试装置100包括的各单元用于执行图1至图5对应的实施例中的各步骤。具体请参阅图1至图5以及图1至图5所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，数据仓库测试装置100包括：表格查询单元10、数据筛选单元11、关联查询单元12和数据比对单元13，其中：
表格查询单元10，用于获取用户设置的表格映射文档，并根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，所述表格映射文档中存储有所述目标表、所述源表的表格标识和所述关联数据库的关联库地址。
数据筛选单元11，用于根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表。
关联查询单元12，用于根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表。
数据比对单元13，用于将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出。
作为本申请一实施例，所述表格查询单元10还用于：与所述待测试数据仓库进行数据连接，并根据所述表格映射文档中存储的第一表格标识对所述待测试数据仓库分别进行表格查询和数仓脚本查询；
若表格查询和数仓脚本查询均成功，则将查询到的表格设置为所述目标表；
若表格查询和数仓脚本查询均失败，则发出目标表查询错误提示；
若表格查询成功，且数仓脚本查询失败，则将查询到的表格设置为所述目标表，并发出脚本查询失败提示；
若表格查询失败，且数仓脚本查询成功，则对查询到的数仓脚本进行运行，并在所述数仓脚本运行后，根据所述第一表格标识重新对所述待测试数据仓库进行表格查询，若表格查询成功，则将查询到的表格设置为所述目标表，若表格查询失败，则发出目标表查询错误提示。
作为本申请一实施例，所述表格查询单元10还用于：根据所述关联库地址与所述关联数据库进行数据连接，并根据所述表格映射文档中存储的第二表格标识对所述关联数据库进行表格查询；
若表格查询成功，则将查询到的表格设置为所述源表；
若表格查询失败，则发出源表查询错误提示。
作为本申请一实施例，所述数据筛选单元11还用于：获取所述表格筛选条件中的目标字段，并根据所述目标字段对所述目标表进行列表数据查询，得到所述目标筛选表；
获取所述表格筛选条件中的源字段，并根据所述源字段对所述源表进行列表数据查询，得到所述源筛选表。
作为本申请一实施例，所述关联查询单元12还用于：获取所述表格关联关系中的目标关联关系，并根据所述目标关联关系中存储的表头信息对所述目标筛选表进行表格数据查询，得到目标列表；
根据所述目标关联关系中存储的表头顺序对所述表头信息对应的所述目标列表进行排序，得到所述目标关联表；
获取所述表格关联关系中的源关联关系，并根据所述源关联关系中存储的主表标识确定所述源筛选表中的源主表；
根据所述源主表对其他所述源关联表进行表格关联，得到所述源关联表。
作为本申请一实施例，所述数据比对单元13还用于：对所述目标关联表和所述源关联表进行数据量比对；
若所述目标关联表和所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试合格；
若所述目标关联表和所述源关联表的数据量不相同，则将所述源主表的数据量与每次表格关联后所述源关联表的数据量进行比对；
若所述源主表的数据量与所述源关联表的数据量不相同，则针对所述源关联表发送关联错误提示；
若所述源主表的数据量与所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试不合格，并针对所述目标表发送数据量存储错误提示。
作为本申请一实施例，所述数据比对单元13还用于：对所述目标关联表和所述源关联表进行数据明细比对；
若所述目标关联表和所述源关联表的数据明细相同，则判定所述待测试数据仓库的数据明细测试合格；
若所述目标关联表和所述源关联表的数据明细不相同，则将所述源主表的数据字段与每次表格关联后所述源关联表的数据字段进行比对；
若所述源主表的数据字段与所述源关联表的数据字段不相同，则针对所述源关联表发送关联错误提示；
若所述源主表的数据字段与所述源关联表的数据字段相同，则判定所述待测试数据仓库的数据明细测试不合格，并针对所述目标表发送数据明细存储错误提示。
以上可以看出，本实施例提供的一种数据仓库测试装置100，可以根据用户设置的表格映射文档自动进行目标表和源表的查询，根据表格映射文档中用户设置的表格筛选条件能自动对目标表和源表进行数据筛选得到目标筛选表和源筛选表，根据表格映射文档中用户设置的表格关联关系能自动对目标筛选表和源筛选表进行关联查询得到目标关联表和源关联表，基于目标关联表和源关联表的数据比对结果以得到待测试数据仓库的测试结果，本申请实施例提供的一种数据仓库测试方法无需用户手动进行目标表和源表的查询、目标表和源表的数据筛选、目标筛选表和源筛选表的关联查询、目标关联表和源关联表的数据比对操作，进而方便了用户的操作，提高了数据仓库测试效率。
图7是本申请另一实施例提供的一种终端设备2的结构框图。如图7所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如数据仓库测试方法的程序。处理器20执行所述计算机程序22时实现上述各个数据仓库测试方法各实施例中的步骤，例如图1所示的S10至S40，或者图2所示的S11至S18，或者图3所示的S21至S22，或者图4所示的S31至S34和图5所示的S41至S49。或者，所述处理器20执行所述计算机程序22时实现上述图6对应的实施例中各单元的功能，例如，图6所示的单元10至13的功能，具体请参阅图7对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成表格查询单元10、数据筛选单元11和关联查询单元12以及数据比对单元13，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图7仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据仓库测试方法，其特征在于，包括：
获取用户设置的表格映射文档，并根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，所述表格映射文档中存储有所述目标表、所述源表的表格标识和所述关联数据库的关联库地址；
根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表；
根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表；
将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出。
2.根据权利要求1所述的数据仓库测试方法，其特征在于，所述根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，包括：
与所述待测试数据仓库进行数据连接，并根据所述表格映射文档中存储的第一表格标识对所述待测试数据仓库分别进行表格查询和数仓脚本查询；
若表格查询和数仓脚本查询均成功，则将查询到的表格设置为所述目标表；
若表格查询和数仓脚本查询均失败，则发出目标表查询错误提示；
若表格查询成功，且数仓脚本查询失败，则将查询到的表格设置为所述目标表，并发出脚本查询失败提示；
若表格查询失败，且数仓脚本查询成功，则对查询到的数仓脚本进行运行，并在所述数仓脚本运行后，根据所述第一表格标识重新对所述待测试数据仓库进行表格查询，若表格查询成功，则将查询到的表格设置为所述目标表，若表格查询失败，则发出目标表查询错误提示。
3.根据权利要求1所述的数据仓库测试方法，其特征在于，所述根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，还包括：
根据所述关联库地址与所述关联数据库进行数据连接，并根据所述表格映射文档中存储的第二表格标识对所述关联数据库进行表格查询；
若表格查询成功，则将查询到的表格设置为所述源表；
若表格查询失败，则发出源表查询错误提示。
4.根据权利要求1所述的数据仓库测试方法，其特征在于，所述根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表，包括：
获取所述表格筛选条件中的目标字段，并根据所述目标字段对所述目标表进行列表数据查询，得到所述目标筛选表；
获取所述表格筛选条件中的源字段，并根据所述源字段对所述源表进行列表数据查询，得到所述源筛选表。
5.根据权利要求1所述的数据仓库测试方法，其特征在于，所述根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表，包括：
获取所述表格关联关系中的目标关联关系，并根据所述目标关联关系中存储的表头信息对所述目标筛选表进行表格数据查询，得到目标列表；
根据所述目标关联关系中存储的表头顺序对所述表头信息对应的所述目标列表进行排序，得到所述目标关联表；
获取所述表格关联关系中的源关联关系，并根据所述源关联关系中存储的主表标识确定所述源筛选表中的源主表；
根据所述源主表对其他所述源关联表进行表格关联，得到所述源关联表。
6.根据权利要求5所述的数据仓库测试方法，其特征在于，所述将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出，包括：
对所述目标关联表和所述源关联表进行数据量比对；
若所述目标关联表和所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试合格；
若所述目标关联表和所述源关联表的数据量不相同，则将所述源主表的数据量与每次表格关联后所述源关联表的数据量进行比对；
若所述源主表的数据量与所述源关联表的数据量不相同，则针对所述源关联表发送关联错误提示；
若所述源主表的数据量与所述源关联表的数据量相同，则判定所述待测试数据仓库的数据量测试不合格，并针对所述目标表发送数据量存储错误提示。
7.根据权利要求1所述的数据仓库测试方法，其特征在于，所述将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出，包括：
对所述目标关联表和所述源关联表进行数据明细比对；
若所述目标关联表和所述源关联表的数据明细相同，则判定所述待测试数据仓库的数据明细测试合格；
若所述目标关联表和所述源关联表的数据明细不相同，则将所述源主表的数据字段与每次表格关联后所述源关联表的数据字段进行比对；
若所述源主表的数据字段与所述源关联表的数据字段不相同，则针对所述源关联表发送关联错误提示；
若所述源主表的数据字段与所述源关联表的数据字段相同，则判定所述待测试数据仓库的数据明细测试不合格，并针对所述目标表发送数据明细存储错误提示；
将所述数据比对结果上传至区块链中。
8.一种数据仓库测试装置，其特征在于，包括：
表格查询单元，用于获取用户设置的表格映射文档，并根据所述表格映射文档查询待测试数据仓库中的目标表和关联数据库中的源表，所述表格映射文档中存储有所述目标表、所述源表的表格标识和所述关联数据库的关联库地址；
数据筛选单元，用于根据所述表格映射文档中的表格筛选条件分别对所述目标表和所述源表进行数据筛选，得到目标筛选表和源筛选表；
关联查询单元，用于根据所述表格映射文档中的表格关联关系分别对所述目标筛选表和所述源筛选表进行关联查询，得到目标关联表和源关联表；
数据比对单元，用于将所述目标关联表和所述源关联表进行数据比对，并将数据比对结果作为测试结果进行输出。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617022.8A CN111767350A (zh) | 2020-06-30 | 2020-06-30 | 数据仓库测试方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617022.8A CN111767350A (zh) | 2020-06-30 | 2020-06-30 | 数据仓库测试方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767350A true CN111767350A (zh) | 2020-10-13 |
Family
ID=72724321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010617022.8A Pending CN111767350A (zh) | 2020-06-30 | 2020-06-30 | 数据仓库测试方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767350A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364024A (zh) * | 2020-11-30 | 2021-02-12 | 上海二三四五网络科技有限公司 | 一种表数据批量自动比对的控制方法及装置 |
| CN112395850A (zh) * | 2020-11-05 | 2021-02-23 | 中国人寿保险股份有限公司 | 一种检查数据定义一致性的方法、装置和电子设备 |
| CN113138933A (zh) * | 2021-05-13 | 2021-07-20 | 网易（杭州）网络有限公司 | 数据表的测试方法、电子设备及存储介质 |
| CN113177397A (zh) * | 2021-04-21 | 2021-07-27 | 平安消费金融有限公司 | 表格的调整方法、装置、设备以及存储介质 |
| CN113495890A (zh) * | 2021-07-08 | 2021-10-12 | 上海二三四五网络科技有限公司 | 一种批量异构数据源自动比对系统、方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2437008A1 (en) * | 2003-08-12 | 2005-02-12 | Ibm Canada Limited-Ibm Canada Limitee | Method and apparatus for data migration between databases |
| CN105045918A (zh) * | 2015-08-24 | 2015-11-11 | 用友网络科技股份有限公司 | 两数据库任意表的相互对比装置和方法 |
| WO2017162029A1 (zh) * | 2016-03-21 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 基于序列化格式的配置文件校验方法和装置 |
| CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
| WO2019161645A1 (zh) * | 2018-02-24 | 2019-08-29 | 平安科技（深圳）有限公司 | 基于Shell的数据表提取方法、终端、设备及存储介质 |
-
2020
- 2020-06-30 CN CN202010617022.8A patent/CN111767350A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2437008A1 (en) * | 2003-08-12 | 2005-02-12 | Ibm Canada Limited-Ibm Canada Limitee | Method and apparatus for data migration between databases |
| CN105045918A (zh) * | 2015-08-24 | 2015-11-11 | 用友网络科技股份有限公司 | 两数据库任意表的相互对比装置和方法 |
| WO2017162029A1 (zh) * | 2016-03-21 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 基于序列化格式的配置文件校验方法和装置 |
| WO2019161645A1 (zh) * | 2018-02-24 | 2019-08-29 | 平安科技（深圳）有限公司 | 基于Shell的数据表提取方法、终端、设备及存储介质 |
| CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395850A (zh) * | 2020-11-05 | 2021-02-23 | 中国人寿保险股份有限公司 | 一种检查数据定义一致性的方法、装置和电子设备 |
| CN112364024A (zh) * | 2020-11-30 | 2021-02-12 | 上海二三四五网络科技有限公司 | 一种表数据批量自动比对的控制方法及装置 |
| CN112364024B (zh) * | 2020-11-30 | 2024-02-27 | 上海二三四五网络科技有限公司 | 一种表数据批量自动比对的控制方法及装置 |
| CN113177397A (zh) * | 2021-04-21 | 2021-07-27 | 平安消费金融有限公司 | 表格的调整方法、装置、设备以及存储介质 |
| CN113138933A (zh) * | 2021-05-13 | 2021-07-20 | 网易（杭州）网络有限公司 | 数据表的测试方法、电子设备及存储介质 |
| CN113495890A (zh) * | 2021-07-08 | 2021-10-12 | 上海二三四五网络科技有限公司 | 一种批量异构数据源自动比对系统、方法及设备 |
| CN113495890B (zh) * | 2021-07-08 | 2024-05-14 | 上海二三四五网络科技有限公司 | 一种批量异构数据源自动比对系统、方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111767350A (zh) | 数据仓库测试方法、装置、终端设备及存储介质 | |
| CN108564339B (zh) | 一种账户管理方法、装置、终端设备及存储介质 | |
| US8781172B2 (en) | Methods and systems for enhancing the performance of automated license plate recognition applications utilizing multiple results | |
| US8453027B2 (en) | Similarity detection for error reports | |
| US9558230B2 (en) | Data quality assessment | |
| US10943181B2 (en) | Just in time classifier training | |
| US20150347212A1 (en) | Error classification in a computing system | |
| CN110162516B (zh) | 一种基于海量数据处理的数据治理的方法及系统 | |
| CN110474900B (zh) | 一种游戏协议测试方法及装置 | |
| CN111736865B (zh) | 一种数据库升级方法及系统 | |
| CN110427375B (zh) | 字段类别的识别方法及装置 | |
| US11086906B2 (en) | System and method for reconciliation of data in multiple systems using permutation matching | |
| WO2004023342A1 (en) | Method and system for registering goods information | |
| CN104756113A (zh) | 用于检测数据源中的偏差的方法、设备和计算机程序 | |
| CN105760450A (zh) | 一种表单文件解析方法及装置 | |
| CN111985930A (zh) | 客户号生成方法及装置 | |
| CN112989990A (zh) | 医疗票据识别方法、装置、设备及存储介质 | |
| CN111752846A (zh) | 一种接口测试方法及装置 | |
| CN109542785B (zh) | 一种无效bug确定方法和装置 | |
| CN110019762B (zh) | 一种问题定位方法、存储介质和服务器 | |
| CN115658620B (zh) | 一种基于大数据的数据授权共享方法及系统 | |
| CN110008108B (zh) | 回归范围确定方法、装置、设备及计算机可读存储介质 | |
| CN115658731A (zh) | 一种数据查询方法、装置、设备和存储介质 | |
| CN116401229A (zh) | 数据库的数据校验方法、装置及设备 | |
| CN114157439B (zh) | 漏洞扫描方法、计算设备及记录介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |