CN111966760B - 基于Hive数据仓库的测试数据生成方法及装置 - Google Patents
基于Hive数据仓库的测试数据生成方法及装置 Download PDFInfo
- Publication number
- CN111966760B CN111966760B CN202010833866.6A CN202010833866A CN111966760B CN 111966760 B CN111966760 B CN 111966760B CN 202010833866 A CN202010833866 A CN 202010833866A CN 111966760 B CN111966760 B CN 111966760B
- Authority
- CN
- China
- Prior art keywords
- test data
- storage format
- hive
- data
- hive table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008676 import Effects 0.000 description 4
- 238000011056 performance test Methods 0.000 description 2
- 238000011990 functional testing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于Hive数据仓库的测试数据生成方法及装置，其中该方法包括：将测试数据的配置信息，配置到在关系型数据库中，其中，配置信息中至少包含：用于存储测试数据的Hive表的文件存储格式；根据配置信息，生成相应文件存储格式的Hive表；执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中。本发明通过配置Hive表的文件存储格式，能够针对不同的测试数据需求，生成不同文件存储格式的Hive表以存储测试数据，以适用于不同测试场景以及不同Hive表存储格式的测试数据需求。
Description
技术领域
本发明涉及大数据处理领域，尤其涉及一种基于Hive数据仓库的测试数据生成方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
大数据环境下，应用程序的开发都需要经过测试环节，无论是功能测试还是性能测试都需要有测试数据的支撑，而在性能测试环节是需要提供大量的数据，往往要百万级别、千万级别，甚至上亿级别数据量的测试数据。例如，对于Spark、Hadoop大数据生态中应用的性能测试，需要生成大量Hive表数据。
现有Hive表数据生成方法，都是根据表字段生成相关数据的文本文件，再将文本文件导入对应的Hive表中，这种方法相对比较繁琐、浪费时间，且对于存储格式为TextFile或ORCFile的Hive表并不适用。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供了一种基于Hive数据仓库的测试数据生成方法，用以解决现有Hive表数据生成方法无法适用于TextFile、ORCFile等文件存储格式的Hive表的技术问题，该方法包括：将测试数据的配置信息，配置到在关系型数据库中，其中，配置信息中至少包含：用于存储测试数据的Hive表的文件存储格式；根据配置信息，生成相应文件存储格式的Hive表；执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中。
本发明实施例中还提供了一种基于Hive数据仓库的测试数据生成装置，用以解决现有Hive表数据生成方法无法适用于TextFile、ORCFile等文件存储格式的Hive表的技术问题，该装置包括：数据库配置模块，用于将测试数据的配置信息，配置到在关系型数据库中，其中，配置信息中至少包含：用于存储测试数据的Hive表的文件存储格式；Hive表生成模块，用于根据配置信息，生成相应文件存储格式的Hive表；Hive表数据生成模块，用于执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中。
本发明实施例中还提供了一种计算机设备，用以解决现有Hive表数据生成方法无法适用于TextFile、ORCFile等文件存储格式的Hive表的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于Hive数据仓库的测试数据生成方法。
本发明实施例中还提供了一种计算机可读存储介质，用以解决现有Hive表数据生成方法无法适用于TextFile、ORCFile等文件存储格式的Hive表的技术问题，该计算机可读存储介质存储有执行上述基于Hive数据仓库的测试数据生成方法的计算机程序。
本发明实施例中，通过将用于存储测试数据的Hive表文件存储格式等配置信息，配置到在关系型数据库中，即可根据配置信息中包含的Hive表文件存储格式，生成相应的Hive表，进而通过执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中，与现有技术中直接根据表字段生成Hive表数据的技术方案相比，本发明实施例通过配置Hive表的文件存储格式，能够针对不同的测试数据需求，生成不同文件存储格式的Hive表以存储测试数据，以适用于不同测试场景以及不同Hive表存储格式的测试数据需求，测试人员只需将测试数据的配置信息配置到关系型数据库中，即可通过执行Spark任务读取配置信息，并生成不同文件存储格式的Hive表，大大节约了开发测试过程中需要投入大量人力和时间成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种基于Hive数据仓库的测试数据生成方法流程图；
图2为本发明实施例中提供的一种可选的基于Hive数据仓库的测试数据生成方法流程图；
图3为本发明实施例中提供的一种可选的基于Hive数据仓库的测试数据生成方法具体实现流程图；
图4为本发明实施例中提供的一种基于Hive数据仓库的测试数据生成装置示意图；
图5为本发明实施例中提供的一种可选的基于Hive数据仓库的测试数据生成装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明实施例中提供了一种基于Hive数据仓库的测试数据生成方法，图1为本发明实施例中提供的一种基于Hive数据仓库的测试数据生成方法流程图，如图1所示，该方法可以包括如下步骤：
S101，将测试数据的配置信息，配置到在关系型数据库中，其中，配置信息中至少包含：用于存储测试数据的Hive表的文件存储格式。
需要说明的是，本发明实施例中关系型数据库可以是但不限于My SQL数据库；本发明实施例中用于存储测试数据的Hive表的文件存储格式包括但不限于如下任意一种：TextFile存储格式、ORCFile存储格式和RCFile存储格式。Hive是基于Hadoop的一个数据仓库工具，用于进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
可选地，本发明实施例中在关系型数据库中配置的测试数据的配置信息还可以包括但不限于：配置信息中还包含：测试数据的数据量和表结构信息，其中，表结构信息包含：表名称、字段名称、字段数据类型、字段数据长度和关联字段信息。
S102，根据配置信息，生成相应文件存储格式的Hive表。
在具体实施时，如果配置信息中包含的Hive表的文件存储格式为TextFile存储格式，则可生成TextFile存储格式的Hive表；如果配置信息中包含的Hive表的文件存储格式为ORCFile存储格式，则可生成ORCFile存储格式的Hive表；如果配置信息中包含的Hive表的文件存储格式为RCFile存储格式，则可生成RCFile存储格式的Hive表。
S103，执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中。
本发明实施例，将测试数据的配置信息，配置到关系型数据库中，能够实现通过执行Spark任务的方式，生成测试数据，并将生成的测试数据导入到Hive表中。Spark是一个基于内存计算的开源集群计算系统，是Apache社区最火热的项目之一，与Hadoop相比，Spark的计算速度可以提升近100倍。Spark由一组功能强大、高级别的库组成，包括Spark SQL、Spark Streaming、ML lib、Graph X。Spark提供了大量的算子和丰富的数据操作接口方便对数据处理。
针对使用hive数据库对应用做性能测试的场景中，通过本发明实施例中提供了一种从生成模拟数据，到创建表，再到导入表数据的系统方法，该方法可适配但不限于TextFile(即文本文件)、RCFile(全称为：Record Columnar File，是一种行列存储相结合的存储方式)、ORCFile(全称为Optimized Row Columnar File，是一种列式存储格式)等不同文件存储格式的hive表。本发明实施例完全设置成可配置形式，能够适用于不同场景以及不同hive表存储格式的测试数据的需求，通过本发明实施例，可以使得开发测试过程中节约大量的时间和人力资源。
由上可知，本发明实施例中提供的基于Hive数据仓库的测试数据生成方法，通过将用于存储测试数据的Hive表文件存储格式等配置信息，配置到在关系型数据库中，即可根据配置信息中包含的Hive表文件存储格式，生成相应的Hive表，进而通过执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中，与现有技术中直接根据表字段生成Hive表数据的技术方案相比，本发明实施例通过配置Hive表的文件存储格式，能够针对不同的测试数据需求，生成不同文件存储格式的Hive表以存储测试数据，以适用于不同测试场景以及不同Hive表存储格式的测试数据需求，测试人员只需将测试数据的配置信息配置到关系型数据库中，即可通过执行Spark任务读取配置信息，并生成不同文件存储格式的Hive表，大大节约了开发测试过程中需要投入大量人力和时间成本。
当Hive表的文件存储格式包括TextFile存储格式、ORCFile存储格式和RCFile存储格式的情况下，如图2所示，上述S103可以通过如下步骤来实现：
S201，从关系型数据库中，读取测试数据的配置信息；
S202，根据测试数据的配置信息，生成测试数据；
S203，当配置信息中包含的文件存储格式为TextFile存储格式的情况下，将生成的测试数据加载到TextFile存储格式的Hive表中；
S204，当配置信息中包含的文件存储格式为ORCFile存储格式或RCFile存储格式的情况下，将生成的测试数据先加载到TextFile存储格式的Hive表中，再导入到ORCFile存储格式或RCFile存储格式的Hive表中。
图3为本发明实施例中提供的一种可选的基于Hive数据仓库的测试数据生成方法具体实现流程图，如图3所示，在具体实施时，本发明实施例中提供的基于Hive数据仓库的测试数据生成方法可以包括但不限于如下步骤：
①根据测试需求，将测试表的表名、表字段名称、字段数据类型、字段长度、表存储格式、数据量以及关联字段等信息配置到关系型数据库My SQL中；
②利用步骤1中的配置信息，生成对应的Hive表，当测试表的文件存储格式为ORCFile或RCFile时，同时生成ORCFile或RCFile存储格式的Hive表以及对应TextFile存储格式的Hive表；当测试表文件存储格式为TextFile时，只需生成TextFile存储格式的Hive表；
③读取My SQL数据库配置的配置信息生成相应的测试数据，以文本文件的形式存储；
④将测试数据文件导入对应的表中，当表存储格式为TextFile时系统调用方法将数据上传HDFS，然后加载到TextFile存储格式的Hive表中；当表存储格式为ORCFile或RCFile时，系统调用相应的方法先从HDFS(全称为Hadoop Distributed File System)将数据加载到对应的TextFile存储格式的Hive表中，再从TextFile存储格式的Hive表中将数据加载到ORCFile或RCFile存储格式的Hive表中。
可见，本发明实施例中提供的种基于Hive数据仓库的测试数据生成能够适用于大数据应用下测试数据的生成，通过配置Hive表对应的字段信息(字段名称、字段数据类型、数据类型长度)、生成的数据量、Hive表的存储格式，进而根据配置信息，生成相应的数据文件，最后根据不同的Hive表的存储格式，调用不同的方法导入或加载数据到相应的Hive表中。本发明实施例能够支持但不限于TextFile、ORCFile和RCFile格式的Hive表，通过配置表结构信息、数据量以及表之间的关联字段等配置信息，通过提交Spark任务，即可生成对应的Hive表数据。
在实际应用过程中，开发人员只需要确定Hive表的存储结构、表名、字段名、字段长度、字段类型、数据量以及表之间的关联字段，并将这些信息配置到关系型数据库(例如，My SQL数据库)中，通过执行spark作业任务，即可生成不同文件存储格式的测试Hive表。
基于同一发明构思，本发明实施例中还提供了一种基于Hive数据仓库的测试数据生成装置，如下面的实施例所述。由于该装置解决问题的原理与基于Hive数据仓库的测试数据生成方法相似，因此该装置的实施可以参见上述基于Hive数据仓库的测试数据生成方法的实施，重复之处不再赘述。
图4为本发明实施例中提供的一种基于Hive数据仓库的测试数据生成装置示意图，如图4所示，该装置可以包括：数据库配置模块41、Hive表生成模块42和Hive表数据生成模块43。
其中，数据库配置模块41，用于将测试数据的配置信息，配置到在关系型数据库中，其中，配置信息中至少包含：用于存储测试数据的Hive表的文件存储格式；Hive表生成模块42，用于根据配置信息，生成相应文件存储格式的Hive表；Hive表数据生成模块43，用于执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中。
由上可知，本发明实施例中提供的基于Hive数据仓库的测试数据生成装置，通过数据库配置模块41将用于存储测试数据的Hive表文件存储格式等配置信息，配置到在关系型数据库中；通过Hive表生成模块42根据配置信息中包含的Hive表文件存储格式，生成相应的Hive表；通过Hive表数据生成模块43执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中，与现有技术中直接根据表字段生成Hive表数据的技术方案相比，本发明实施例通过配置Hive表的文件存储格式，能够针对不同的测试数据需求，生成不同文件存储格式的Hive表以存储测试数据，以适用于不同测试场景以及不同Hive表存储格式的测试数据需求，测试人员只需将测试数据的配置信息配置到关系型数据库中，即可通过执行Spark任务读取配置信息，并生成不同文件存储格式的Hive表，大大节约了开发测试过程中需要投入大量人力和时间成本。
在一个实施例中，本发明实施例中提供的基于Hive数据仓库的测试数据生成装置中，配置信息中还可以包含：测试数据的数据量和表结构信息，其中，表结构信息包含：表名称、字段名称、字段数据类型、字段数据长度和关联字段信息。
可选地，本发明实施例中提供的基于Hive数据仓库的测试数据生成装置中，Hive表的文件存储格式可以包括但不限于如下任意一种：TextFile存储格式、ORCFile存储格式和RCFile存储格式。
当Hive表的文件存储格式包括TextFile存储格式、ORCFile存储格式和RCFile存储格式的情况下，如图5所示，上述Hive表数据生成模块43可以具体包括：测试数据生成模块431、第一Hive表数据加载模块432和第二Hive表数据加载模块433。
其中，测试数据生成模431，用于根据测试数据的数据量和表结构信息，生成测试数据；第一Hive表数据加载模块432，用于当Hive表的文件存储格式为TextFile存储格式的情况下，将生成的测试数据加载到TextFile存储格式的Hive表中；第二Hive表数据加载模块433，用于当Hive表的文件存储格式为ORCFile存储格式或RCFile存储格式的情况下，将生成的测试数据先加载到TextFile存储格式的Hive表中，再导入到ORCFile存储格式或RCFile存储格式的Hive表中。
基于同一发明构思，本发明实施例中还提供了一种计算机设备，用以解决现有Hive表数据生成方法无法适用于TextFile、ORCFile等文件存储格式的Hive表的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于Hive数据仓库的测试数据生成方法。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，用以解决现有Hive表数据生成方法无法适用于TextFile、ORCFile等文件存储格式的Hive表的技术问题，该计算机可读存储介质存储有执行上述基于Hive数据仓库的测试数据生成方法的计算机程序。
综上所述，本发明实施例中提供了一种基于Hive数据仓库的测试数据生成方法、装置、计算机设备及计算机可读存储介质，与现有技术中直接根据表字段生成Hive表数据的技术方案相比，本发明实施例通过配置Hive表的文件存储格式，能够针对不同的测试数据需求，生成不同文件存储格式的Hive表以存储测试数据，以适用于不同测试场景以及不同Hive表存储格式的测试数据需求，测试人员只需将测试数据的配置信息配置到关系型数据库中，即可通过执行Spark任务读取配置信息，并生成不同文件存储格式的Hive表，大大节约了开发测试过程中需要投入大量人力和时间成本。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于Hive数据仓库的测试数据生成方法，其特征在于，包括：
将测试数据的配置信息，配置到在关系型数据库中，其中，所述配置信息中至少包含：用于存储所述测试数据的Hive表的文件存储格式；
根据所述配置信息，生成相应文件存储格式的Hive表；
执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中；
执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中，包括：
从所述关系型数据库中，读取测试数据的配置信息；
根据测试数据的配置信息，生成测试数据；
当配置信息中包含的文件存储格式为TextFile存储格式的情况下，将生成的测试数据加载到TextFile存储格式的Hive表中；
当配置信息中包含的文件存储格式为ORCFile存储格式或RCFile存储格式的情况下，将生成的测试数据先加载到TextFile存储格式的Hive表中，再导入到ORCFile存储格式或RCFile存储格式的Hive表中。
2.如权利要求1所述的方法，其特征在于，所述配置信息中还包含：测试数据的数据量和表结构信息，其中，所述表结构信息包含：表名称、字段名称、字段数据类型、字段数据长度和关联字段信息。
3.如权利要求2所述的方法，其特征在于，所述Hive表的文件存储格式包括如下任意一种：TextFile存储格式、ORCFile存储格式和RCFile存储格式。
4.一种基于Hive数据仓库的测试数据生成装置，其特征在于，包括：
数据库配置模块，用于将测试数据的配置信息，配置到在关系型数据库中，其中，所述配置信息中至少包含：用于存储所述测试数据的Hive表的文件存储格式；
Hive表生成模块，用于根据所述配置信息，生成相应文件存储格式的Hive表；
Hive表数据生成模块，用于执行Spark任务，生成测试数据，并将生成的测试数据导入生成的Hive表中；
所述Hive表数据生成模块包括：
测试数据生成模块，用于根据测试数据的数据量和表结构信息，生成测试数据；
第一Hive表数据加载模块，用于当Hive表的文件存储格式为TextFile存储格式的情况下，将生成的测试数据加载到TextFile存储格式的Hive表中；
第二Hive表数据加载模块，用于当Hive表的文件存储格式为ORCFile存储格式或RCFile存储格式的情况下，将生成的测试数据先加载到TextFile存储格式的Hive表中，再导入到ORCFile存储格式或RCFile存储格式的Hive表中。
5.如权利要求4所述的装置，其特征在于，所述配置信息中还包含：测试数据的数据量和表结构信息，其中，所述表结构信息包含：表名称、字段名称、字段数据类型、字段数据长度和关联字段信息。
6.如权利要求5所述的装置，其特征在于，所述Hive表的文件存储格式包括如下任意一种：TextFile存储格式、ORCFile存储格式和RCFile存储格式。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述基于Hive数据仓库的测试数据生成方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一项所述基于Hive数据仓库的测试数据生成方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010833866.6A CN111966760B (zh) | 2020-08-18 | 2020-08-18 | 基于Hive数据仓库的测试数据生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010833866.6A CN111966760B (zh) | 2020-08-18 | 2020-08-18 | 基于Hive数据仓库的测试数据生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111966760A CN111966760A (zh) | 2020-11-20 |
| CN111966760B true CN111966760B (zh) | 2024-04-16 |
Family
ID=73389126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010833866.6A Active CN111966760B (zh) | 2020-08-18 | 2020-08-18 | 基于Hive数据仓库的测试数据生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111966760B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220591A (zh) * | 2021-06-04 | 2021-08-06 | 中国银行股份有限公司 | 生成测试数据的方法及装置 |
| CN113434608A (zh) * | 2021-07-06 | 2021-09-24 | 中国银行股份有限公司 | Hive数据仓库的数据处理方法及装置 |
| CN113741970B (zh) * | 2021-08-09 | 2024-02-02 | 广州市易工品科技有限公司 | 数据仓库生产环境和开发环境分离实现方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256206A (zh) * | 2017-05-24 | 2017-10-17 | 北京京东尚科信息技术有限公司 | 字符流格式转换的方法和装置 |
| CN110188030A (zh) * | 2019-04-08 | 2019-08-30 | 平安科技（深圳）有限公司 | 一种测试数据生成方法、装置及计算机设备、存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10860616B2 (en) * | 2016-06-06 | 2020-12-08 | International Business Machines Corporation | Test data management |
-
2020
- 2020-08-18 CN CN202010833866.6A patent/CN111966760B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256206A (zh) * | 2017-05-24 | 2017-10-17 | 北京京东尚科信息技术有限公司 | 字符流格式转换的方法和装置 |
| CN110188030A (zh) * | 2019-04-08 | 2019-08-30 | 平安科技（深圳）有限公司 | 一种测试数据生成方法、装置及计算机设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111966760A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339041B (zh) | 文件解析入库、文件生成方法及装置 | |
| CN111966760B (zh) | 基于Hive数据仓库的测试数据生成方法及装置 | |
| US8832125B2 (en) | Extensible event-driven log analysis framework | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| US20180074852A1 (en) | Compact Task Deployment for Stream Processing Systems | |
| WO2019029160A1 (zh) | 应用程序构建方法、系统、计算机设备和存储介质 | |
| US9952835B2 (en) | Generation of hybrid enterprise mobile applications in cloud environment | |
| CN105205154B (zh) | 数据迁移方法以及装置 | |
| CN110807067A (zh) | 关系型数据库和数据仓库的数据同步方法、装置及设备 | |
| CN102999537A (zh) | 一种数据迁移系统和方法 | |
| CN103309904A (zh) | 一种生成数据仓库etl 代码的方法及装置 | |
| US20130054427A1 (en) | Explosions of bill-of-materials lists | |
| CN112559444B (zh) | Sql文件迁移方法、装置、存储介质及设备 | |
| Ali | Next-generation ETL Framework to Address the Challenges Posed by Big Data. | |
| CN110471754A (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
| US20110264703A1 (en) | Importing Tree Structure | |
| CN113468196B (zh) | 用于处理数据的方法、装置、系统、服务器和介质 | |
| CN110795331A (zh) | 软件测试的方法和装置 | |
| KR20200103133A (ko) | 하둡 기반의 빅데이터 시스템에서 etl 절차를 수행하는 방법 및 장치 | |
| CN113434608A (zh) | Hive数据仓库的数据处理方法及装置 | |
| Almansouri et al. | Hadoop distributed file system for big data analysis | |
| CN112860412A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| US11604629B1 (en) | Automatic workflow generation based on annotated code statements | |
| CN103809915B (zh) | 一种磁盘文件的读写方法和装置 | |
| CN117271478A (zh) | 数据迁移方法、装置、存储介质以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |