CN113220725B - 基于批计算的流计算数据测试方法及相关设备 - Google Patents
基于批计算的流计算数据测试方法及相关设备 Download PDFInfo
- Publication number
- CN113220725B CN113220725B CN202110484071.3A CN202110484071A CN113220725B CN 113220725 B CN113220725 B CN 113220725B CN 202110484071 A CN202110484071 A CN 202110484071A CN 113220725 B CN113220725 B CN 113220725B
- Authority
- CN
- China
- Prior art keywords
- data
- batch
- calculation
- stream
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 269
- 238000004364 calculation method Methods 0.000 claims abstract description 439
- 238000012545 processing Methods 0.000 claims abstract description 142
- 238000012795 verification Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013524 data verification Methods 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。方法包括：获取待测试的流计算引擎；然后根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；再将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；并将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；最后根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。本方案可以利用批计算引擎得到的大量的批计算结果数据对流计算结果数据进行的真实性以及完整性的测试，可以提高流计算数据测试的准确性。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。
背景技术
随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批计算，而是更倾向于应用实时的流计算。
在转向流计算业务之前，需要先创建流计算引擎，在流计算引擎投入使用之前，为了保证该流计算引擎对数据的处理的准确性，技术人员需要对该流计算引擎进行大数据应用的测试，与软件组件的测试相比，大数据应用的测试工作很大一部分将花费在数据验证测试上。
目前的流计算数据的测试主要是以人工验证测试的方式，该方式用小量数据(几十条)验证数据的正确性，再用大量数据(百万、千万)验证数据的完整性。如果我们在进行正确性测试时，由于测试数据的数量比较小，如果测试数据的取样刚好“规避”了错误数据的产生，那这样的测试结果其实是不完整的，导致流计算数据测试的准确性较低。
发明内容
本发明实施例提供了一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质，可以提高流计算数据测试的准确性。
第一方面，本发明实施例提供了一种基于批计算的流计算数据测试方法，其包括：
获取待测试的流计算引擎；
根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；
将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；
将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；
根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。
第二方面，本发明实施例还提供了一种基于批计算的流计算数据测试装置，其包括用于执行上述方法的单元。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。其中，所述方法包括：获取待测试的流计算引擎；然后根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；再将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；并将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；最后根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。本方案可以利用批计算引擎得到的大量的批计算结果数据对流计算结果数据进行的真实性以及完整性的测试，降低了由于测试数据的取样刚好“规避”了错误数据的产生，而导致正确性测试不完整的可能性，可以提高流计算数据测试的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于批计算的流计算数据测试方法的应用场景示意图；
图2为本发明实施例提供的基于批计算的流计算数据测试方法的一流程示意图；
图3为本发明实施例提供的基于批计算的流计算数据测试方法的一子流程示意图；
图4为本发明实施例提供的基于批计算的流计算数据测试方法的另一子流程示意图；
图5为本发明实施例提供的基于批计算的流计算数据测试方法的另一子流程示意图；
图6为本发明实施例提供的基于批计算的流计算数据测试装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本发明实施例提供一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。
该基于批计算的流计算数据测试方法的执行主体可以是本发明实施例提供的基于批计算的流计算数据测试装置，或者集成了该基于批计算的流计算数据测试装置的计算机设备，其中，该基于批计算的流计算数据测试装置可以采用硬件或者软件的方式实现，该计算机设备可以包括服务器或终端，该终端可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等。
请参阅图1，图1为本发明实施例提供的基于批计算的流计算数据测试方法的一个应用场景示意图。该基于批计算的流计算数据测试方法可以应用于如图1 所示的计算机设备中，当用户需要对流计算引擎进行数据测试时，可以将该流计算引擎提供给该计算机设备，其中，该计算机设备预设有批计算引擎以及大量的测试数据，然后通过该计算机设备对该流计算引擎对应的流数据进行测试，测试方法包括：获取待测试的流计算引擎；然后根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；再将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；并将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；最后根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。
需要说明的是，本实施例中基于批计算的流计算数据测试方法中的批计算为批量计算，是一种统一收集数据，将数据存储到数据库中，然后对数据进行批量处理的数据计算，其中，该批量计算基于批计算引擎实现，本实施例中提及的批计算引擎即批量计算引擎。
本实施例中提及的流计算为流式计算，用于对数据流进行处理，是一种实时计算，其中，本实施例中的流计算数据即流式计算数据，该流式计算数据基于流计算引擎实现，本实施例中提及的流计算引擎即流式计算引擎。
以下分别进行详细说明。
在本发明实施例中，将以基于批计算的流计算数据测试装置(以下简称为数据测试装置)的角度进行描述。
请参阅图2，图2为本实施例提供的基于批计算的流计算数据测试方法的流程示意图，如图所示，该方法包括以下步骤：
S110、获取待测试的流计算引擎。
其中，该待测试的流计算引擎为需要进行流计算结果数据质量检测的引擎，例如，为新创建的待投入使用的流计算引擎，其中，本实施例中的流计算引擎包含流计算的流计算数据源(源表)、流数据获取脚本、流数据处理脚本(流计算的业务处理逻辑)以及流计算目标数据库(数据最终到达的目标表)。
具体地，在一些实施例中，获取待测试的流计算引擎，即测试人员将待测试的流计算引擎输入数据测试装置中。
需要说明的是，本实施例中的数据测试装置中预设有用于存储测试数据的数据库，以及批计算引擎，其中，预设的批计算引擎的框架比较成熟，使用该批计算引擎进行业务处理时比较成熟，可以保证数据处理的正确性，所以可以用该框架出的数据进行数据测试。
其中，该批计算引擎包括含批计算数据源(源表)、批数据获取脚本、批数据处理脚本(批计算的业务处理逻辑)以及批计算目标数据库(数据最终到达的目标表)。
需要说明的是，数据库中存储的测试数据用于提供给流计算引擎以及批计算引擎测试用，该测试数据的数据量大于预设值，该预设值具体可以根据实际需要定量级，可以为1百万，也可以为其他数值，例如1千万，其中，本实施例中大于预设值的数据量在本实施例中可以称为大量数据，是难以用人工进行计算的数据量，本实施例中的测试数据包含有大量数据。
其中，本实施例中的测试数据可以是人工自创的，也可以是一些实际的历史业务数据，例如某网站的搜索数据、点击数据等。
本实施例在测试数据的量可以为300万条。
需要说明的是，本实施例批计算引擎中的数据可以根据待测试的流计算引擎中的数据进行对应修改，具体见下一步骤。
S120、根据该流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎。
本实施例中，当数据测试装置接收到待测试的流计算引擎之后，将根据该待测试的流计算引擎对预设的批计算引擎进行处理逻辑等价处理，例如流计算处理脚本的流处理逻辑为只输出数值大于20字节的数据，则在批计算处理脚本侧对应的批处理逻辑也对应为只输出数值大于20字节的数据。
在一些实施例中，请参阅图3，步骤S120包括：
S121、从预设的逻辑库中确定与流计算引擎中流计算处理逻辑对应的目标数据处理逻辑。
本实施例中的数据测试装置中还预设有与批计算引擎对应的逻辑库，该逻辑库中存有多种数据处理逻辑，其中包括流计算处理逻辑对应批计算处理逻辑。本实施例中的数据测试装置获取到流计算引擎之后，将会对流计算引擎中的流计算处理脚本中的流计算处理逻辑进行分析，再从逻辑库中确定与该流计算引擎中流计算处理逻辑对应的目标数据处理逻辑。
S122、根据目标数据处理逻辑对预设的批计算引擎中的批计算处理逻辑进行处理逻辑等价处理，得到处理后的批计算引擎。
本实施例中，该处理逻辑等价处理包括：将批计算引擎中的批计算数据处理逻辑替换为该目标处理逻辑。
具体地，该处理逻辑等价处理包括：将批计算引擎中的批计算处理逻辑替换为该目标处理逻辑，此时，流计算引擎中的数据处理逻辑与批计算引擎中的数据处理逻辑是对应的，可以保证最终输出的测试结果相对应。
本实施例中，通常流计算引擎中数据的更新模式为append(追加)和upsert (插入和更新)，即本实施例中的流数据获取脚本对应的数据获取模式可以为 append或者upsert。
在一些实施例中，可以根据流计算引擎的需要对流数据获取脚本的模式进行设计，此时，批计算引擎对应的批数据获取脚本的获取逻辑需要与当前的待测试的流计算引擎的流数据获取脚本对应，例如，当前待测试的流计算引擎的流数据获取脚本对应的获取模式为append，则此时批计算引擎对应的批数据获取脚本的获取模式也设置为append，如果当前待测试的流计算引擎的流数据获取脚本对应的获取模式为upsert，则此时批计算引擎对应的批数据获取脚本的获取模式也设置为upsert。
其中，当对流计算引擎的append以及upsert两种模式都进行测试时，数据测试装置对两种模式需要分批执行，例如第一批数据用于append，第二批数据用于upsert，当第一批测试完毕之后再进行第二批的测试，此外，第一批和第二批也可以分来两条线同时进行测试，此时数据测试装置中需要设置两条测试线路。
S130、将预设的测试数据输入该流计算引擎中，得到流计算结果数据。
本实施例中，获取了待测试的流计算引擎之后，将对应数据库中的测试数据输入该流计算引擎中，得到流计算结果数据。
具体地，请参阅图4，步骤S130包括：
S131、通过流计算引擎中的流数据获取脚本，从存有测试数据的数据库中读取测试数据至流计算引擎中的流计算数据源中。
本实施例中，为了后续流计算引擎的数据处理，本实施例需要将测试数据以流式的形式读入流计算数据源中。
具体地，流计算引擎中预设的流计算数据获取脚本，从数据库中读取测试数据，然后将读取到的测试数据存入流计算数据源中。
具体地，在一些实施例中，步骤S131包括：当到达预设的第一时间点时，向所述流计算引擎发出第一工作指令；然后根据所述第一工作指令触发所述流数据获取脚本，从所述数据库中读取所述测试数据至所述流计算数据源中。
此时，可以预先设置数据测试装置的流业务的开始时间，该时间可以根据具体需要灵活设置，一般可以设置在数据测试装置所对应的服务器或终端比较空闲的时间段，这样就可以降低测试流程对服务器或终端的其他业务的影响。
其中，该第一时间点为预先设置的开始进行流业务的时间，例如，该第一时间点为1:00。
即本实施例中，可以在数据测试装置中设置一个时钟，当到达第一时间点的时候，就自动向流计算引擎发送第一工作指令，使得流计算引擎根据该第一工作指令开始执行测试的流业务，开始从数据库中读取所述测试数据，然后将读取到的数据存至流计算数据源中。
其中，本实施例中的流数据获取脚本用于模拟流计算引擎获取数据的真实场景，将测试数据输入流计算引擎中，提高数据处理的准确性。
S132、通过流计算引擎中的流计算处理脚本，对流计算数据源中的测试数据进行流计算逻辑处理，得到流计算结果数据。
本实施例中的流计算处理脚本包括流计算处理逻辑以及流数据采集逻辑，具体地，本实施例中的数据测试装置通过流数据采集逻辑从流计算数据源中采集测试数据，然后通过流计算处理逻辑对采集到的测试数据进行流计算逻辑处理，得到流计算结果数据。
在一些实施例中，流计算数据处理脚本可以为FlinkSQL。
需要说明的是，得到流计算结果数据之后，需要将该流计算结果数据存入流计算目标数据库中，其中，为了后续的数据校验，保证流计算结果数据与批计算结果数据的格式一致，批计算引擎对应的批计算数据库(用于存储批计算结果对数据库)需要设置为与流计算数据库相同类型的数据库。
在一些实施例中，为了数据的可控，可以定时开始输入数据，一次执行一定的时间，但保证这批数据执行完成，此时，步骤S132具体包括：在预设的第一工作时长内，通过流计算引擎中的流计算处理脚本，对流计算数据源中的测试数据进行流计算逻辑处理，得到流计算结果数据。
其中，该预设的第一工作时长为根据历史测试得到的，流计算引擎可以处理完测试数据的时间长度。
例如，第一时间点为上午1:00，则到了上午1:00的时候向流计算引擎发出工作指令，使得流计算引擎在上午1:00的时候开始运行流计算任务；依据之前的测试时间，预设的工作时长内可以处理完该测试数据，例如预设的工作时长为1个小时，则至少在1:00到2:00之间，流计算引擎在工作，在2:00之后流计算引擎可以在工作(若还在工作则无测试数据输入)，也可以停止工作，减小数据测试装置的负担。
S140、将该测试数据输入该处理后的批计算引擎中，得到批计算结果数据。
本实施例中，在根据流计算引擎对批计算引擎进行处理之后，将会将测试数据输入该批计算引擎中，得到批计算结果数据。
具体地，请参阅图5，在一些实施例中，步骤S140包括：
S141、通过处理后的批计算引擎中的批数据获取脚本，从存有测试数据的数据库中读取测试数据至批计算引擎中的批计算数据源中。
本实施例中，为了提高最终结果数据的对应程度，批数据获取脚本的数据获取逻辑与流计算获取脚本的数据获取逻辑等价。
本实施例中批计算处理逻辑与流计算数据处理逻辑也是等价的，此时，如果流计算处理脚本的流处理逻辑为只输出数值大于20字节的数据，则在批计算处理脚本侧对应的批处理逻辑也对应为只输出数值大于20字节的数据。
其中，本实施例中，为了实现将所述批计算结果数据写入批计算目标数据库中，该批计算处理脚本为批计算目标数据库所对应的脚本，例如，当批计算目标数据库的类型为mysql数据库时，所述批计算处理脚本为mysql脚本。
需要说明的是，与流计算引擎侧相对应，在一些实施例中，为了数据的可控，在批数据引擎侧也可以设置定时开始输入数据，一次执行一定的时间，保证这批数据执行完成。
此时，在一些实施例中，步骤S141包括：当到达预设的第二时间点时，向批计算引擎发出第二工作指令；然后根据第二工作指令触发批数据获取脚本，从数据库中读取测试数据至批计算引擎中的批计算数据源中。
其中，该第二时间点为预设的批计算引擎开始工作的时间，该时间可以与第一时间点相同，也可以晚于或早于第一时间点，只需要保证该时间晚于步骤 S120即可，具体此处不做限定。
S142、通过批计算引擎中的批计算处理脚本，对批计算数据源中的测试数据进行批计算逻辑处理，得到批计算结果数据。
在一些实施例中，步骤S142包括：在预设的第二工作时长内，通过批计算引擎中的批计算处理脚本，对批计算数据源中的测试数据进行批计算逻辑处理，得到批计算结果数据。
其中，该预设的第二工作时长为根据历史测试得到的，批计算引擎可以处理完测试数据的时间长度。
需要说明的是，在一些实施例中，为了快速完成测试，流计算引擎与批计算引擎可以同时进行数据处理，在另一些实施例中，为了减轻测试系统的负担，可以在一个引擎完成数据处理之后再进行另一个引擎的工作。
需要说明的是，批计算引擎可以进行离线计算。
需要说明的是，得到批计算结果数据之后，会将该批计算结果数据存至与流计算目标数据库类型相同的批计算目标数据库中。
S150、根据该批计算结果数据，对该流计算结果数据进行校验测试，得到该流计算数据的测试结果。
本实施例中，当得到批计算结果数据之后，将对以该批计算结果数据作为对照，对该流计算结果数据进行校验测试，得到该流计算数据的测试结果。
其中，该校验测试包括流计算数据的正确性校验测试以及完整性校验测试。
在本实施例中，数据测试装置中还预先设置有数据收集脚本以及数据校验脚本，其中，该数据收集脚本以及数据校验脚本可以设置在批计算引擎中，也可以设置在数据测试装置中的其他位置。
具体地，步骤S150包括：通过预设的数据收集脚本分别从流计算目标数据库以及批计算目标数据库中收集流计算结果数据以及批计算结果数据；然后通过预设的数据校验脚本对收集到的流计算结果数据以及批计算结果数据进行校验测试，得到流计算数据的测试结果。
需要说明的是，本实施例中提供的数据测试装置可以对多种流计算引擎进行测试，在测试时只需要根据当前需要测试的流计算引擎进行处理逻辑的等价处理即可使用。
下面以一具体的场景实施例具体说明，如下：
测试流程样例：
1)将待测试的流计算引擎输入数据测试装置中，其中待测试的流计算引擎中流计算数据处理脚本FlinkSQL的任务为，将流计算数据源Kafka的数据读取并写入流计算目标数据库MySQL中。
2)根据该流计算引擎的FlinkSQL对数据测试装置中的批计算引擎进行处理逻辑等价处理。
3)1:00开始自动触发append类型的流计算任务，输入300W条append测试数据data1至流计算引擎中，执行时间大约一个小时(依据之前的测试时间)，得到成品业务数据result_append；
4)同时批计算引擎开始执行测试业务(期间流计算业务可以继续运行，但不再输入测试数据)，输入data1数据到批计算数据源mysql表source1，然后，执行测试SQL脚本append_sql，将结果输出到result1，对比result1和 result_append(数据总量和数据值)；
5)在13:00开始触发upsert类型的流计算任务，开始向流计算引擎输入 300W条upsert测试数据data2，得到成品数据result_upsert；
6)同时将data2数据输入到mysql表source2，然后在result1基础上继续执行脚本upsert_sql，将结果输出到result2，对比result2和result_upsert；
7)输出最终测试结果。
综上所述，本实施例中的数据测试装置获取待测试的流计算引擎；然后根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；再将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；并将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；最后根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。本方案可以利用批计算引擎得到的大量的批计算结果数据对流计算结果数据进行的真实性以及完整性的测试，降低了由于测试数据的取样刚好“规避”了错误数据的产生，而导致正确性测试不完整的可能性，可以流计算数据测试的准确性。
此外，本实施例不需要人工参与数据测试，可以一次性完成流计算数据真实性以及完整性的测试，可以提高流计算数据测试的速度。
图6是本发明实施例提供的一种基于批计算的流计算数据测试装置的示意性框图。如图6所示，对应于以上基于批计算的流计算数据测试方法，本发明还提供一种基于批计算的流计算数据测试装置。该基于批计算的流计算数据测试装置包括用于执行上述基于批计算的流计算数据测试方法的单元，该装置可以被配置于终端或服务器中。具体地，请参阅图6，该基于批计算的流计算数据测试装置包括获取单元601、处理单元602、第一输入单元603、第二输入单元 604以及校验单元605。
获取单元601，用于获取待测试的流计算引擎；
处理单元602，用于根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；
第一输入单元603，用于将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；
第二输入单元604，用于将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；
校验单元605，用于根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。
在一些实施例中，所述处理单元602具体用于：
从预设的逻辑库中确定与所述流计算引擎中流计算处理逻辑对应的目标数据处理逻辑；
根据所述目标数据处理逻辑对所述预设的批计算引擎中的批计算处理逻辑进行处理逻辑等价处理，得到所述处理后的批计算引擎。
在一些实施例中，所述第一输入单元603具体用于：
通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中；
通过所述流计算引擎中的流计算处理脚本，对所述流计算数据源中的所述测试数据进行流计算逻辑处理，得到所述流计算结果数据。
在一些实施例中，所述第一输入单元603进一步具体用于：
当到达预设的第一时间点时，向所述流计算引擎发出第一工作指令；
根据所述第一工作指令触发所述流数据获取脚本，从所述数据库中读取所述测试数据至所述流计算数据源中。
在一些实施例中，所述第二输入单元604具体用于：
通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中；
通过所述批计算引擎中的批计算处理脚本，对所述批计算数据源中的所述测试数据进行批计算逻辑处理，得到所述批计算结果数据。
在一些实施例中，所述第二输入单元604进一步具体用于：
所述通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中，包括：
当到达预设的第二时间点时，向所述批计算引擎发出第二工作指令；
根据所述第二工作指令触发所述批数据获取脚本，从所述数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中。
在一些实施例中，所述校验单元605具体用于：
通过预设的数据收集脚本分别从流计算目标数据库以及批计算目标数据库中收集所述流计算结果数据以及所述批计算结果数据，所述流计算目标数据库用于存储所述流计算结果数据，所述批计算目标数据库用于存储所述批计算结果数据，所述流计算目标数据库与批计算目标数据库的数据库类型相同；
通过预设的数据校验脚本对收集到的所述流计算结果数据以及所述批计算结果数据进行校验测试，得到所述流计算数据的测试结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于批计算的流计算数据测试装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于批计算的流计算数据测试装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备700包括通过系统总线701连接的处理器702、存储器和网络接口705，其中，存储器可以包括非易失性存储介质703和内存储器 704。
该非易失性存储介质703可存储操作系统7031和计算机程序7032。该计算机程序7032包括程序指令，该程序指令被执行时，可使得处理器702执行一种基于批计算的流计算数据测试方法。
该处理器702用于提供计算和控制能力，以支撑整个计算机设备700的运行。
该内存储器704为非易失性存储介质703中的计算机程序7032的运行提供环境，该计算机程序7032被处理器702执行时，可使得处理器702执行一种基于批计算的流计算数据测试方法。
该网络接口705用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器702用于运行存储在存储器中的计算机程序7032，以实现如下步骤：
获取待测试的流计算引擎；
根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；
将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；
将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；
根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。
在一实施例中，处理器702在实现所述根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎步骤时，具体实现如下步骤：
从预设的逻辑库中确定与所述流计算引擎中流计算处理逻辑对应的目标数据处理逻辑；
根据所述目标数据处理逻辑对所述预设的批计算引擎中的批计算处理逻辑进行处理逻辑等价处理，得到所述处理后的批计算引擎。
在一实施例中，处理器702在实现所述将预设的测试数据输入所述流计算引擎中，得到流计算结果数据步骤时，具体实现如下步骤：
通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中；
通过所述流计算引擎中的流计算处理脚本，对所述流计算数据源中的所述测试数据进行流计算逻辑处理，得到所述流计算结果数据。
在一实施例中，处理器702在实现所述通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中步骤时，具体实现如下步骤：
当到达预设的第一时间点时，向所述流计算引擎发出第一工作指令；
根据所述第一工作指令触发所述流数据获取脚本，从所述数据库中读取所述测试数据至所述流计算数据源中。
在一实施例中，处理器702在实现所述将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据步骤时，具体实现如下步骤：
通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中；
通过所述批计算引擎中的批计算处理脚本，对所述批计算数据源中的所述测试数据进行批计算逻辑处理，得到所述批计算结果数据。
在一实施例中，处理器702在实现所述通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中步骤时，具体实现如下步骤：
当到达预设的第二时间点时，向所述批计算引擎发出第二工作指令；
根据所述第二工作指令触发所述批数据获取脚本，从所述数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中。
在一实施例中，处理器702在实现所述根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果步骤时，具体实现如下步骤：
通过预设的数据收集脚本分别从流计算目标数据库以及批计算目标数据库中收集所述流计算结果数据以及所述批计算结果数据，所述流计算目标数据库用于存储所述流计算结果数据，所述批计算目标数据库用于存储所述批计算结果数据，所述流计算目标数据库与批计算目标数据库的数据库类型相同；
通过预设的数据校验脚本对收集到的所述流计算结果数据以及所述批计算结果数据进行校验测试，得到所述流计算数据的测试结果。
应当理解，在本申请实施例中，处理器702可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器702还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
获取待测试的流计算引擎；
根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；
将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；
将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；
根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。
在一实施例中，所述处理器在执行所述程序指令而实现所述根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎步骤时，具体实现如下步骤：
从预设的逻辑库中确定与所述流计算引擎中流计算处理逻辑对应的目标数据处理逻辑；
根据所述目标数据处理逻辑对所述预设的批计算引擎中的批计算处理逻辑进行处理逻辑等价处理，得到所述处理后的批计算引擎。
在一实施例中，所述处理器在执行所述程序指令而实现所述将预设的测试数据输入所述流计算引擎中，得到流计算结果数据步骤时，具体实现如下步骤：
通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中；
通过所述流计算引擎中的流计算处理脚本，对所述流计算数据源中的所述测试数据进行流计算逻辑处理，得到所述流计算结果数据。
在一实施例中，所述处理器在执行所述程序指令而实现所述通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中步骤时，具体实现如下步骤：
当到达预设的第一时间点时，向所述流计算引擎发出第一工作指令；
根据所述第一工作指令触发所述流数据获取脚本，从所述数据库中读取所述测试数据至所述流计算数据源中。
在一实施例中，所述处理器在执行所述程序指令而实现所述将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据步骤时，具体实现如下步骤：
通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中；
通过所述批计算引擎中的批计算处理脚本，对所述批计算数据源中的所述测试数据进行批计算逻辑处理，得到所述批计算结果数据。
在一实施例中，所述处理器在执行所述程序指令而实现所述通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中步骤时，具体实现如下步骤：
当到达预设的第二时间点时，向所述批计算引擎发出第二工作指令；
根据所述第二工作指令触发所述批数据获取脚本，从所述数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中。
在一实施例中，所述处理器在执行所述程序指令而实现所述根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果步骤时，具体实现如下步骤：
通过预设的数据收集脚本分别从流计算目标数据库以及批计算目标数据库中收集所述流计算结果数据以及所述批计算结果数据，所述流计算目标数据库用于存储所述流计算结果数据，所述批计算目标数据库用于存储所述批计算结果数据，所述流计算目标数据库与批计算目标数据库的数据库类型相同；
通过预设的数据校验脚本对收集到的所述流计算结果数据以及所述批计算结果数据进行校验测试，得到所述流计算数据的测试结果。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等) 执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种基于批计算的流计算数据测试方法，其特征在于，包括：
获取待测试的流计算引擎；
根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；
将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；
将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；
根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果；
所述根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果，包括：
通过预设的数据收集脚本分别从流计算目标数据库以及批计算目标数据库中收集所述流计算结果数据以及所述批计算结果数据，所述流计算目标数据库用于存储所述流计算结果数据，所述批计算目标数据库用于存储所述批计算结果数据，所述流计算目标数据库与批计算目标数据库的数据库类型相同；
通过预设的数据校验脚本对收集到的所述流计算结果数据以及所述批计算结果数据进行校验测试，得到所述流计算数据的测试结果；
其中，所述校验测试包括所述流计算数据的正确性校验测试以及完整性校验测试。
2.根据权利要求1所述的方法，其特征在于，所述根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎，包括：
从预设的逻辑库中确定与所述流计算引擎中流计算处理逻辑对应的目标数据处理逻辑；
根据所述目标数据处理逻辑对所述预设的批计算引擎中的批计算处理逻辑进行处理逻辑等价处理，得到所述处理后的批计算引擎。
3.根据权利要求1所述的方法，其特征在于，所述将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，包括：
通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中；
通过所述流计算引擎中的流计算处理脚本，对所述流计算数据源中的所述测试数据进行流计算逻辑处理，得到所述流计算结果数据。
4.根据权利要求3所述的方法，其特征在于，所述通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中，包括：
当到达预设的第一时间点时，向所述流计算引擎发出第一工作指令；
根据所述第一工作指令触发所述流数据获取脚本，从所述数据库中读取所述测试数据至所述流计算数据源中。
5.根据权利要求1所述的方法，其特征在于，所述将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据，包括：
通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中；
通过所述批计算引擎中的批计算处理脚本，对所述批计算数据源中的所述测试数据进行批计算逻辑处理，得到所述批计算结果数据。
6.根据权利要求5所述的方法，其特征在于，所述通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中，包括：
当到达预设的第二时间点时，向所述批计算引擎发出第二工作指令；
根据所述第二工作指令触发所述批数据获取脚本，从所述数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中。
7.一种基于批计算的流计算数据测试装置，其特征在于，包括：
获取单元，用于获取待测试的流计算引擎；
处理单元，用于根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；
第一输入单元，用于将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；
第二输入单元，用于将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；
校验单元，用于根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果；
所述校验单元具体用于：
通过预设的数据收集脚本分别从流计算目标数据库以及批计算目标数据库中收集所述流计算结果数据以及所述批计算结果数据，所述流计算目标数据库用于存储所述流计算结果数据，所述批计算目标数据库用于存储所述批计算结果数据，所述流计算目标数据库与批计算目标数据库的数据库类型相同；
通过预设的数据校验脚本对收集到的所述流计算结果数据以及所述批计算结果数据进行校验测试，得到所述流计算数据的测试结果；
其中，所述校验测试包括所述流计算数据的正确性校验测试以及完整性校验测试。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110484071.3A CN113220725B (zh) | 2021-04-30 | 2021-04-30 | 基于批计算的流计算数据测试方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110484071.3A CN113220725B (zh) | 2021-04-30 | 2021-04-30 | 基于批计算的流计算数据测试方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113220725A CN113220725A (zh) | 2021-08-06 |
| CN113220725B true CN113220725B (zh) | 2024-04-09 |
Family
ID=77090713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110484071.3A Active CN113220725B (zh) | 2021-04-30 | 2021-04-30 | 基于批计算的流计算数据测试方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220725B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106201886A (zh) * | 2016-07-18 | 2016-12-07 | 合网络技术（北京）有限公司 | 一种实时数据任务的验证的代理方法及装置 |
| US9600406B1 (en) * | 2016-03-09 | 2017-03-21 | International Business Machines Corporation | Data tuple testing and routing for a streaming application |
| CN106649119A (zh) * | 2016-12-28 | 2017-05-10 | 深圳市华傲数据技术有限公司 | 流计算引擎的测试方法及装置 |
| CN111177222A (zh) * | 2019-12-26 | 2020-05-19 | 腾讯云计算（北京）有限责任公司 | 模型测试方法、装置及计算设备、存储介质 |
| CN111382069A (zh) * | 2020-03-02 | 2020-07-07 | 北京九州云动科技有限公司 | 一种数据流测试方法及系统 |
-
2021
- 2021-04-30 CN CN202110484071.3A patent/CN113220725B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9600406B1 (en) * | 2016-03-09 | 2017-03-21 | International Business Machines Corporation | Data tuple testing and routing for a streaming application |
| CN106201886A (zh) * | 2016-07-18 | 2016-12-07 | 合网络技术（北京）有限公司 | 一种实时数据任务的验证的代理方法及装置 |
| CN106649119A (zh) * | 2016-12-28 | 2017-05-10 | 深圳市华傲数据技术有限公司 | 流计算引擎的测试方法及装置 |
| CN111177222A (zh) * | 2019-12-26 | 2020-05-19 | 腾讯云计算（北京）有限责任公司 | 模型测试方法、装置及计算设备、存储介质 |
| CN111382069A (zh) * | 2020-03-02 | 2020-07-07 | 北京九州云动科技有限公司 | 一种数据流测试方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 面向大数据的Storm框架研究与应用;赵菲;林穗;高西刚;;微型机与应用;20160325;第35卷(第06期);第12-14页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113220725A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112884092B (zh) | Ai模型生成方法、电子设备及存储介质 | |
| CN114117311B (zh) | 数据访问风险检测方法、装置、计算机设备及存储介质 | |
| CN113821200B (zh) | 大数据任务可拖拽建模方法、系统、存储介质和终端 | |
| CN109871368B (zh) | 数据库检测方法、装置、计算机装置及存储介质 | |
| CN112328499A (zh) | 一种测试数据生成方法、装置、设备及介质 | |
| CN112561333B (zh) | 一种考核数据处理方法、装置、电子设备及存储介质 | |
| CN115757150A (zh) | 一种生产环境测试方法、装置、设备及存储介质 | |
| CN110580220A (zh) | 测量代码段执行时间的方法及终端设备 | |
| CN113220725B (zh) | 基于批计算的流计算数据测试方法及相关设备 | |
| CN113205230A (zh) | 基于模型集合的数据预测方法、装置、设备及存储介质 | |
| CN111523921B (zh) | 漏斗分析方法、分析设备、电子设备及可读存储介质 | |
| CN115664866B (zh) | 访问账号识别方法、装置、计算机设备及存储介质 | |
| CN114860608A (zh) | 基于场景构建的系统自动化测试方法、装置、设备及介质 | |
| CN111190824B (zh) | 监测方法、装置、终端设备及存储介质 | |
| CN114780402A (zh) | 一种芯片仿真系统的调试方法、装置及服务器 | |
| CN112988566A (zh) | 测试覆盖率提高方法、装置、计算机设备及存储介质 | |
| CN112631905A (zh) | 执行过程数据管理方法、装置、计算机设备及存储介质 | |
| CN111858279A (zh) | 浏览器用户行为追踪方法及装置 | |
| CN111782527A (zh) | 接口测试方法、装置、计算机设备及存储介质 | |
| CN114812695B (zh) | 一种产品测试方法、装置、计算机设备和存储介质 | |
| CN110716855B (zh) | 处理器指令集测试方法及装置 | |
| CN113360513A (zh) | 报表影响分析方法、装置、计算机设备及存储介质 | |
| CN110119406B (zh) | 实时任务记录的核对方法及装置 | |
| CN116860492A (zh) | 接口异常检测方法、装置、计算机设备和存储介质 | |
| Jiang | Improving the integration process of large software systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |