CN117312175A - 数据处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，公开了一种数据处理方法、装置、计算机设备及存储介质。包括：对操作数据集合进行操作类型分析得到多个操作类型；进行数据抽取，得到每个操作类型的业务状态表；对每个操作类型的业务状态表进行快照表构建，得到多个数据快照表，生成每个数据快照表的ID信息；将每个操作类型的业务状态表及多个数据快照表同步至测试环境；对在测试环境中的数据库进行数据还原得到还原数据库；通过多个数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据；对每个数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过数据比对结果生成目标测试报告，进而提高了基于快照流量回放的准确率。

Description

数据处理方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

在日常的测试工作中，当服务架构升级或重构时，需要验证原始接口逻辑，对原有的多个接口做回归测试。而对于业务逻辑复杂的场景，每个迭代版本都需要大量的时间用于回归测试，编写自动化用例时复杂场景造数麻烦，日常自动化维护成本高，同时构造模拟数据麻烦。

现有技术方案中的流量回放技术需要提前预埋、流量无法自由筛选、不支持单步调试，因此现有技术的准确率较低。

发明内容

本发明提供了一种数据处理方法、装置、计算机设备及存储介质，用于提高基于快照流量回放的准确率。

本发明第一方面提供了一种数据处理方法，所述数据处理方法包括：

对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

对所述操作数据集合进行操作类型分析，得到多个操作类型；

基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表；

对每个所述操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个所述数据快照表的ID信息；

将每个所述操作类型的业务状态表以及多个所述数据快照表同步至预置的测试环境；

基于每个所述数据快照表的ID信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库；

基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据；

通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告。

本发明第二方面提供了一种数据处理装置，所述一种数据处理装置包括：

采集模块，用于对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

分析模块，用于对所述操作数据集合进行操作类型分析，得到多个操作类型；

抽取模块，用于基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表；

构建模块，用于对每个所述操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个所述数据快照表的ID信息；

同步模块，用于将每个所述操作类型的业务状态表以及多个所述数据快照表同步至预置的测试环境；

还原模块，用于基于每个所述数据快照表的ID信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库；

模拟模块，用于基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据；

比对模块，用于通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告。

本发明第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述一种计算机设备执行上述的数据处理方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据处理方法。

本发明提供的技术方案中，对目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；对操作数据集合进行操作类型分析，得到多个操作类型；基于每个操作类型对操作数据集合进行数据抽取，得到每个操作类型的业务状态表；对每个操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个数据快照表的ID信息；将每个操作类型的业务状态表以及多个数据快照表同步至测试环境；基于每个数据快照表的ID信息，通过快照回放工具以及多个数据快照表对在测试环境中的数据库进行数据还原，得到还原数据库；基于还原数据库，通过多个数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据；通过每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过数据比对结果生成目标测试报告。在本申请方案中，流量回放可以不用提前录制，流量回放支持单步调试，流量回放还可以支持按业务及特性按需筛选，同时，通过实时采集生产环境中的操作数据，可以获得真实的操作行为信息，而不仅仅依赖于静态数据。对采集的操作数据进行分析，能够帮助识别不同的操作类型，这对于理解系统用户行为和模拟测试非常关键。基于操作类型，可以从操作数据中抽取相关的信息，构建业务状态表，可以更好地理解每种操作类型的影响和需求。生成数据快照表并分配唯一的ID信息，有助于在测试环境中还原数据库和进行模拟操作。业务状态表和数据快照表同步至测试环境，为测试提供了一个与生产环境相似的基础，以进行更真实的测试，通过还原数据库和模拟操作，可以在测试环境中模拟不同的操作类型和数据库状态，从而评估系统在各种情况下的性能和稳定性，以进一步提升数据处理方法的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以基于这些附图获得其他的附图。

图1为本发明实施例中数据处理方法的一个实施例示意图；

图2为本发明实施例中一种数据处理装置的一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据处理方法、装置、计算机设备及存储介质，用于提高基于快照流量回放的准确率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据处理方法的一个实施例包括：

步骤101、对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

可以理解的是，本发明的执行主体可以为一种数据处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，选择合适的数据采集工具和技术。这些工具可以包括代理软件、网络流量分析器、事件日志记录器等。选择工具应根据目标服务器的性质和需要监测的操作类型来决定。例如，对于一个Web服务器，可以选择使用网络代理软件来捕获HTTP请求和响应数据。接下来需要明确定义采集的范围和目标。这包括确定要监测的操作类型，例如用户登录、文件上传、数据库查询等，以及需要监测的服务器和应用程序。确保采集的数据集中包含对于服务器关注的关键操作的信息。配置数据采集系统。这包括在目标服务器上安装和配置代理软件，设置数据捕获规则，以确保仅捕获感兴趣的操作，并确保数据的实时传输到中央存储系统。此外，确保系统能够实时响应和捕获操作，以便及时获取操作数据。捕获的操作数据需要被安全地存储在中央存储系统中，这可以是数据库、日志文件、云存储或其他适当的存储介质。这个中央存储系统将充当操作数据集合的重要仓库，供后续的分析和审计使用。

步骤102、对操作数据集合进行操作类型分析，得到多个操作类型；

具体的，对操作数据集合进行数据清洗。数据清洗是为了识别和纠正数据中的错误、不一致性和异常值，以确保后续分析的数据质量和准确性。清洗后的数据形成清洗数据集合，为后续步骤提供了更可靠的数据基础。对清洗后的数据集合进行时间戳校正。时间戳校正的目的是确保所有操作的时间戳是准确的，且在相同的时间标准下。这有助于保持数据的一致性和可比性。针对清洗和校正后的数据集合，进行文本信息提取。这一步骤的目的是从操作数据中提取文本信息，以备后续的文本分析或关键词提取。对提取的文本数据进行关键词提取。关键词提取有助于识别文本中的关键词或短语，为后续的主题分析或内容分类提供支持。基于提取的文本信息或关键词，进行第一操作类型分析。这一步骤的目标是将文本数据与操作类型相关联，确定每个文本数据的第一初始操作类型。对清洗和校正后的数据集合进行数据对象分析。数据对象分析的目标是识别数据中的不同实体或对象，并了解它们之间的关系。对多个数据对象进行数据关联分析。这一步骤有助于识别数据对象之间的关联关系，揭示它们在操作中的交互和依赖关系。基于关联分析结果，进行第二操作类型分析。这一步骤的目标是根据数据关联关系进一步细化操作类型，确定每个文本数据的第二初始操作类型。将第一初始操作类型和第二初始操作类型进行数据关联融合，得到多个操作类型的综合结果。这一步骤将不同层次的操作类型信息整合在一起，为后续的操作数据分析和应用提供更全面的视角。

步骤103、基于每个操作类型对操作数据集合进行数据抽取，得到每个操作类型的业务状态表；

具体的，为每个操作类型匹配适当的数据抽取算法。不同的操作类型需要不同的数据抽取方法，以确保从原始操作数据中提取出相关的信息。例如，对于操作数据集合中的用户活动数据，如果操作类型是"登录"，数据抽取算法关注用户ID和登录时间；如果操作类型是"搜索"，则算法关注搜索关键词和搜索结果数量。针对每个操作类型，进行业务状态表结构分析。这一步骤的目标是确定业务状态表的结构，包括需要提取的字段、数据类型、关系等。例如，对于操作数据中的订单数据，业务状态表结构分析确定需要抽取的字段包括订单号、产品名称、数量、价格等。基于每个操作类型对应的数据抽取算法和业务状态表结构数据，对操作数据集合进行数据抽取。这一步骤将根据预定义的规则和算法从原始数据中筛选出符合操作类型的数据，并创建相应的业务状态表。例如，如果操作数据集合包含了各种事件记录，数据抽取算法将根据不同的操作类型从数据中提取出相关信息，并将其存储在相应的业务状态表中。通过数据抽取的过程，为每个操作类型创建业务状态表。这些业务状态表包含了与每个操作类型相关的信息，以供后续的分析和查询使用。例如，为每个操作类型创建的业务状态表可以包括事件时间、用户ID、操作描述等字段，以便后续分析和了解操作数据。

步骤104、对每个操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个数据快照表的ID信息；

具体的，快照表是一个用于存储某一时刻数据状态的表格或数据结构。在操作数据分析中，快照表用于记录某一操作类型在某一时间点的数据状态，以便后续查询和分析。针对每个操作类型，选择要创建快照的业务状态表。每个操作类型对应不同的业务状态表，用于记录相关数据的变化。例如，如果操作数据包括用户活动，会选择创建用户活动的业务状态表，其中包含了用户ID、活动描述、时间戳等字段。为每个选定的业务状态表定义快照表的结构。这包括确定需要在快照中包含的字段，以及每个字段的数据类型和约束。例如，对于用户活动的业务状态表，快照表结构包括用户ID（字符串）、活动描述（文本）、时间戳（时间）等字段。使用选定的业务状态表结构，从业务状态表中抽取数据并生成快照表。这可以通过查询业务状态表并将结果插入到快照表中来完成。例如，对于用户活动的业务状态表，可以定期执行查询，选择某一时间点的数据，并将这些数据插入到用户活动的快照表中。对于每个生成的数据快照表，生成唯一的ID信息，以便对其进行唯一标识和检索。这可以是自增的整数、全局唯一标识符（UUID）或其他唯一性标识符。例如，对于每个用户活动的快照表，可以使用自增的整数作为ID信息，确保每个快照表都有不同的ID。保存和管理生成的数据快照表，以便后续的查询和分析。这涉及到数据存储和索引的管理。例如，数据快照表可以保存在关系型数据库中，每个表都有一个唯一的表名和对应的ID信息。

步骤105、将每个操作类型的业务状态表以及多个数据快照表同步至预置的测试环境；

具体的，明确预置的测试环境的需求。这包括确定测试环境的硬件和软件要求、网络配置以及其他必要的资源。根据需求，创建预置的测试环境。这包括设置测试服务器、数据库、网络配置以及其他必要的基础设施。将每个操作类型的业务状态表以及多个数据快照表从生产环境导入到测试环境。这可以通过数据库备份和恢复、数据导出和导入等方式完成。例如，如果服务器有用户活动的业务状态表和相关的用户活动快照表，可以将它们从生产环境导出为数据文件，然后在测试环境中导入这些数据文件。设定数据同步机制，以确保测试环境中的数据保持与生产环境的数据同步。这可以通过定期的数据同步作业或实时数据流来实现。例如，如果生产环境中的操作数据不断更新，可以设置定期的数据同步作业，以将最新的数据同步到测试环境中，以反映实际情况。在数据同步后，进行数据校验以确保测试环境中的数据与生产环境一致。这包括验证数据的完整性、准确性和一致性。例如，可以编写脚本或查询来比较测试环境中的数据与生产环境中的数据，以确保它们匹配。在测试环境中确保数据的安全性和隔离性，以防止未经授权的访问和修改。例如，可以使用访问控制和身份验证措施来保护测试环境中的数据。设立数据备份和恢复机制，以便在需要时可以还原测试环境的状态。例如，定期备份测试环境中的数据，以便在出现问题时可以恢复到先前的状态。在测试环境中，使用模拟工具或脚本模拟用户的操作行为，以对操作数据进行测试和验证。例如，使用自动化测试脚本来模拟用户登录、浏览、购物等操作，以测试操作数据的还原和模拟效果。在测试环境中建立故障排除和监控机制，以便及时发现和解决问题。例如，设置日志和警报系统，以监控测试环境中的异常情况。定期维护和更新测试环境，以确保其与生产环境保持一致性。例如，更新测试环境中的数据和配置，以反映生产环境的变化。

步骤106、基于每个数据快照表的ID信息，通过预置的快照回放工具以及多个数据快照表对在测试环境中的数据库进行数据还原，得到还原数据库；

具体的，从每个数据快照表中提取时间点信息。时间点信息表示了每个快照的创建时间，这是数据还原的关键。例如，对于一个包含用户活动数据的数据快照表，时间点信息可以是快照创建的日期和时间，以表示快照捕获的数据状态。基于每个数据快照表的时间点信息，生成标签ID信息。这些标签用于标识每个数据快照表的时间点，以便后续的数据还原和回放。例如，如果时间点信息是日期和时间，标签ID信息可以是对应的时间戳，例如UNIX时间戳或ISO日期时间格式。使用生成的标签ID信息，对多个数据快照表进行回放对象筛选。这一步骤的目标是选择要还原的数据快照表，以便模拟特定时间点的数据状态。例如，如果测试需要还原某一天的用户活动数据，可以筛选出具有对应时间点的数据快照表。使用预置的快照回放工具，基于选定的数据快照表和标签ID信息，对测试环境中的数据库进行数据还原。这一步骤将根据所选的时间点将数据库还原到特定状态。例如，如果服务器选择了特定时间点的用户活动数据快照表，快照回放工具将会将测试环境中的用户活动数据库还原到该时间点的状态，包括用户活动记录、数据内容等。在数据还原后，进行数据校验以确保还原的数据与数据快照表中的数据一致。这可以通过比较数据库中的数据与数据快照表中的数据来实现。例如，可以编写脚本或查询来比较还原数据库中的数据与数据快照表中的数据，以确保它们匹配。完成数据还原后，可以开始模拟用户操作和数据回放。在还原数据库上执行各种操作，以测试系统的行为和性能。例如，可以使用自动化测试脚本来模拟用户登录、浏览、搜索等操作，并观察系统的响应和性能。在数据回放期间，建立故障排除和监控机制，以便及时发现和解决问题。例如，设置日志和警报系统，以监控数据回放期间的异常情况，并采取适当的措施进行修复。定期维护和更新还原数据库和回放工具，以确保它们与生产环境保持一致性。例如，更新回放工具以支持新的数据快照表和时间点信息，以反映生产环境的变化。

步骤107、基于还原数据库，通过多个数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据；

具体的，从多个数据快照表中抽取多个待回放数据快照表，这些待回放数据快照表包含了所需的操作数据。基于还原数据库，提取数据库状态信息，包括数据库表数据和数据库配置信息。这些信息是模拟用户操作的基础。随后，使用预置的自动化脚本编写模拟用户操作的逻辑。脚本能够连接到还原数据库，并根据提取的数据库状态信息执行用户操作。这些操作将在还原数据库上执行，模拟用户的实际行为。在执行模拟操作期间，记录每个数据快照表对应的模拟状态数据。这些数据包括用户操作后数据库的状态，以及的变化，例如产品库存、购物车内容、订单状态等。模拟用户操作结束后，进行数据校验，确保模拟状态数据与期望的数据一致。这有助于验证模拟操作的准确性和可靠性。为了满足不同测试需求，可以多次运行模拟用户操作，以生成不同时间点的模拟状态数据，覆盖多个快照时间点。这有助于测试系统在不同情景下的表现和响应。在模拟过程中建立故障排除和监控机制，以便及时发现和解决问题。设置日志和警报系统，以监控模拟操作期间的异常情况，并采取适当的措施进行修复。将模拟状态数据记录并保存，以备后续分析和测试报告生成。这有助于评估系统的性能和稳定性，并为决策提供数据支持。

其中，通过自动化脚本定义连接字符串。连接字符串包括数据库服务器地址、用户名、密码以及数据库名称等信息，用于建立与还原数据库的连接。基于数据库配置信息以及连接字符串定义，生成多个目标连接字符串。每个目标连接字符串对应不同的数据库配置，用于模拟不同的环境或情景。使用生成的目标连接字符串，对自动化脚本进行更新。这包括替换连接字符串定义部分，以使脚本能够连接到目标数据库。例如，如果原始脚本包含连接字符串定义，更新脚本时，将连接字符串替换为目标连接字符串，以确保脚本连接到正确的数据库。经过脚本更新后，生成目标自动化脚本。这些脚本已经包含了正确的连接信息，可以与目标数据库进行交互。例如，生成目标自动化脚本，其中包含了正确的连接信息，以便脚本能够与目标数据库建立连接。使用目标自动化脚本，对多个待回放数据快照表进行用户操作行为模拟。脚本将根据预定义的用户操作逻辑在目标数据库上执行操作，模拟用户行为。在执行模拟操作期间，记录每个数据快照表对应的模拟状态数据。这些数据包括用户操作后数据库的状态，以及的变化。在模拟用户操作结束后，进行数据校验，确保模拟状态数据与期望的数据一致。这有助于验证模拟操作的准确性和可靠性。

步骤108、通过每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过数据比对结果生成目标测试报告。

具体的，针对每个操作类型的业务状态表，分别对每个数据快照表对应的模拟状态数据进行数据相似度计算。这可以通过各种算法和指标来衡量模拟数据与实际数据之间的相似程度。例如，使用相似度计算算法（如余弦相似度、欧氏距离等），比较模拟状态数据和实际数据之间的相似性，生成相似度计算结果。基于相似度计算结果和每个操作类型的业务状态表，对每个模拟状态数据计算一致性指标。一致性指标用于确定模拟状态数据与实际数据之间的一致性程度。例如，一致性指标可以包括误差率、准确性、完整性等。计算这些指标可以帮助评估模拟数据的质量和准确性。将一致性指标数据与预先定义的标准或阈值进行比对。这一步骤用于确定是否满足测试的要求，并生成数据比对结果。例如，如果一致性指标数据在规定的阈值范围内，则模拟数据被认为是一致的。否则，将被标记为不一致。将数据比对结果转化为可视化数据，以便更容易理解和分析。这包括生成图表、图形和可视化报告。例如，可以创建柱状图、折线图或热力图，以可视化展示数据一致性和相似性。这有助于测试人员和决策者快速了解测试结果。通过可视化比对数据生成目标测试报告。测试报告应包括测试的概要、数据比对结果、一致性指标、可视化数据和任何必要的附加信息。例如，测试报告可以包括测试的目的、方法、测试环境、测试结果概要、数据一致性指标摘要、可视化图表和结论。这些信息将有助于团队了解系统性能和测试的有效性。

本发明实施例中，对目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；对操作数据集合进行操作类型分析，得到多个操作类型；基于每个操作类型对操作数据集合进行数据抽取，得到每个操作类型的业务状态表；对每个操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个数据快照表的ID信息；将每个操作类型的业务状态表以及多个数据快照表同步至测试环境；基于每个数据快照表的ID信息，通过快照回放工具以及多个数据快照表对在测试环境中的数据库进行数据还原，得到还原数据库；基于还原数据库，通过多个数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据；通过每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过数据比对结果生成目标测试报告。在本申请方案中，流量回放可以不用提前录制，流量回放支持单步调试，流量回放还可以支持按业务及特性按需筛选，同时，通过实时采集生产环境中的操作数据，可以获得真实的操作行为信息，而不仅仅依赖于静态数据。对采集的操作数据进行分析，能够帮助识别不同的操作类型，这对于理解系统用户行为和模拟测试非常关键。基于操作类型，可以从操作数据中抽取相关的信息，构建业务状态表，可以更好地理解每种操作类型的影响和需求。生成数据快照表并分配唯一的ID信息，有助于在测试环境中还原数据库和进行模拟操作。业务状态表和数据快照表同步至测试环境，为测试提供了一个与生产环境相似的基础，以进行更真实的测试，通过还原数据库和模拟操作，可以在测试环境中模拟不同的操作类型和数据库状态，从而评估系统在各种情况下的性能和稳定性，以进一步提升数据处理方法的准确率。

在一具体实施例中，执行步骤102的过程可以具体包括如下步骤：

（1）对操作数据集合进行操作类型分析，得到多个操作类型，包括：

（2）对操作数据集合进行数据清洗，得到清洗数据集合；

（3）对清洗数据集合进行时间戳校正，得到校正数据集合；

（4）对校正数据集合进行文本信息提取，得到文本数据；

（5）对文本数据进行关键词提取，得到多个目标关键词；

（6）对多个目标关键词进行第一操作类型分析，得到多个第一初始操作类型；

（7）对校正数据集合进行数据对象分析，得到多个数据对象；

（8）对多个数据对象进行数据关联分析，得到对应的关联分析结果；

（9）基于关联分析结果对操作数据集合进行第二操作类型分析，得到多个第二初始操作类型；

（10）对第一初始操作类型以及第二初始操作类型进行数据关联融合，得到多个操作类型。

具体的，对原始操作数据集合进行数据清洗，以去除异常值和无效数据，从而得到清洗数据集合。随后，对清洗数据集合进行时间戳校正，以确保时间信息的准确性，并将所有时间戳统一为相同的格式和时区，得到校正数据集合。从校正数据集合中提取文本信息，这包括日志消息、评论或说明性文本。对提取的文本数据进行关键词提取，以确定文本中的关键概念或主题。基于提取的关键词，进行第一操作类型分析，这一步骤有助于确定文本所涉及的操作类型。例如，如果关键词包含“创建”、“编辑”等词汇，可以将操作类型分析为“编辑操作”。同时，进行数据对象分析，以确定数据中存在的不同数据对象，如文档、用户、事件等，以及它们之间的关系。这为后续分析提供了重要的上下文。进行数据关联分析，基于数据对象分析的结果，有助于确定不同数据对象之间的关联和交互方式。例如，可以分析用户与文档之间的交互，如创建文档、编辑文档等。进行第二操作类型分析，基于数据关联分析的结果，这一步骤可以确定不同数据对象之间的操作类型。如果用户创建文档并与之交互，第二操作类型分析可以识别为“文档编辑操作”。对第一操作类型和第二操作类型进行数据关联融合，以得到多个最终的操作类型。例如，将文档编辑操作与用户交互操作关联融合，以形成一个综合的文档管理操作类型。通过这一系列步骤，可以有效地对操作数据集合进行操作类型分析，识别数据中的不同行为和交互，为进一步的测试和分析提供了有力支持。

在一具体实施例中，执行步骤103的过程可以具体包括如下步骤：

（1）、分别对每个操作类型进行数据抽取算法匹配，得到每个操作类型对应的数据抽取算法；

（2）、分别对每个操作类型进行业务状态表结构分析，得到每个操作类型对应的业务状态表结构数据；

（3）、基于每个操作类型对应的业务状态表结构数据，通过每个操作类型对应的数据抽取算法对操作数据集合进行数据抽取，得到每个操作类型的业务状态表。

具体的，为每个操作类型选择适当的数据抽取算法。这些算法可以是事先定义的，也可以是根据操作类型的特征动态选择的。数据抽取算法应能够从原始操作数据中提取与操作类型相关的信息。例如，对于文本编辑操作类型，数据抽取算法可以包括从文本数据中提取编辑的内容和时间戳的算法。针对每个操作类型，进行业务状态表结构分析。这一步骤涉及确定业务状态表的结构，即表中包含哪些字段以及它们的数据类型。这些结构数据应该与操作类型的特性相匹配。例如，对于文本编辑操作类型，业务状态表结构可以包括字段如编辑者ID、文档ID、编辑内容、时间戳等。基于每个操作类型对应的数据抽取算法和业务状态表结构数据，对操作数据集合进行数据抽取。这一步骤将根据选定的算法和表结构从原始数据中提取信息，以创建业务状态表。例如，对于文本编辑操作类型，数据抽取算法可以解析文本数据中的编辑者ID、文档ID、编辑内容和时间戳，并将这些信息存储到业务状态表中。重复上述步骤，为每个操作类型执行数据抽取和业务状态表结构分析，以便获得多个操作类型的业务状态表。

在一具体实施例中，执行步骤106的过程可以具体包括如下步骤：

（1）、对多个数据快照表进行时间点提取，得到每个数据快照表对应的时间点信息；

（2）、基于每个数据快照表对应的时间点信息，对每个数据快照表的ID信息进行时间标签标注，得到每个数据快照表对应的标签ID信息；

（3）、基于每个数据快照表对应的标签ID信息，对多个数据快照表进行回放对象筛选，得到多个待回放数据快照表；

（4）、基于在测试环境中的数据库，通过快照回放工具对多个待回放数据快照表进行数据还原，得到还原数据库。

具体的，对多个数据快照表进行时间点提取，从每个数据快照表中获取时间信息，通常是时间戳或日期时间格式。这些时间点表示了数据快照的创建时间或关键事件发生的时间。基于每个数据快照表对应的时间点信息，对每个数据快照表的ID信息进行时间标签标注。这一步骤将时间点信息与数据快照表关联起来，为每个数据快照表赋予时间标签。基于每个数据快照表对应的标签ID信息，对多个数据快照表进行回放对象筛选。这一步骤确定哪些数据快照表将被用于回放和测试。服务器根据时间标签或其他标识来筛选需要回放的数据快照表。基于在测试环境中的数据库，通过快照回放工具对多个待回放数据快照表进行数据还原。这一过程将选定的数据快照表中的数据还原到测试环境的数据库中，以创建还原数据库。例如，如果服务器选择回放特定日期之后的数据快照表，快照回放工具将会将这些数据还原到测试环境中，确保测试环境的数据库与选定的数据快照表保持一致。

在一具体实施例中，执行步骤107的过程可以具体包括如下步骤：

（1）、从多个数据快照表中抽取多个待回放数据快照表；

（2）、对还原数据库进行信息提取，得到还原数据库对应的数据库状态信息，其中，数据库状态信息包括数据库表数据以及数据库配置信息；

（3）、基于数据库表数据以及数据库配置信息，通过预置的自动化脚本对多个待回放数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据。

具体的，从多个数据快照表中抽取需要回放的数据快照表。这一步骤可以基于时间标签、操作类型或其他标识来选择要回放的数据快照表。对还原数据库进行信息提取，以获取还原数据库的数据库状态信息。这些信息包括数据库表的数据内容和数据库的配置信息。通常，这些信息存储在还原数据库的元数据中。基于数据库表数据和数据库配置信息，准备预置的自动化脚本。这些脚本用于模拟用户操作行为，以在还原数据库上执行一系列操作，以生成模拟状态数据。这些操作可以包括查询、更新、插入或删除数据库表中的数据。使用准备好的自动化脚本，对多个待回放数据快照表进行用户操作行为模拟。这一步骤将在还原数据库上执行脚本中定义的一系列操作，以模拟用户活动。通过执行自动化脚本，每个数据快照表将生成模拟状态数据。这些数据反映了模拟用户操作后数据库的状态。

在一具体实施例中，执行步骤403的过程可以具体包括如下步骤：

（1）通过自动化脚本，对数据库表数据以及数据库配置信息进行连接字符串定义，得到多个目标连接字符串；

（2）基于多个目标连接字符串对自动化脚本进行脚本更新，得到目标自动化脚本；

（3）通过目标自动化脚本对多个待回放数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据。

具体的，通过自动化脚本，对数据库表数据以及数据库配置信息进行连接字符串的定义。连接字符串包括数据库的位置、身份验证信息、数据库名称以及其他必要的连接参数。这些参数将用于与数据库建立连接。例如，连接字符串可以包括数据库服务器的IP地址、端口号、用户名和密码等信息。基于不同的测试需求，可以定义多个目标连接字符串。每个连接字符串连接到不同的数据库实例或模拟不同的数据库配置。例如，如果服务器测试不同地理位置的数据库，可以创建多个连接字符串，每个连接到一个特定位置的数据库。使用多个目标连接字符串，对自动化脚本进行更新。根据不同的连接字符串，修改自动化脚本中的数据库连接信息，以确保脚本将在不同的数据库上执行。更新后的自动化脚本成为目标自动化脚本。这些脚本已经包含了连接到特定数据库的信息，并可以用于模拟用户操作。通过使用目标自动化脚本，对多个待回放数据快照表进行用户操作行为模拟。这些脚本将连接到不同的数据库，并执行模拟用户操作，以生成每个数据快照表对应的模拟状态数据。例如，如果服务器有三个目标自动化脚本，分别连接到不同的数据库，并执行相同的查询操作，服务器将生成三个不同的模拟状态数据集，反映了不同数据库上的查询结果。

在一具体实施例中，执行步骤108的过程可以具体包括如下步骤：

（1）基于每个操作类型的业务状态表，分别对每个数据快照表对应的模拟状态数据进行数据相似度计算，得到相似度计算结果；

（2）基于相似度计算结果以及每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据一致性指标计算，得到每个模拟状态数据对应的一致性指标数据；

（3）对每个模拟状态数据对应的一致性指标数据进行数据比对，得到对应的数据比对结果；

（4）对数据比对结果进行可视化数据转换，得到对应的可视化比对数据；

（5）通过可视化比对数据进行测试报告生成，得到目标测试报告。

具体的，基于每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据相似度计算。这一步骤可以使用各种数据相似性度量方法，如余弦相似度、欧氏距离等。基于相似度计算结果以及每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据一致性指标计算。这些一致性指标可以包括误差率、差异百分比等，用于量化模拟状态数据的一致性。对每个模拟状态数据对应的一致性指标数据进行数据比对。在这一步骤中，服务器将比较模拟状态数据的一致性指标与预定义的一致性标准或阈值。将数据比对结果进行可视化数据转换。这可以通过图表、图形或其他可视化方式呈现，以便更容易理解和分析比对结果。通过可视化比对数据，生成目标测试报告。测试报告应包括数据相似度计算结果、一致性指标数据、数据比对结果以及可视化比对数据，以提供全面的测试评估信息。

上面对本发明实施例中一种数据处理方法进行了描述，下面对本发明实施例中一种数据处理装置进行描述，请参阅图2，本发明实施例中一种数据处理装置一个实施例包括：

采集模块201，用于对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

分析模块202，用于对所述操作数据集合进行操作类型分析，得到多个操作类型；

抽取模块203，用于基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表；

构建模块204，用于对每个所述操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个所述数据快照表的ID信息；

同步模块205，用于将每个所述操作类型的业务状态表以及多个所述数据快照表同步至预置的测试环境；

还原模块206，用于基于每个所述数据快照表的ID信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库；

模拟模块207，用于基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据；

比对模块208，用于通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告。

通过上述各个组成部分的协同合作，对目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；对操作数据集合进行操作类型分析，得到多个操作类型；基于每个操作类型对操作数据集合进行数据抽取，得到每个操作类型的业务状态表；对每个操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个数据快照表的ID信息；将每个操作类型的业务状态表以及多个数据快照表同步至测试环境；基于每个数据快照表的ID信息，通过快照回放工具以及多个数据快照表对在测试环境中的数据库进行数据还原，得到还原数据库；基于还原数据库，通过多个数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据；通过每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过数据比对结果生成目标测试报告。在本申请方案中，流量回放可以不用提前录制，流量回放支持单步调试，流量回放还可以支持按业务及特性按需筛选，同时，通过实时采集生产环境中的操作数据，可以获得真实的操作行为信息，而不仅仅依赖于静态数据。对采集的操作数据进行分析，能够帮助识别不同的操作类型，这对于理解系统用户行为和模拟测试非常关键。基于操作类型，可以从操作数据中抽取相关的信息，构建业务状态表，可以更好地理解每种操作类型的影响和需求。生成数据快照表并分配唯一的ID信息，有助于在测试环境中还原数据库和进行模拟操作。业务状态表和数据快照表同步至测试环境，为测试提供了一个与生产环境相似的基础，以进行更真实的测试，通过还原数据库和模拟操作，可以在测试环境中模拟不同的操作类型和数据库状态，从而评估系统在各种情况下的性能和稳定性，以进一步提升数据处理方法的准确率。

本发明还提供一种计算机设备，所述一种计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述数据处理方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或通过时，可以存储在一个计算机可读取存储介质中。基于的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-onlymemory，ROM）、随机存取存储器（randomacceSmemory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

对所述操作数据集合进行操作类型分析，得到多个操作类型；

基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表；

对每个所述操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个所述数据快照表的ID信息；

将每个所述操作类型的业务状态表以及多个所述数据快照表同步至预置的测试环境；

基于每个所述数据快照表的ID信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库；

基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据；

通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告。

2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述操作数据集合进行操作类型分析，得到多个操作类型，包括：

对所述操作数据集合进行数据清洗，得到清洗数据集合；

对所述清洗数据集合进行时间戳校正，得到校正数据集合；

对所述校正数据集合进行文本信息提取，得到文本数据；

对所述文本数据进行关键词提取，得到多个目标关键词；

对多个所述目标关键词进行第一操作类型分析，得到多个第一初始操作类型；

对所述校正数据集合进行数据对象分析，得到多个数据对象；

对多个所述数据对象进行数据关联分析，得到对应的关联分析结果；

基于所述关联分析结果对所述操作数据集合进行第二操作类型分析，得到多个第二初始操作类型；

对所述第一初始操作类型以及所述第二初始操作类型进行数据关联融合，得到多个所述操作类型。

3.根据权利要求1所述的数据处理方法，其特征在于，所述基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表，包括：

分别对每个所述操作类型进行数据抽取算法匹配，得到每个所述操作类型对应的数据抽取算法；

分别对每个所述操作类型进行业务状态表结构分析，得到每个所述操作类型对应的业务状态表结构数据；

基于每个所述操作类型对应的业务状态表结构数据，通过每个所述操作类型对应的数据抽取算法对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表。

4.根据权利要求1所述的数据处理方法，其特征在于，所述基于每个所述数据快照表的ID信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库，包括：

对多个所述数据快照表进行时间点提取，得到每个所述数据快照表对应的时间点信息；

基于每个所述数据快照表对应的时间点信息，对每个所述数据快照表的ID信息进行时间标签标注，得到每个所述数据快照表对应的标签ID信息；

基于每个所述数据快照表对应的标签ID信息，对多个所述数据快照表进行回放对象筛选，得到多个待回放数据快照表；

基于在所述测试环境中的数据库，通过所述快照回放工具对多个所述待回放数据快照表进行数据还原，得到还原数据库。

5.根据权利要求4所述的数据处理方法，其特征在于，所述基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据，包括：

从多个所述数据快照表中抽取多个所述待回放数据快照表；

对所述还原数据库进行信息提取，得到所述还原数据库对应的数据库状态信息，其中，所述数据库状态信息包括数据库表数据以及数据库配置信息；

基于所述数据库表数据以及所述数据库配置信息，通过预置的自动化脚本对多个所述待回放数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据。

6.根据权利要求5所述的数据处理方法，其特征在于，所述基于所述数据库表数据以及所述数据库配置信息，通过预置的自动化脚本对多个所述待回放数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据，包括：

通过所述自动化脚本，对所述数据库表数据以及所述数据库配置信息进行连接字符串定义，得到多个目标连接字符串；

基于多个所述目标连接字符串对所述自动化脚本进行脚本更新，得到目标自动化脚本；

通过所述目标自动化脚本对多个所述待回放数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据。

7.根据权利要求1所述的数据处理方法，其特征在于，所述通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告，包括：

基于每个所述操作类型的业务状态表，分别对每个所述数据快照表对应的模拟状态数据进行数据相似度计算，得到相似度计算结果；

基于所述相似度计算结果以及每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据一致性指标计算，得到每个所述模拟状态数据对应的一致性指标数据；

对每个所述模拟状态数据对应的一致性指标数据进行数据比对，得到对应的数据比对结果；

对所述数据比对结果进行可视化数据转换，得到对应的可视化比对数据；

通过所述可视化比对数据进行测试报告生成，得到所述目标测试报告。

8.一种数据处理装置，其特征在于，所述数据处理装置包括：

采集模块，用于对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

分析模块，用于对所述操作数据集合进行操作类型分析，得到多个操作类型；

抽取模块，用于基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表；

构建模块，用于对每个所述操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个所述数据快照表的ID信息；

同步模块，用于将每个所述操作类型的业务状态表以及多个所述数据快照表同步至预置的测试环境；

还原模块，用于基于每个所述数据快照表的ID信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库；

模拟模块，用于基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据；

比对模块，用于通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告。

9.一种计算机设备，其特征在于，所述一种计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述一种计算机设备执行如权利要求1-7中任一项所述的一种数据处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的一种数据处理方法。