CN108536521B - 基于仿真平台离线环境核对方法及装置 - Google Patents

Abstract

本申请公开了一种基于仿真平台离线环境核对方法，包括：接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；在离线环境中对所述业务数据进行核对，获取核对差异数据集合；对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。通过对核对产生的核对差异数据集合进行过滤，过滤掉由压测引入的核对差异数据，筛选出符合预设要求的与仿真活动相关的核对差异数据，进而根据与仿真活动相关的核对差异数据进行预警，降低了离线核对中的噪音，提高了仿真活动离线核对的精确性。

Description

基于仿真平台离线环境核对方法及装置

技术领域

本申请涉及仿真技术领域，具体涉及一种基于仿真平台离线环境核对方法。本申请同时涉及一种基于仿真平台离线环境核对装置。

背景技术

仿真活动是指进行仿真验证的活动，侧重于寻找用户真实的动作，验证业务逻辑是否正确。压测活动，即仿真活动仿真场景下运行的全链路压测活动，全链路压测活动是对完成一次业务所涉及的系统进行的压力测试活动，从而更准确地找出业务链路(例如，商品等)中某个环节的性能瓶颈。压测活动侧重于测试系统在某一个环节的数据并发量，并不关心具体的数据业务。在通过全链路压测等构建的影子环境中进行功能验证，避免线下验证与线上的差异性，避免人工数据与实际情况出现较大出入的风险，成本较低，验证结果更方便准确。仿真活动和压测活动都会用到影子数据，仿真活动产生的数据和压测活动的数据也都会记录在影子数据中。影子数据，与生产数据一一对应，与生产数据结构完全一致，只不过影子数据表名以特殊方式命名，一般存在于同一数据库上。

在仿真活动的核对这部分，由于离线核对具有对大数据量运算的支持、对在线应用无压力等优势，因此通常采用离线核对方法进行核对。

由于在仿真场景下，影子数据并不全是仿真活动的相关数据，包含了大量线上压测时产生的数据，而实际压测时，并不会关心整个链路的数据完整性与一致性。因此，仿真活动的离线核对结果中会包含大量由压测引入的不一致数据，也就是“噪音”，影响了仿真活动离线核对的精确性。

发明内容

本申请提供一种基于仿真平台离线环境核对方法，以解决现有在影子环境下运行的仿真活动离线核对时会出现噪音的问题。本申请另外提供一种基于仿真平台离线环境核对装置。

本申请提供一种基于仿真平台离线环境核对方法，包括：

接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

可选的，所述在离线环境中对所述业务数据进行核对，获取核对差异数据集合的步骤中，所述核对采用影子数据核对规则实现。

可选的，所述影子数据核对规则采用下述方式获得：

获取核对平台上运行的在线核对规则；

将所述在线核对规则中的生产数据表名替换为影子数据表名，从而获得适用于影子数据的影子数据核对规则。

可选的，所述核对差异数据集合包括以下任意一种：

所述影子环境中进行压测时导致的核对差异数据；所述与仿真活动相关的核对差异数据。

可选的，所述在离线环境中对所述业务数据进行核对，获取核对差异数据集合步骤之后还包括：

将所述核对差异数据集合记录在第二离线数据中。

可选的，所述对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中的步骤具体包括：

将所述第二离线数据与预先准备的字典数据进行比对；

筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据；

将与仿真活动相关的核对差异数据记录在所述第一离线数据中。

可选的，所述字典数据通过以下方式获得：

仿真平台通过控制在影子环境运行的业务平台中进行埋点，获取仿真相关ID数据；

将所述仿真相关ID数据记录到字典中作为字典数据。

可选的，所述对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中步骤之前还包括：

预先设定所述预设要求。

可选的，所述预设要求是指所述第二离线数据中存在与所述字典数据中记录的字符串的相似度大于预设的阈值的字符串。

可选的，所述筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据步骤具体包括：

根据相似度算法，若所述第二离线数据中记录的字符串与所述字典数据中记录的字符串的相似度大于预设的阈值，则判断所述第二离线数据中记录的字符串为符合预设要求的与仿真活动相关的核对差异数据。

本申请另外提供一种基于仿真平台离线环境核对装置，所述装置包括：

业务数据接收模块，用于接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

核对差异数据集合获取模块，用于在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

核对差异数据集合过滤模块，用于对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

预警模块，用于扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

可选的，所述装置还包括：

核对差异数据集合记录模块，将所述核对差异数据集合记录在第二离线数据中。

可选的，所述装置还包括：

预设要求设定模块，用于预先设定所述预设要求。

可选的，所述核对差异数据集合过滤模块包括：

比对模块，用于将第二离线数据与预先准备的字典数据进行比对；

筛选模块，用于筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据；

与仿真活动相关的核对差异数据记录模块，将与仿真活动相关的核对差异数据记录在所述第一离线数据中。

本申请另外提供一种基于仿真平台离线环境核对的电子设备，所述电子设备包括：

显示器；

处理器；

存储器，用于存储基于仿真平台离线环境核对的程序，所述程序在被所述处理器读取执行时，执行如下操作：接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

与现有技术相比，本申请具有以下优点：在离线环境中接收在影子环境下运行的仿真以及压测活动相关的业务数据，通过对核对业务数据获取的核对差异数据集合进行过滤，筛选出符合预设要求的与仿真活动相关的核对差异数据。将与仿真活动相关的核对差异数据记录在第一离线数据中，扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。通过对核对产生的核对差异数据集合进行过滤，过滤掉了由压测引入的核对差异数据，筛选出符合预设要求的与仿真活动相关的核对差异数据，进而根据与仿真活动相关的核对差异数据进行预警，降低了离线核对中的噪音，实现了降噪，提高了仿真活动离线核对的精确性。

附图说明

图1是本申请第一实施例提供的基于仿真平台离线环境核对方法的应用场景框图；

图2是本申请第一实施例提供的基于仿真平台离线环境核对方法的流程图；

图3是本申请第一实施例提供的基于仿真平台离线环境核对方法的另一流程图；

图4是本申请第一实施例提供的基于仿真平台离线环境核对方法的另一流程图；

图5是本申请第二实施例提供的基于仿真平台离线环境核对装置的结构框图；

图6是本申请第二实施例提供的基于仿真平台离线环境核对装置的另一结构框图；

图7是本申请第二实施例提供的基于仿真平台离线环境核对装置的另一结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

本申请是在仿真平台的离线环境中运行，本申请第一实施例提供一种基于仿真平台离线环境核对方法的应用场景框图。请参看图1，该图为本申请第一实施例的应用场景框图。本申请的执行主体是在离线环境中运行的仿真平台，因此为了更好地理解本申请的技术方案，先对本申请第一实施例提供的基于仿真平台离线环境核对方法的应用场景框图进行详细说明。

如图1所示，示出了本申请第一实施例提供的基于仿真平台离线环境核对方法的应用场景框图，包括在离线环境中运行的仿真平台101、核对平台102、在影子环境中运行的业务平台103；

在影子环境中运行的业务平台103，用于同步业务平台的业务数据至仿真平台。

在离线环境中运行的仿真平台101，用于接收业务平台同步的与仿真以及压测活动相关的业务数据；在离线环境中对所述业务数据进行核对，获取核对差异数据集合；对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

核对平台102，用于同步核对平台上运行的在线核对规则到仿真平台。

生产环境，是指营销活动实际运行时的线上环境(例如，实际给用户提供口碑服务的互联网系统)。

影子环境，是指通过模拟全链路压测等搭建的虚拟环境，代码、链路、环境与生产环境完全一致。

业务平台，营销活动进行仿真验证的平台，包括仿真活动和压测活动两部分。

业务数据，是指在业务平台进行的仿真以及压测活动中相关的数据，包含仿真活动产生的业务数据与压测活动产生的业务数据两部分。

仿真平台，控制营销活动进行仿真验证以及离线核对的平台，利用仿真工具在营销活动上线之前对营销活动的功能进行检验，发现设计中的错误，及时进行纠正，确保营销活动功能设计的可靠性。利用仿真平台的离线核对模块，对营销活动仿真验证时产生的业务数据进行核对。

离线环境，离线指中断与网络的连接，也称脱机方式或下网，离线环境只能使用部分网络服务，例如阅读电子邮件、离线浏览等。本申请中，离线环境指，脱离生产环境，但仍然可以实现海量运算、海量存储的环境。

核对平台，独立于仿真平台的在线核对平台，包含很多在线核对规则。各个业务线提供业务逻辑核对的能力，包括对资损，数据质量以及其他业务数据进行检查和核对的能力。生产环境各系统关键数据均已部署核对脚本，对线上发生的所有业务数据进行实时/准实时的数据核对。

通过在影子环境中运行的业务平台103、在影子环境中运行的仿真平台101、核对平台102的多方配合，最终实现对影子环境中业务数据的核对。

本申请第一实施例提供一种基于仿真平台离线环境核对方法。请参看图2，该图为本申请第一实施例的流程图第一实施例的执行主体是在离线环境中运行的仿真平台，以下结合图2对本申请第一实施例提供的一种基于仿真平台离线环境核对方法进行详细说明。

为了更好地理解本申请实施例的技术方案，先对有关的术语进行阐述。本申请适用于所有的仿真活动，为方便论述，以下内容以对营销活动进行仿真验证为例进行阐述。

全链路压测，所谓“全链路”是指在生产环境(例如，实际给用户提供口碑服务的互联网系统)中完成一次业务流程所经历的完整系统调用链路，而“全链路压测”则是对完成一次业务所涉及的系统进行压力测试，从而更准确地找出业务链路(例如，交易、商品、优惠券、商铺、服务端、客户端、开发平台等)中某个环节的性能瓶颈(例如，某个系统的服务、数据库性能、缓存性能等)。全链路压测是在影子环境完成的，但运行平台和真实环境完全一致；因此相较于线下环境、性能环境的压测，环境更加真实，压测结果更加准确。

模拟全链路压测的实施方案，是指在业务链路入口系统(例如，接口调用的网关系统等)代码中，在线程上下文中涉及全链路压测标记，并且在调用下游系统，将该标记作为参数传递给下游系统。下游系统服务处理前，将该标记从参数中解析出来，并且设置到自己的线程上下文中。这样，只要在入口系统中设置了全链路压测标记，后续各个系统链路上均会带上此标记，然后，在各系统的DAL(数据访问层)中增加对全链路压测标记的处理逻辑就能解析该标记。例如，对于查询类服务，判断订单号中是否带有此压测标记，如果有此压测标记则说明是影子数据，这样在上下文中加入全链路压测标记，就能在查询的DAL层做SQL替换，实现查询影子数据。

生产数据，是指营销活动在生产环境实际运行时产生的真实数据。

影子数据，与生产数据一一对应，与生产数据结构完全一致，一般存在同一数据库上。唯一的区别是影子数据表名一般可以以特殊方式命名，例如以“_t”结尾，且数据库主键字段中通过特殊标记(如：字母、符号等)，用来存放影子数据。由于为了更准确地反映线上实际情况，使用线上环境全链路压测时，产生的影子数据必须与正常的生产数据隔离，防止“污染”生产数据，影响用户体验。

业务核对平台，各个业务线提供业务逻辑核对的能力，包括对资损，数据质量以及其他业务数据进行检查和核对的能力。生产环境各系统关键数据均已部署核对脚本，对线上发生的所有业务数据进行实时/准实时的数据核对。

影子资源，是指压测链路上创建的影子商户、影子用户、影子平台补贴账户等信息，主要用来描述业务参与者实体，与线上账户无直接关系，但同样存在姓名、身份证号、实名认证信息等业务主体的基本属性。线上商户、用户等需要个人去支付宝网站注册，并通过安全、合规等业务校验，而影子商户、用户等信息可以直接通过相关接口来创建，不受数量、安全、合规的限制，流程更加轻便。影子商户与影子用户的主要区别在于，影子商户会签约支付宝当面付、账单管理等产品和服务，影子用户主要用于在影子链路中发起优惠券的领用，以及模拟商家发起当面付请求。

运营活动是指运营人员策划的贯穿整个营销活动生命周期的规则、资源等信息，运营人员启动招商后，商户报名成功才会产生实际的营销活动。运营活动提供的信息主要包括招商方案、城市、起止时间、投放方式、活动名称、状态等信息。

营销活动是指短时间内对特定用户群体的线下让利的活动，并且通过让利吸引用户来参加，以期待用户对于产品和服务有更多认知或者留下用户的信息。营销活动主要包括营销活动ID、活动类型、奖品信息、活动时间、参与商户、商品适用门店、库存数量、起止时间等信息。

如图2所示，示出了本申请第一实施例提供的基于仿真平台离线环境核对方法的流程图，包括以下步骤。

步骤S201，接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

本步骤用于接收业务平台同步的与仿真以及压测相关的业务数据，仿真以及压测活动在影子环境下运行。

仿真活动，仿真平台控制业务平台进行仿真验证的活动，包括获取相关生产数据、生成影子数据等步骤。侧重于寻找用户真实的动作，验证业务逻辑是否正确。

压测活动，即仿真活动仿真场景下运行的全链路压测活动，全链路压测活动是对完成一次业务所涉及的系统进行的压力测试活动，从而更准确地找出业务链路(例如，交易、商品、优惠券、商铺、服务端、客户端、开发平台等)中某个环节的性能瓶颈。侧重于测试系统在某一个环节的数据并发量和性能瓶颈，并不关心具体的数据业务。

仿真活动和压测活动都会用到影子数据，仿真活动产生的数据和压测活动的数据也都会记录在影子数据中。影子数据，与生产数据一一对应，与生产数据结构完全一致，只不过影子数据表名一般可以以特殊方式命名，例如以“_t”结尾，一般存在于同一数据库上。仿真活动的业务数据进行离线核对时，会包含大量由压测引入的不一致数据，本方案正是基于仿真活动中压测时的不一致性进行降噪。

营销活动在业务平台进行仿真活动时，会产生相应的业务数据，这些业务数据有一部分是由于仿真活动引起，例如，影子优惠券金额、影子商品的种类、影子商品的价格、影子营销活动的活动规则等。另一部分则是由于仿真活动中涉及的全链路压测引起的，例如当面付交易时，通过在交易程序代码的上下文中注入压测代码，调用当面付支付接口进行支付时的影子数据。在仿真场景下，影子表内的影子数据并不全是仿真活动的相关数据，其中包含了大量线上压测时产生的数据，业务平台通过已有的同步组件，定时将与仿真以及压测活动相关的全部业务数据同步至离线环境，用于之后的离线核对。

步骤S202，在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

本步骤用于在离线环境中对所述业务数据进行核对，并获取核对差异数据集合。

核对，在线业务系统中，有些业务在多个系统中冗连，核对多个系统中的同一个业务的数据，使得相互关联的同一个业务的数据在多个系统中达到平衡，都准确无误。

核对差异数据集合，在离线环境中对业务数据进行核对，核对多个系统中冗连的业务的数据，相互关联的业务的数据在多个系统中不能够达到平衡时，获得核对差异数据集合。

在离线环境中对所述业务数据进行核对，核对多个系统中的同一个业务的数据，相互关联的同一个业务的数据在多个系统中不能够达到平衡，出现了差异时，获得核对差异数据。将多次核对获得的核对差异数据记录下来，组成核对差异数据集合。例如，在线购买商品A(价格为10元)，在订单系统中存在商品A的订单数据，在优惠决策平台存在针对该笔订单的优惠券、红包、折扣等数据，优惠券、红包、折扣等可能从购买平台扣减(平台补贴1元)也可能是从中间商户进行扣减(中间商户补贴1元)，在支付平台存在该笔订单的支付数据(用户支付8元)。将订单系统、优惠决策平台、购买平台、中间商户、支付平台的该比订单的数据分别进行核对，核对是否都准确无误，并且支付平台用户支出的费用与平台扣减的费用以及中间商户扣减的费用之和是否为10元。如果所有数据都准确，中间任意一个系统都没有bug，则说明核对无误，如果中间任意一个数据出现错误，核对数据不一致，则获取核对差异数据。例如，上述例子中，如果中间商户本应补贴1元，结果补贴2元，平台补贴仍为1元，导致用户最后支付该笔订单的费用本应为8元，结果变成7元，中间商户补贴2元的数据以及用户最后支付费用7元的数据都是核对差异数据。在离线环境中对多个业务进行海量运算，获取大量的核对差异数据，组成核对差异数据集合。

优选地，所述在离线环境中对所述业务数据进行核对，获取核对差异数据集合的步骤中，所述核对采用影子数据核对规则实现。

影子环境核对规则，针对影子环境中运行的数据进行核对时应遵循的核对规则。

在离线环境中对所述业务数据进行核对时采用影子数据核对规则实现，核对是针对影子数据进行核对，因此核对规则应采用影子数据核对规则。影子数据核对规则多种多样，技术人员可以进行相应调整、积累，在此不再赘述。例如，根据仿真平台核对结果(包括发券流水、券核销流水、商品库存、交易订单、账户余额等上下游数据的一致性核对)，判断交易资金流、优惠券资产核销、平台补贴预算相关资金扣减是否满足影子数据核对规则，确保活动资金安全。

优选地，所述影子数据核对规则采用下述方式获得：获取核对平台上运行的在线核对规则；将所述在线核对规则中的生产数据表名替换为影子数据表名，从而获得适用于影子数据的影子数据核对规则。

生产数据表名，是指营销活动在生产环境实际运行时产生的真实数据表名。

影子数据表名，影子数据与生产数据一一对应，与生产数据结构完全一致，一般存在同一数据库上。影子数据表名一般可以以特殊方式命名，例如以“_t”结尾，且数据库主键字段中通过特殊标记(如：字母、符号等)，用来存放影子数据。

在线核对规则，适用于在线用户真实数据进行核对时应遵循的核对规则。

核对平台运行的是适用于在线用户真实数据的在线核对规则，而在仿真平台的离线环境中对所述业务数据进行核对时应采用影子数据核对规则实现，因此需要将生产数据表名替换为影子数据表名，从而获得适用于影子数据的影子数据核对规则。核对规则通过数据表名相关联，因此通过替换生产数据表名为影子数据表名获得影子数据核对规则，并将其同步至仿真平台。例如，在核对平台将券模板表名替换为影子券模板表名，获得适用于影子券模板表名的影子数据核对规则，并同步至仿真平台。根据影子数据核对规则核对与影子券模板相关的数据，获得与影子券模板相关的核对结果(包括发券流水、券核销流水等上下游数据的一致性核对)，判断优惠券资产核销相关资金扣减是否满足影子数据核对规则，确保活动资金安全。

优选地，所述核对差异数据集合包括以下任意一种：所述影子环境中进行压测时导致的核对差异数据；所述与仿真活动相关的核对差异数据。

在仿真场景下，影子表内的影子数据并不全是仿真活动的相关数据，其中包含了大量线上压测时产生的数据。而实际生产中，技术同学进行压测时，并不会关心整个链路的数据完整性与一致性，因此，通过离线核对结果中会包含大量由压测引入的不一致数据，影响仿真活动中离线核对数据的精确性，也就是“噪音”。因此在离线环境中对业务数据进行核对时，产生的核对差异数据集合包括影子环境中进行压测时导致的核对差异数据以及与仿真活动相关的核对差异数据。其中，与仿真活动中相关的核对差异数据是指仿真活动中相应业务模块缺陷导致的核对差异数据。例如，有可能是平台补贴预算相关资金扣减中出现错误导致的核对差异数据。

优选地，请参看图3，步骤S202之后还包括步骤S205：

将所述核对差异数据集合记录在第二离线数据中。

第二离线数据，是指用于记录核对差异数据集合的离线数据，用于之后在离线环境中的数据运算，可以以离线数据表的形式予以记录。

将核对差异数据集合整体进行标记，转换为统一结构模型后，持久化记录在第二离线数据中。持久化的意思是将核对差异数据集合通过标记记录在第二离线数据中永久保存，与别的数据区分开，以便以后进行重复调用。

步骤S203，对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中。

本步骤用于在数据处理平台中筛选符合预订要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中。

第一离线数据，是指用于记录与仿真活动相关的核对差异数据，用于之后对第一离线数据进行定时扫描，可以以离线数据表的形式予以记录。

第二离线数据记录核对差异数据集合，依托离线环境的数据运算能力通过特定的算法对第二离线数据进行过滤，筛选出符合预设要求的与仿真活动相关的核对差异数据，并将符合预设要求的与仿真活动相关的核对差异数据记录在第一离线数据中。

优选地，请参看图4，所述步骤S203具体包括：

步骤S203-1，将所述第二离线数据与预先准备的字典数据进行比对；

字典数据，仿真相关ID数据记录到字典中的数据。

将所述第二离线数据与预先准备的字典数据进行比对，即将第二离线数据记录的核对差异数据集合与字典数据记录的仿真相关ID数据进行比对，用以之后筛选出与仿真活动相关的核对差异数据。需要说明的是，字典数据是在影子环境运行的业务平台中生成，并通过仿真平台进行调用。仿真平台再将字典数据保存至仿真平台中的数据处理平台，与第二离线数据进行比对。在所述第二离线数据与所述字典数据进行比对的过程中，所述字典数据中只涉及业务ID的比对，并不涉及具体的业务数据的比对。

优选地，所述字典数据通过以下方式获得：仿真平台通过控制在影子环境中运行的业务平台中进行埋点，获取仿真相关ID数据；将所述仿真相关ID数据记录到字典中作为字典数据。

埋点，所谓“埋点”，是数据采集领域(尤其是用户行为数据采集领域)的术语，指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。通过在影子环境中运行的业务平台预先埋点，判断在监听的事件发生时，通过采集相应的埋点，进而采集仿真相关ID数据。

业务平台运行仿真活动时进行埋点，获取仿真活动中涉及的ID数据，比如影子券模板、影子商户账户、影子交易等。将仿真活动中涉及的ID数据转换为统一结构模型后，持久化记录到字典中，存到数据库中，作为字典数据。注意此时，业务平台记录此数据，只需要记录仿真活动涉及的ID数据，并不需要理解所持久化记录的数据的业务含义。仿真平台调用业务平台生成的字典数据，并同步至仿真平台中的数据处理平台进行相应的计算。

埋点技术通过在业务平台的关键部位植入统计代码，追踪用户的点击行为；或者植入多段代码，追踪用户的连续行为；并通过建立模型等方法，得出用户操作行为；最终作为建立产品数据系统的一个环节准确的收集数据。做数据埋点的方法有很多，第一类是预先设定好想要获取的目标数据，让程序员撰写代码把“采集器”埋到相应的页面上，用于追踪和记录的用户的行为，并把实时数据传送到后台数据库或者客户端。第二类方法是利用第三方统计工具插件(例如，友盟、talking data、百度魔方等)收集想要获得的数据，但是这样的数据就可能会被第三方掌握了。

埋点的业务意义显而易见，即帮助定义和获取分析人员真正需要的业务数据及其附带信息。在不同场景下，业务人员关注的信息和角度可能不同。典型的应用场景有面向数字营销领域的分析，以及面向产品运营领域的分析。前者注重来源渠道和广告效果，后者更在意产品本身流程和体验的优化。两者各有侧重，也可以有一些交叉。本方案主要是面向在影子环境中运行的业务平台运行过程的分析，对于不同的项目和分析目的，应当设计不同的埋点方案，本方案应针对需要获取的仿真活动相关ID数据设计不同的埋点方案，进而获取相对应的数据。

埋点的技术实质，是先监听业务平台运行过程中的事件，当需要关注的事件发生时进行判断和捕获，然后获取必要的上下文信息，最后将信息整理后发送至服务器端。所监听的事件，通常由操作系统、浏览器、APP框架等平台提供，也可以在基础事件之上进行触发条件的自定义(如点击某一个特定按钮)。本方案监听的是仿真活动在影子环境运行的业务平台运行过程中涉及的各类事件，例如影子券模版ID创建成功时，就进行捕获，获取其中的ID数据，并将该ID数据发送至服务器。

步骤S203-2，筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据；

预设要求，通过筛选第二离线数据中符合预设条件的数据作为与仿真活动相关的核对差异数据。

将所述第二离线数据与预先准备的字典数据进行比对，即将第二离线数据记录的核对差异数据集合与字典数据记录的仿真相关ID数据进行比对。依托离线环境的数据运算能力通过特定的算法对第二离线数据进行过滤，筛选出比对结果中符合预设要求的数据作为与仿真活动相关的核对差异数据。

优选地，请参看图3，所述步骤S203之前还包括：步骤S206，预先设定所述预设要求。

本步骤用于设定预设要求。

优选地，所述预设要求是指所述第二离线数据中存在与所述字典数据中记录的字符串的相似度大于预设的阈值的字符串。例如，第二离线数据存在字符串为bcde，字典数据中存在字符串bcd，计算第二离线数据中字符串与字典数据中字符串的相似度，预设要求为相似度大于预设的阈值，则比对计算出的相似度是否大于预设的阈值。阈值依照要求进行设定，通常较小，使得第二离线数据中的字符串包含字典数据中记录的某一个仿真相关ID。

优选地，所述步骤S203-2具体包括：根据相似度算法，若所述第二离线数据中记录的字符串与所述字典数据中记录的字符串的相似度大于预设的阈值，则判断所述第二离线数据中记录的字符串为符合预设要求的与仿真活动相关的核对差异数据。

将所述第二离线数据与预先准备的字典数据进行比对，即将第二离线数据记录的核对差异数据集合与字典数据记录的仿真相关ID数据进行比对。依托离线环境的数据运算能力，对第二离线数据进行过滤，使用相似度算法进行计算。若第二离线数据中记录的某行字符串与字典数据中记录的某行字符串的相似度大于预设的阈值，即第二离线数据中记录的某行字符串包含字典数据中的某一个仿真相关ID，则判断第二离线数据中记录的该行字符串为符合预设要求的与仿真活动相关的核对差异数据。

步骤S203-3，将与仿真活动相关的核对差异数据记录在所述第一离线数据中。

将符合预设要求的与仿真活动相关的核对差异数据整体进行标记，转换为统一结构模型后，持久化记录在第一离线数据中。持久化的意思是将与仿真活动相关的核对差异数据通过标记记录在第一离线数据中永久保存，与别的数据区分开，以便以后进行定时扫描。

步骤S204，扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

在仿真平台定时对第一离线数据进行扫描，若发现标记为仿真活动相关的核对差异数据引起的核对不平，则进行预警处理，若没有发现则不进行预警。至此基于仿真平台离线环境核对方法结束，达到了筛选出仿真活动中相应业务模块缺陷导致的核对差异数据的目的，进而根据筛选结果对仿真活动中相应业务模块缺陷进行修正，提高仿真活动的高效性和精确性。

在离线环境中接收在影子环境下运行的仿真以及压测活动相关的业务数据，通过对核对业务数据获取的核对差异数据集合进行过滤，筛选出符合预设要求的与仿真活动相关的核对差异数据。将与仿真活动相关的核对差异数据记录在第一离线数据中，扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。通过对核对产生的核对差异数据集合进行过滤，过滤掉了由压测引入的核对差异数据，筛选出符合预设要求的与仿真活动相关的核对差异数据，进而根据与仿真活动相关的核对差异数据进行预警，降低了离线核对中的噪音，实现了降噪，提高了仿真活动离线核对的精确性。

本申请第二实施例提供一种基于仿真平台离线环境核对装置。请参看图5、图6、图7，为本申请第二实施例的结构框图。以下结合图5、图6、图7对本申请第二实施例提供的一种基于仿真平台离线环境核对装置进行详细说明。

如图5所示，示出了本申请第二实施例提供的基于仿真平台离线环境核对装置的结构框图，所述装置包括：

业务数据接收模块501，用于接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

核对差异数据集合获取模块502，用于在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

核对差异数据集合过滤模块503，用于对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

预警模块504，用于扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

如图6所示，示出了本申请第二实施例提供的基于仿真平台离线环境核对装置的另一结构框图，所述装置还包括：

核对差异数据集合记录模块505，将所述核对差异数据集合记录在第二离线数据中。

预设要求设定模块506，用于预先设定所述预设要求。

如图7所示，示出了本申请第二实施例提供的基于仿真平台离线环境核对装置的另一结构框图，所述核对差异数据集合过滤模块503还包括：

比对模块503-1，用于将第二离线数据与预先准备的字典数据进行比对；

筛选模块503-2，用于筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据；

与仿真活动相关的核对差异数据记录模块503-3，将与仿真活动相关的核对差异数据记录在所述第一离线数据中。

本申请第三实施例提供一种基于仿真平台离线环境核对的电子设备，所述电子设备包括：

显示器；

处理器；

存储器，用于存储基于仿真平台离线环境核对的程序，所述程序在被所述处理器读取执行时，执行如下操作：接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (15)

1.一种基于仿真平台离线环境核对方法，其特征在于，所述方法包括：

接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

2.根据权利要求1所述的基于仿真平台离线环境核对方法，其特征在于，所述在离线环境中对所述业务数据进行核对，获取核对差异数据集合的步骤中，所述核对采用影子数据核对规则实现。

3.根据权利要求2所述的基于仿真平台离线环境核对方法，其特征在于，所述影子数据核对规则采用下述方式获得：

获取核对平台上运行的在线核对规则；

将所述在线核对规则中的生产数据表名替换为影子数据表名，从而获得适用于影子数据的影子数据核对规则。

4.根据权利要求1所述的基于仿真平台离线环境核对方法，其特征在于，所述核对差异数据集合包括以下任意一种：

所述影子环境中进行压测时导致的核对差异数据；所述与仿真活动相关的核对差异数据。

5.根据权利要求1所述的基于仿真平台离线环境核对方法，其特征在于，所述在离线环境中对所述业务数据进行核对，获取核对差异数据集合步骤之后还包括：

将所述核对差异数据集合记录在第二离线数据中。

6.根据权利要求5所述的基于仿真平台离线环境核对方法，其特征在于，所述对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中的步骤具体包括：

将所述第二离线数据与预先准备的字典数据进行比对；

筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据；

将与仿真活动相关的核对差异数据记录在所述第一离线数据中。

7.根据权利要求6所述的基于仿真平台离线环境核对方法，其特征在于，所述字典数据通过以下方式获得：

仿真平台通过控制在影子环境运行的业务平台中进行埋点，获取仿真相关ID数据；

将所述仿真相关ID数据记录到字典中作为字典数据。

8.根据权利要求6所述的基于仿真平台离线环境核对方法，其特征在于，所述对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中步骤之前还包括：

预先设定所述预设要求。

9.根据权利要求8所述的基于仿真平台离线环境核对方法，其特征在于，所述预设要求是指所述第二离线数据中存在与所述字典数据中记录的字符串的相似度大于预设的阈值的字符串。

10.根据权利要求9所述的基于仿真平台离线环境核对方法，其特征在于，所述筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据步骤具体包括：

根据相似度算法，若所述第二离线数据中记录的字符串与所述字典数据中记录的字符串的相似度大于预设的阈值，则判断所述第二离线数据中记录的字符串为符合预设要求的与仿真活动相关的核对差异数据。

11.一种基于仿真平台离线环境核对装置，其特征在于，所述装置包括：

业务数据接收模块，用于接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

核对差异数据集合获取模块，用于在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

核对差异数据集合过滤模块，用于对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

预警模块，用于扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

12.根据权利要求11所述的基于仿真平台离线环境核对装置，其特征在于，所述装置还包括：

核对差异数据集合记录模块，将所述核对差异数据集合记录在第二离线数据中。

13.根据权利要求11所述的基于仿真平台离线环境核对装置，其特征在于，所述装置还包括：

预设要求设定模块，用于预先设定所述预设要求。

14.根据权利要求12所述的基于仿真平台离线环境核对装置，其特征在于，所述核对差异数据集合过滤模块包括：

比对模块，用于将所述第二离线数据与预先准备的字典数据进行比对；

筛选模块，用于筛选出比对结果符合预设要求的数据作为与仿真活动相关的核对差异数据；

与仿真活动相关的核对差异数据记录模块，将与仿真活动相关的核对差异数据记录在所述第一离线数据中。

15.一种基于仿真平台离线环境核对的电子设备，其特征在于，所述电子设备包括：

显示器；

处理器；

存储器， 用于存储基于仿真平台离线环境核对的程序，所述程序在被所述处理器读取执行时，执行如下操作：接收业务平台同步的与仿真以及压测活动相关的业务数据，所述仿真以及压测活动在影子环境下运行；

在离线环境中对所述业务数据进行核对，获取核对差异数据集合；

对所述核对差异数据集合进行过滤，筛选符合预设要求的与仿真活动相关的核对差异数据，并记录在第一离线数据中；

扫描所述第一离线数据，若确认与仿真活动相关，则进行预警处理。

Images