CN110543506A - 数据分析方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了数据分析方法、装置、电子设备及存储介质，涉及大数据技术领域。具体实现方案为：接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和所述待检测设备的指纹标识；基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；向所述业务终端发送所述检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

Description

数据分析方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域中的大数据技术，尤其涉及一种数据分析方法、装置、电子设备及存储介质。

背景技术

数据的安全性越来越受到重视。

现有技术中，可以通过验证数据中设备基本信息的一致性，以确定数据是否被篡改；或者，基于数据的维度聚类特征进行分析，以确定数据是否被篡改，从而保证数据的安全性。

然而，现有技术所采用的方式，依赖于数据的来源，但是非法设备可以篡改数据中的内容、数据所来源的设备信息，因此采用上述方式对数据进行验证，仍然很难保证数据的安全性。

发明内容

本申请提供一种数据分析方法、装置、电子设备及存储介质，可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

第一方面，本申请实施例提供一种数据分析方法，包括：

接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；

从第一服务器中获取安全因子和所述待检测设备的指纹标识；

基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；

向所述业务终端发送所述检测结果。

本实施例中，通过接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和所述待检测设备的指纹标识；基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；向所述业务终端发送所述检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

在一种可能的设计中，所述日志数据包括：基础设备信息、行为数据、IP数据、SDK令牌信息。

本实施例中，当待检测设备中的APP在渠道推广中被安装或调起时，采集基础设备信息、行为数据、IP数据等等数据，然后将采集到的基础设备信息、行为数据、IP数据等等数据与SDK令牌信息一起生成新增的日志数据。从而可以通过日志方式及时地记录待检测设备生成的数据，方便对数据进行后续的检测处理。

在一种可能的设计中，从第一服务器中获取安全因子和所述待检测设备的指纹标识，包括：

向所述第一服务器发送查询请求，所述查询请求中包含有所述待检测设备的SDK令牌信息；

接收所述第一服务器反馈的安全因子和所述待检测设备的指纹标识；其中，所述安全因子和所述待检测设备的指纹标识是所述第一服务器根据所述待检测设备采集到的设备环境信息和指纹特征数据生成的。

本实施例中，待检测设备中的APP初始化其内安装的安全SDK，由安全SDK采集待检测设备的设备环境信息、指纹特征数据；然后将待检测设备的设备环境信息、指纹特征数据以主动方式或触发方式上报给第一服务器。该第一服务器可以是SDK云端服务器，用于根据待检测设备采集到的设备环境信息和指纹特征数据生成所述待检测设备对应的安全因子和指纹标识；从而可以通过SDK云端服务器生成的安全因子和指纹标识对待检测设备的日志数据进行验证。

在一种可能的设计中，所述SDK令牌信息是所述待检测设备从第一服务器中获取到的；其中，所述SDK令牌信息与所述待检测设备指纹具备映射关系，且所述SDK令牌信息具备预设的有效周期。

本实施例中，当第一服务器生成的安全因子和指纹标识之后，会向待检测设备发送能够映射到待检测设备指纹的具备有效周期的SDK令牌信息。从而可以将SDK令牌信息作为从第一服务器获取安全因子和指纹标识的依据，保证数据传输的安全性。需要说明的是，SDK令牌信息具备有效周期，即只有在有效周期内，对应的SDK令牌信息才有效。

在一种可能的设计中，所述在线数据库包括：威胁情报库、黑白名单库、特征库。

在一种可能的设计中，基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果，包括：

查询所述威胁情报库，获取所述待检测设备的情报信息，所述情报信息包括：设备画像、IP画像、账号画像；

查询所述黑白名单库，获取所述待检测设备的指纹标识、cuid标识、imei/idfa标识对应的标签信息；

查询所述特征库，获取所述待检测设备对应的特征数据；

通过状态库查询所述待检测设备的实时统计信息；所述实时统计信息包括：所述待检测设备对应cuid数量、所述待检测设备对应的账号数量、所述待检测设备的IP对应的设备数、所述待检测设备渠道下的设备型号集中情况；

将所述情报信息、所述标签信息、所述特征数据，以及所述实时统计信息、所述安全因子、所述待检测设备的指纹标识转换为规则引擎需要的标准格式数据；

通过所述规则引擎对所述标准格式数据进行分析处理，得到所述检测结果。

本实施例中，结合在线数据库中的威胁情报库、黑白名单库、特征库，以及获取到的安全因子和待检测设备的指纹标识来对该待检测设备的日志数据进行全方位地检测和分析；通过规则引擎输出最终的检测结果，从而实现了在线实时服务和离线分析引擎的配合等方式，可以智能、安全的对数据进行分析，准确判别数据是否被篡改，保证数据的安全性。

在一种可能的设计中，还包括：

对所述在线数据库进行数据更新。

在一种可能的设计中，所述对所述在线数据库进行数据更新，包括：

获取更新的安全SDK数据、日志数据以及威胁情报数据；

将所述更新的安全SDK数据、所述日志数据以及所述威胁情报数据持久化到数据仓库中；所述数据仓库包括：SDK数据仓库、日志仓库、威胁情报仓库；

对所述数据仓库中的数据进行数据融合处理、特征提取、数据分析、图关联分析，以及无监督学习中的任一或者任多操作，得到更新数据；

将所述更新数据添加到所述在线数据库中。

本实施例中，以异步方式，或者离线方式，对在线数据库中的威胁情报库、黑白名单库、特征库进行数据更新，从而可以使得在线数据库内的数据更加全面，以提高数据检测的准确性。

第二方面，本申请实施例提供一种数据分析装置，包括：

接收模块，用于接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；

获取模块，用于从第一服务器中获取安全因子和所述待检测设备的指纹标识；

检测模块，用于基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；

发送模块，用于向所述业务终端发送所述检测结果。

本实施例中，通过接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和所述待检测设备的指纹标识；基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；向所述业务终端发送所述检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

在一种可能的设计中，所述日志数据包括：基础设备信息、行为数据、IP数据、SDK令牌信息。

本实施例中，当待检测设备中的APP在渠道推广中被安装或调起时，采集基础设备信息、行为数据、IP数据等等数据，然后将采集到的基础设备信息、行为数据、IP数据等等数据与SDK令牌信息一起生成新增的日志数据。从而可以通过日志方式及时地记录待检测设备生成的数据，方便对数据进行后续的检测处理。

在一种可能的设计中，所述获取模块，具体用于：

向所述第一服务器发送查询请求，所述查询请求中包含有所述待检测设备的SDK令牌信息；

接收所述第一服务器反馈的安全因子和所述待检测设备的指纹标识；其中，所述安全因子和所述待检测设备的指纹标识是所述第一服务器根据所述待检测设备采集到的设备环境信息和指纹特征数据生成的。

本实施例中，待检测设备中的APP初始化其内安装的安全SDK，由安全SDK采集待检测设备的设备环境信息、指纹特征数据；然后将待检测设备的设备环境信息、指纹特征数据以主动方式或触发方式上报给第一服务器。该第一服务器可以是SDK云端服务器，用于根据待检测设备采集到的设备环境信息和指纹特征数据生成所述待检测设备对应的安全因子和指纹标识；从而可以通过SDK云端服务器生成的安全因子和指纹标识对待检测设备的日志数据进行验证。

在一种可能的设计中，所述SDK令牌信息是所述待检测设备从第一服务器中获取到的；其中，所述SDK令牌信息与所述待检测设备指纹具备映射关系，且所述SDK令牌信息具备预设的有效周期。

本实施例中，当第一服务器生成的安全因子和指纹标识之后，会向待检测设备发送能够映射到待检测设备指纹的具备有效周期的SDK令牌信息。从而可以将SDK令牌信息作为从第一服务器获取安全因子和指纹标识的依据，保证数据传输的安全性。需要说明的是，SDK令牌信息具备有效周期，即只有在有效周期内，对应的SDK令牌信息才有效。

在一种可能的设计中，所述在线数据库包括：威胁情报库、黑白名单库、特征库。

在一种可能的设计中，所述检测模块，具体用于：

查询所述威胁情报库，获取所述待检测设备的情报信息，所述情报信息包括：设备画像、IP画像、账号画像；

查询所述黑白名单库，获取所述待检测设备的指纹标识、cuid标识、imei/idfa标识对应的标签信息；

查询所述特征库，获取所述待检测设备对应的特征数据；

通过状态库查询所述待检测设备的实时统计信息；所述实时统计信息包括：所述待检测设备对应cuid数量、所述待检测设备对应的账号数量、所述待检测设备的IP对应的设备数、所述待检测设备渠道下的设备型号集中情况；

将所述情报信息、所述标签信息、所述特征数据，以及所述实时统计信息、所述安全因子、所述待检测设备的指纹标识转换为规则引擎需要的标准格式数据；

通过所述规则引擎对所述标准格式数据进行分析处理，得到所述检测结果。

本实施例中，结合在线数据库中的威胁情报库、黑白名单库、特征库，以及获取到的安全因子和待检测设备的指纹标识来对该待检测设备的日志数据进行全方位地检测和分析；通过规则引擎输出最终的检测结果，从而实现了在线实时服务和离线分析引擎的配合等方式，可以智能、安全的对数据进行分析，准确判别数据是否被篡改，保证数据的安全性。

在一种可能的设计中，还包括：更新模块，用于

对所述在线数据库进行数据更新。

在一种可能的设计中，所述更新模块，具体用于：

获取更新的安全SDK数据、日志数据以及威胁情报数据；

将所述更新的安全SDK数据、所述日志数据以及所述威胁情报数据持久化到数据仓库中；所述数据仓库包括：SDK数据仓库、日志仓库、威胁情报仓库；

对所述数据仓库中的数据进行数据融合处理、特征提取、数据分析、图关联分析，以及无监督学习中的任一或者任多操作，得到更新数据；

将所述更新数据添加到所述在线数据库中。

本实施例中，以异步方式，或者离线方式，对在线数据库中的威胁情报库、黑白名单库、特征库进行数据更新，从而可以使得在线数据库内的数据更加全面，以提高数据检测的准确性。

第三方面，本申请提供一种电子设备，包括：处理器和存储器；存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如第一方面中任一项所述的数据分析方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的数据分析方法。

第五方面，本申请实施例提供一种程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得服务器执行第一方面中任一所述的数据分析方法。

第六方面，本申请还提供一种数据分析方法，包括：

获取待检测设备的日志数据；

从第一服务器中获取安全因子和所述待检测设备的指纹标识；

基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果。

本实施例中，通过获取待检测设备的日志数据；从第一服务器中获取安全因子和所述待检测设备的指纹标识；基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

上述申请中的一个实施例具有如下优点或有益效果：可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。因为采用接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和所述待检测设备的指纹标识；基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；向所述业务终端发送所述检测结果技术手段，所以克服了数据检测结果不准确的技术问题，进而达到提高数据检测的准确性，保证数据安全的技术效果。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是可以实现本申请实施例的数据分析方法的场景图；

图2是根据本申请第一实施例的示意图；

图3是根据本申请第二实施例的示意图；

图4是根据本申请的离线分析服务架构的示意图；

图5是根据本申请第三实施例的示意图；

图6是根据本申请第四实施例的示意图；

图7是根据本申请第五实施例的示意图；

图8是用来实现本申请实施例的数据分析方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

随着网络技术的发展，渠道推广现金流不断注入以及推广方式不断丰富，黑色产业链条逐步形成并持续升级和对抗，数据的安全性越来越受到重视。黑产作弊资源和工具越来越容易获取，黑产在渠道推广作弊上逐步朝着使用或模拟真实设备、模拟真实用户行为的方向发展，传统的基于请求日志的设备信息验证、用户行为分析和用户留存虑等反作弊手段和策略已经逐步失效，识别黑产设备和团伙的难度越来越大。

现有技术中，可以通过验证数据中设备基本信息的一致性，以确定数据是否被篡改。例如验证imei数据和手机品牌是否匹配；验手机型号和屏幕分辨率是否匹配等来过滤明显伪造的设备数据。或者，基于数据的维度聚类特征进行分析，以确定数据是否被篡改，从而保证数据的安全性。例如某个渠道调起的设备是否都是同一型号或者分辨率；是否存在大量具有相同特征设备在IP下被调起；某一渠道安装和调起设备时间或停留时长等是否显著区别于正常情况等。

然而，现有技术所采用的方式，依赖于数据的来源，但是非法设备可以篡改数据中的内容、数据所来源的设备信息，因此采用上述方式对数据进行验证，仍然很难保证数据的安全性。

针对上述技术问题，本申请提供一种数据分析方法、装置、电子设备及存储介质，可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。图1是可以实现本申请实施例的数据分析方法的场景图，如图1所示，当待检测设备中的应用程序(Application，APP)在渠道推广中被安装或调起时，可以采集基础设备信息、行为数据、IP等数据，并获取SDK令牌信息(安全软件开发工具包，Software Development Kit，SDK)生成新增(或调起)日志。基础设备信息包括cuid标识、imei/idfa标识、品牌、型号等，行为数据包括用户账号、渠道号、场景等业务行为相关信息。业务终端使用上报日志数据向数据分析服务发起数据检测请求。数据分析服务器根据SDK令牌信息，向安全SDK云端服务发起查询请求。安全SDK云端服务根据设备指纹与SDK令牌信息的映射关系，查询得到待检测设备的安全因子和指纹标识，并返回给数据分析服务器。然后，数据分析服务器将设备指纹标识、安全因子等信息随着数据检测请求参数传入数据预处理模块。数据预处理使用异步方式进行数据库查询和有状态计算，主要包含：查询威胁情报库，获得设备画像、IP画像、账号画像等情报信息；查询黑白名单库获得设备指纹、cuid、imei/idfa等ID对应的详细标签；查询特征库获取机器学习模型需要的特征；进行实时状态更新，并查询实时统计信息，例如设备累计对应cuid数量、设备对应的账号数量、IP对应设备数、渠道下设备型号集中情况等。然后，针对数据预处理产生的中间数据进行组合加工变换，生成规则引擎需要的标准数据格式，异步调用情报规则、名单规则、机器学习模型、安全因子规则和状态分析模块等规则引擎，输出各规则判定结果，例如模拟器、设备信息伪造、脚本作弊、团伙设备等在这里完成识别和标记。最后，等待规则判定完成，将各规则判定结果按照预先设置的算法进行合并，得到最终的检测结果。从而实现了在线实时服务和离线分析引擎的配合等方式，可以智能、安全的对数据进行分析，准确判别数据是否被篡改，保证数据的安全性。

应用上述方法可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

图2是根据本申请第一实施例的示意图，如图2所示，本实施例中的方法可以包括：

S101、接收业务终端发起的数据检测请求。

本实施例中，数据分析服务器接收业务终端发起的包含有待检测设备的日志数据的数据检测请求。其中，日志数据包括：基础设备信息、行为数据、IP数据、SDK令牌信息。

具体地，当待检测设备中的APP在渠道推广中被安装或调起时，可以采集基础设备信息、行为数据、IP等数据，并获取SDK令牌信息(安全SDK token信息)生成新增(或调起)日志。基础设备信息包括cuid标识、imei/idfa标识、品牌、型号等，行为数据包括用户账号、渠道号、场景等业务行为相关信息。业务终端使用上报日志数据向数据分析服务发起数据检测请求。

可选地，SDK令牌信息是待检测设备从第一服务器中获取到的；其中，SDK令牌信息与待检测设备指纹具备映射关系，且SDK令牌信息具备预设的有效周期。

具体地，待检测设备中的APP初始化其内安装的安全SDK，由安全SDK采集待检测设备的设备环境信息、指纹特征数据；然后将待检测设备的设备环境信息、指纹特征数据以主动方式或触发方式上报给第一服务器。该第一服务器可以是安全SDK云端服务器，用于根据上报数据进行分析，识别设备环境是否是模拟器、系统(或应用)是否被注入、系统是否root、应用是否被重打包等信息，并生成待检测设备对应的安全因子和指纹标识，同时会向待检测设备发送能够映射到待检测设备指纹的具备有效周期的SDK令牌信息。从而可以通过SDK云端服务器生成的安全因子和指纹标识对待检测设备的日志数据进行验证，还可以将SDK令牌信息作为从第一服务器获取安全因子和指纹标识的依据，保证数据传输的安全性。需要说明的是，SDK令牌信息具备有效周期，即只有在有效周期内，对应的SDK令牌信息才有效。

S102、从第一服务器中获取安全因子和待检测设备的指纹标识。

本实施例中，数据分析服务器向第一服务器发送查询请求，查询请求中包含有待检测设备的SDK令牌信息；然后，接收第一服务器反馈的安全因子和待检测设备的指纹标识。其中，安全因子和待检测设备的指纹标识是第一服务器根据待检测设备采集到的设备环境信息和指纹特征数据生成的。

具体地，数据分析服务器根据SDK令牌信息，向安全SDK云端服务发起查询请求。安全SDK云端服务根据设备指纹与SDK令牌信息的映射关系，查询得到待检测设备的安全因子和指纹标识，并返回给数据分析服务器。

S103、基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果。

本实施例中，在线数据库包括：威胁情报库、黑白名单库、特征库。数据分析服务器可以查询威胁情报库，获取待检测设备的情报信息，情报信息包括：设备画像、IP画像、账号画像；查询黑白名单库，获取待检测设备的指纹标识、cuid标识、imei/idfa标识对应的标签信息；查询特征库，获取待检测设备对应的特征数据；通过状态库查询待检测设备的实时统计信息；实时统计信息包括：待检测设备对应cuid数量、待检测设备对应的账号数量、待检测设备的IP对应的设备数、待检测设备渠道下的设备型号集中情况；将情报信息、标签信息、特征数据，以及实时统计信息、安全因子、待检测设备的指纹标识转换为规则引擎需要的标准格式数据；通过规则引擎对标准格式数据进行分析处理，得到检测结果。

具体地，数据分析服务器将设备指纹标识、安全因子等信息随着数据检测请求参数传入数据预处理模块。数据预处理使用异步方式进行数据库查询和有状态计算，主要包含：查询威胁情报库，获得设备画像、IP画像、账号画像等情报信息；查询黑白名单库获得设备指纹、cuid、imei/idfa等ID对应的详细标签；查询特征库获取机器学习模型需要的特征；进行实时状态更新，并查询实时统计信息，例如设备累计对应cuid数量、设备对应的账号数量、IP对应设备数、渠道下设备型号集中情况等。然后，针对数据预处理产生的中间数据进行组合加工变换，生成规则引擎需要的标准数据格式，异步调用情报规则、名单规则、机器学习模型、安全因子规则和状态分析模块等规则引擎，输出各规则判定结果，例如模拟器、设备信息伪造、脚本作弊、团伙设备等在这里完成识别和标记。最后，等待规则判定完成，将各规则判定结果按照预先设置的算法进行合并，得到最终的检测结果。从而实现了在线实时服务和离线分析引擎的配合等方式，可以智能、安全的对数据进行分析，准确判别数据是否被篡改，保证数据的安全性。

S104、向业务终端发送检测结果。

本实施例中，数据分析服务器向业务终端发送最终的检测结果。

本实施例，通过接收业务终端发起的数据检测请求；数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和待检测设备的指纹标识；基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果；向业务终端发送检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

图3是根据本申请第二实施例的示意图，如图3所示，本实施例中的方法可以包括：

S201、接收业务终端发起的数据检测请求。

S202、从第一服务器中获取安全因子和待检测设备的指纹标识。

S203、基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果。

S204、向业务终端发送检测结果。

本实施例中的步骤S201～步骤S204的具体实现过程和实现原理参见图2所示方法中的相关描述，此处不再赘述。

S205、对在线数据库进行数据更新。

本实施例中，还可以获取更新的安全SDK数据、日志数据以及威胁情报数据；将更新的安全SDK数据、日志数据以及威胁情报数据持久化到数据仓库中；数据仓库包括：SDK数据仓库、日志仓库、威胁情报仓库；对数据仓库中的数据进行数据融合处理、特征提取、数据分析、图关联分析，以及无监督学习中的任一或者任多操作，得到更新数据；将更新数据添加到在线数据库中。

具体地，还可以通过离线分析引擎作为在线服务的功能完善和补充，从而实现对在线数据库的数据更新。离线分析引擎相对于线上服务能够处理和分析更大量级、更长时间周期的数据，同时能够应用更加复杂的算法、模型和策略进行作弊检测。原始请求日志和安全SDK上报日志通过分布式消息队列(Kafka)由线上服务异步传输并经过ETL持久化到数据仓库(Hive)中。其中安全SDK数据主要来自于云端安全SDK服务的转发；日志数据除了渠道调起和新增的反作弊请求日志，还包含业务相关其他日志，例如行为类的日志或者其他应用的日志等。威胁情报数据来源比较复杂和多元化，主要包括基础情报监测和收集、业务数据分析和加工、情报数据交换、第三方情报数据购买等，根据数据来源不同、数据内容不同，处理和加工的方式及周期也会不同。威胁情报数据的收集、整理和加工是另外一项复杂而又庞大的系统工程，渠道反作弊系统主要是使用威胁情报提供的相关能力，这里对威胁情报仓库的建设不展开详细描述。

图4是根据本申请的离线分析服务架构的示意图，如图4所示，离线分析服务主要分为数据存储层、数据分析层、数据输出层。数据存储层，即数据仓库用于组织离线分析引擎所需要的各类数据。数据仓库包括：SDK数据仓库、日志仓库、威胁情报仓库。其中威胁情报主要提供设备画像、账号画像和IP画像的情报能力；业务日志中可以获得设备信息、设备信息关系、用户行为数据；安全SDK信息同样提供安全SDK采集的基础信息、安全SDK分析产生的安全因子、基于安全因子提取的特征类的数据。数据分析层主要由三类分析引擎组成。基础分析引擎，完成基础的数据分析和验证，包括设备指纹为空或伪造、安全SDK信息和日志信息一致性验证、设备信息一对多分析、黑名单查询、渠道/IP下设备有值率等，使用Spark和MapReduce等分布式计算平台，识别作弊设备、资源和渠道，输出黑名单。机器学习引擎使用无监督学习—聚类算法(例如K-means、孤立森林、高斯混合模型等)和有监督学习算法(例如SVM、LSTM等)，该部分输出主要包含黑设备名单、有效的特征维度、可用于线上(或离线)的模型，机器学习引擎主要基于PaddlePaddle平台和Spark MLlib平台实现；图分析引擎，主要使用社区发现算法(例如:GN社区发现算法、Louvain社区发现算法等)来分析异常社群以及被黑产掌握的高危社群及设备，图分析引擎主要使用HugeGraph和SparkGraphX平台来进行图数据的存储和计算。数据输出层，用于根据数据分析层产生的三类结果(设备黑名单、有效特征、有效模型)进行在线数据库的数据更新。输出层根据将产生的黑名单通过更新服务更新到线上数据库和离线数据仓库。根据特征和模型的适合使用场景(线上或者线下)来决定将特征数据、模型更新部署到线上检测模块或者离线分析模块。

本实施例，通过接收业务终端发起的数据检测请求；数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和待检测设备的指纹标识；基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果；向业务终端发送检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

另外，本实施例还可以通过离线分析引擎作为在线服务的功能完善和补充，从而实现对在线数据库的数据更新。离线分析引擎相对于线上服务能够处理和分析更大量级、更长时间周期的数据，同时能够应用更加复杂的算法、模型和策略进行作弊检测。

图5是根据本申请第三实施例的示意图；如图5所示，本实施例中的方法可以包括：

S301、获取待检测设备的日志数据。

S302、从第一服务器中获取安全因子和待检测设备的指纹标识。

S303、基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果。

本实施例中的步骤S301～步骤S303的具体实现过程和实现原理参见图2所示方法中的相关描述，此处不再赘述。

本实施例，通过接收业务终端发起的数据检测请求；数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和待检测设备的指纹标识；基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果；向业务终端发送检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

图6是根据本申请第四实施例的示意图；如图6所示，本实施例中的装置可以包括：

接收模块31，用于接收业务终端发起的数据检测请求；数据检测请求中包含有待检测设备的日志数据；

获取模块32，用于从第一服务器中获取安全因子和待检测设备的指纹标识；

检测模块33，用于基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果；

发送模块34，用于向业务终端发送检测结果。

本实施例中，通过接收业务终端发起的数据检测请求；数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和待检测设备的指纹标识；基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果；向业务终端发送检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

在一种可能的设计中，日志数据包括：基础设备信息、行为数据、IP数据、SDK令牌信息。

本实施例中，当待检测设备中的APP在渠道推广中被安装或调起时，采集基础设备信息、行为数据、IP数据等等数据，然后将采集到的基础设备信息、行为数据、IP数据等等数据与SDK令牌信息一起生成新增的日志数据。从而可以通过日志方式及时地记录待检测设备生成的数据，方便对数据进行后续的检测处理。

在一种可能的设计中，获取模块32，具体用于：

向第一服务器发送查询请求，查询请求中包含有待检测设备的SDK令牌信息；

接收第一服务器反馈的安全因子和待检测设备的指纹标识；其中，安全因子和待检测设备的指纹标识是第一服务器根据待检测设备采集到的设备环境信息和指纹特征数据生成的。

本实施例中，待检测设备中的APP初始化其内安装的安全SDK，由安全SDK采集待检测设备的设备环境信息、指纹特征数据；然后将待检测设备的设备环境信息、指纹特征数据以主动方式或触发方式上报给第一服务器。该第一服务器可以是SDK云端服务器，用于根据待检测设备采集到的设备环境信息和指纹特征数据生成待检测设备对应的安全因子和指纹标识；从而可以通过SDK云端服务器生成的安全因子和指纹标识对待检测设备的日志数据进行验证。

在一种可能的设计中，SDK令牌信息是待检测设备从第一服务器中获取到的；其中，SDK令牌信息与待检测设备指纹具备映射关系，且SDK令牌信息具备预设的有效周期。

本实施例中，当第一服务器生成的安全因子和指纹标识之后，会向待检测设备发送能够映射到待检测设备指纹的具备有效周期的SDK令牌信息。从而可以将SDK令牌信息作为从第一服务器获取安全因子和指纹标识的依据，保证数据传输的安全性。需要说明的是，SDK令牌信息具备有效周期，即只有在有效周期内，对应的SDK令牌信息才有效。

在一种可能的设计中，在线数据库包括：威胁情报库、黑白名单库、特征库。

在一种可能的设计中，检测模块33，具体用于：

查询威胁情报库，获取待检测设备的情报信息，情报信息包括：设备画像、IP画像、账号画像；

查询黑白名单库，获取待检测设备的指纹标识、cuid标识、imei/idfa标识对应的标签信息；

查询特征库，获取待检测设备对应的特征数据；

通过状态库查询待检测设备的实时统计信息；实时统计信息包括：待检测设备对应cuid数量、待检测设备对应的账号数量、待检测设备的IP对应的设备数、待检测设备渠道下的设备型号集中情况；

将情报信息、标签信息、特征数据，以及实时统计信息、安全因子、待检测设备的指纹标识转换为规则引擎需要的标准格式数据；

通过规则引擎对标准格式数据进行分析处理，得到检测结果。

本实施例中，结合在线数据库中的威胁情报库、黑白名单库、特征库，以及获取到的安全因子和待检测设备的指纹标识来对该待检测设备的日志数据进行全方位地检测和分析；通过规则引擎输出最终的检测结果，从而实现了在线实时服务和离线分析引擎的配合等方式，可以智能、安全的对数据进行分析，准确判别数据是否被篡改，保证数据的安全性。

本实施例的数据分析装置，可以执行图2、图5所示方法中的技术方案，其具体实现过程和技术原理参见图2、图5所示方法中的相关描述，此处不再赘述。

本实施例，通过接收业务终端发起的数据检测请求；数据检测请求中包含有待检测设备的日志数据；从第一服务器中获取安全因子和待检测设备的指纹标识；基于安全因子、待检测设备的指纹标识，以及在线数据库对待检测设备的日志数据进行检测，得到检测结果；向业务终端发送检测结果。从而可以全面地对设备数据进行检测，判别出数据是否存在篡改，保证数据的安全性。

图7是根据本申请第五实施例的示意图；如图7所示，本实施例中的装置在图6所示装置的基础上，还可以包括：

更新模块35，用于对在线数据库进行数据更新。

在一种可能的设计中，更新模块35，具体用于：

获取更新的安全SDK数据、日志数据以及威胁情报数据；

将更新的安全SDK数据、日志数据以及威胁情报数据持久化到数据仓库中；数据仓库包括：SDK数据仓库、日志仓库、威胁情报仓库；

对数据仓库中的数据进行数据融合处理、特征提取、数据分析、图关联分析，以及无监督学习中的任一或者任多操作，得到更新数据；

将更新数据添加到在线数据库中。

本实施例中，以异步方式，或者离线方式，对在线数据库中的威胁情报库、黑白名单库、特征库进行数据更新，从而可以使得在线数据库内的数据更加全面，以提高数据检测的准确性。

本实施例的数据分析装置，可以执行图2、图3、图5所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3、图5所示方法中的相关描述，此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

图8是用来实现本申请实施例的数据分析方法的电子设备的框图；如图8所示，是根据本申请实施例的数据分析方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的数据分析方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据分析方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据分析方法对应的程序指令/模块。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据分析方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据分析方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至数据分析方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

数据分析方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与数据分析方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种数据分析方法，其特征在于，包括：

接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；

从第一服务器中获取安全因子和所述待检测设备的指纹标识；

基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；

向所述业务终端发送所述检测结果。

2.根据权利要求1所述的方法，其特征在于，所述日志数据包括：基础设备信息、行为数据、IP数据、SDK令牌信息。

3.根据权利要求2所述的方法，其特征在于，从第一服务器中获取安全因子和所述待检测设备的指纹标识，包括：

向所述第一服务器发送查询请求，所述查询请求中包含有所述待检测设备的SDK令牌信息；

接收所述第一服务器反馈的安全因子和所述待检测设备的指纹标识；其中，所述安全因子和所述待检测设备的指纹标识是所述第一服务器根据所述待检测设备采集到的设备环境信息和指纹特征数据生成的。

4.根据权利要求3所述的方法，其特征在于，所述SDK令牌信息是所述待检测设备从第一服务器中获取到的；其中，所述SDK令牌信息与所述待检测设备指纹具备映射关系，且所述SDK令牌信息具备预设的有效周期。

5.根据权利要求1所述的方法，其特征在于，所述在线数据库包括：威胁情报库、黑白名单库、特征库。

6.根据权利要求5所述的方法，其特征在于，基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果，包括：

查询所述威胁情报库，获取所述待检测设备的情报信息，所述情报信息包括：设备画像、IP画像、账号画像；

查询所述黑白名单库，获取所述待检测设备的指纹标识、cuid标识、imei/idfa标识对应的标签信息；

查询所述特征库，获取所述待检测设备对应的特征数据；

通过状态库查询所述待检测设备的实时统计信息；所述实时统计信息包括：所述待检测设备对应cuid数量、所述待检测设备对应的账号数量、所述待检测设备的IP对应的设备数、所述待检测设备渠道下的设备型号集中情况；

将所述情报信息、所述标签信息、所述特征数据，以及所述实时统计信息、所述安全因子、所述待检测设备的指纹标识转换为规则引擎需要的标准格式数据；

通过所述规则引擎对所述标准格式数据进行分析处理，得到所述检测结果。

7.根据权利要求1-6中任一项所述的方法，其特征在于，还包括：

对所述在线数据库进行数据更新。

8.根据权利要求7所述的方法，其特征在于，所述对所述在线数据库进行数据更新，包括：

获取更新的安全SDK数据、日志数据以及威胁情报数据；

将所述更新的安全SDK数据、所述日志数据以及所述威胁情报数据持久化到数据仓库中；所述数据仓库包括：SDK数据仓库、日志仓库、威胁情报仓库；

对所述数据仓库中的数据进行数据融合处理、特征提取、数据分析、图关联分析，以及无监督学习中的任一或者任多操作，得到更新数据；

将所述更新数据添加到所述在线数据库中。

9.一种数据分析装置，其特征在于，包括：

接收模块，用于接收业务终端发起的数据检测请求；所述数据检测请求中包含有待检测设备的日志数据；

获取模块，用于从第一服务器中获取安全因子和所述待检测设备的指纹标识；

检测模块，用于基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果；

发送模块，用于向所述业务终端发送所述检测结果。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

12.一种数据分析方法，其特征在于，包括：

获取待检测设备的日志数据；

从第一服务器中获取安全因子和所述待检测设备的指纹标识；

基于所述安全因子、所述待检测设备的指纹标识，以及在线数据库对所述待检测设备的日志数据进行检测，得到检测结果。