CN106559498A - 风控数据收集平台及其收集方法 - Google Patents

风控数据收集平台及其收集方法 Download PDF

Info

Publication number
CN106559498A
CN106559498A CN201611113528.5A CN201611113528A CN106559498A CN 106559498 A CN106559498 A CN 106559498A CN 201611113528 A CN201611113528 A CN 201611113528A CN 106559498 A CN106559498 A CN 106559498A
Authority
CN
China
Prior art keywords
data
server
event
production equipment
print code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611113528.5A
Other languages
English (en)
Inventor
王金亮
黄小杰
冯少桦
李冯烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qian Liu Agel Ecommerce Ltd
Original Assignee
Shanghai Qian Liu Agel Ecommerce Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qian Liu Agel Ecommerce Ltd filed Critical Shanghai Qian Liu Agel Ecommerce Ltd
Priority to CN201611113528.5A priority Critical patent/CN106559498A/zh
Publication of CN106559498A publication Critical patent/CN106559498A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种风控数据收集平台及其收集方法，数据以嵌入到APP SDK及WEB JavaScript，当用户执行某项操作时触发相应事件，事件当前上下文以Json格式进行数据组织，敏感数据加密；然后以Http协议上传到数据收集服务器。在不影响正常业务使用功能前提下，实现各业务数据以事件类型异步上传，根据实际进行自动分类，由于数据都有相应事件类型，方便进行分析统计，数据以标准JSON格式，免去了数据清洗环节，大大降低数据处理成本，保证数据更加高速处理，也大大降低了前端WEB，应用创建各类事件难度。

Description

风控数据收集平台及其收集方法
技术领域
本发明涉及网络通信领域，尤其涉及一种风控数据收集平台及其收集方法。
背景技术
大数据时代已经来临，但对于绝大多数企业，大数据本身仅是一个空泛的概念，不仅难以参与，更难于控制。几乎任何规模企业，每时每刻都在产生大量的数据，但这些数据如何归集、提炼始终是一个难题。这种感觉好像是坐拥金矿却不知道怎么开采。大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是拥有大量的数据。
采集是大数据价值挖掘最重要的一环，其后的集成、分析、管理都构建于采集的基础。移动互联的发展催生了更为多样化的数据，同时包含结构化和非结构化的数据。在传统的企业中，被有效管理的数据都是以表格、或文件的形式临时保存，数据格式不统一，不便于后期数据深度分析、挖掘。而如今的海量数据中，包括各种各样的数据类型，最常见的普通文本、照片、视频等等，还有像位置信息、链接信息，服务器日志等格式多样的数据源。这些数据很难通过传统的技术手段进行提炼和分析。这便是绝大多企业面对大数据无所适从的主要原因，无法从数据金矿中挖掘出数据背后价值、进而转化为企业宝贵财富。
发明内容
本发明所要解决的技术问题是提供一种风控数据收集平台及其收集方法，为电商获取用户交互行为、后台服务监控及前端各应用模块关乎用户体验和敏感风险点(支付、下单、体现)等交易行为风险行为识别，提供数据来源，并基于该数据，为风险行为提供识别。
为实现上述技术效果，本发明公开了一种风控数据收集方法，包括步骤：
拦截用户终端向在线应用服务器发送的操作请求，生成生产设备指纹代码，并将所述生产设备指纹代码注入到所述用户终端中，使所述用户终端发送的操作请求中携带有所述生产设备指纹代码；
获取用户终端发出的携带有所述生产设备指纹代码的操作请求，记录标记有所述生产设备指纹代码的操作请求事件，并将携带有所述生产设备指纹代码的所述操作请求发送至在线应用服务器；
在所述在线应用服务器响应所述操作请求后，追踪获取标记有所述生产设备指纹代码的所述操作请求事件和相关的响应请求事件，生成携带有所述生产设备指纹代码的事件数据；
对所述事件数据进行收集，并根据所述生产设备指纹代码对所述事件数据进行分发；
对分发的所述事件数据进行分类存储。
所述风控数据收集方法进一步的改进在于，通过JavaScript语言拦截用户终端的操作请求，并通过JavaScript语言将生成的生产设备指纹代码注入到用户终端中。
所述风控数据收集方法进一步的改进在于，利用设备指纹算法对用户终端进行设备编码，生成固定且唯一的所述生产设备指纹代码。
所述风控数据收集方法进一步的改进在于，所述操作请求包括登录请求、交易请求和退出请求。
所述风控数据收集方法进一步的改进在于，所述操作请求为登录请求，在所述在线应用服务器响应所述登录请求后，记录用户终端访问所述线应用服务器的响应时间戳，追踪获取用户终端在所述响应时间戳上所执行的相关操作和环境信息，生成携带有所述生产设备指纹代码的事件数据。
所述风控数据收集方法进一步的改进在于，在对所述事件数据进行收集前，还包括对所述事件数据进行格式化。
所述风控数据收集方法进一步的改进在于，以JSON格式对所述事件数据进行格式化。
本发明还公开了一种风控数据收集平台，包括：
第一数据收集服务器，通信连接于用户终端，用于拦截用户终端向在线应用服务器发送的操作请求，生成生产设备指纹代码，并将所述生产设备指纹代码注入到所述用户终端中，使所述用户终端发送的操作请求中携带有所述生产设备指纹代码；
第二数据收集服务器，通信连接于用户终端和在线应用服务器，用于获取用户终端发出的携带有所述生产设备指纹代码的操作请求，记录标记有所述生产设备指纹代码的操作请求事件，并将携带有所述生产设备指纹代码的所述操作请求发送至在线应用服务器；
第三数据收集服务器，通信连接于在线应用服务器，用于在所述在线应用服务器响应所述操作请求后，追踪获取标记有所述生产设备指纹代码的所述操作请求事件和相关的响应请求事件，生成携带有所述生产设备指纹代码的事件数据；
第四数据收集服务器，通信连接于所述第三数据收集服务器，用于对所述事件数据进行收集，并根据所述生产设备指纹代码对所述事件数据进行分发；
数据存储集群，通信连接于所述第四数据收集服务器，用于接收分发的所述事件数据，并进行分类存储。
所述风控数据收集平台进一步的改进在于，所述数据存储服务器集群包括：
第一存储服务器，通信连接于所述第四数据收集服务器，用于接收所述第四数据收集服务器分发的所述事件数据；
第二存储服务器，通信连接于所述第一存储服务器，用于以文件形式存储原始且完整的数据；
第三存储服务器，通信连接于所述第一存储服务器，用于存储半格式化数据，以供进一步统计分析；
第四存储服务器，通信连接于所述第一存储服务器，用于存储日志、事件。
所述风控数据收集平台进一步的改进在于，所述第二存储服务器为分布式文件存储系统，所述第三存储服务器为分布式实时数据库，所述第四存储服务器为数据可视化存储工具。
本发明由于采用了以上技术方案，使其具有以下有益效果：
(1)高可靠性：采用分布式数据存储集群(Dubbo服务集群)，当某数据节点出现故障时，数据能够被传送到其他节点上而不会丢失；
(2)高并发：数据收集服务充分利用操作系统、服务器硬件资源，完全异步接收方式，比同样配置其他数据收集方案性能更胜一筹；
(3)智能性：数据可以按照不同业务、不同事件进行自动分类、归并；
(4)真实性：由于数据都有其对应唯一生产设备指纹代码，可识别性强，可防止攻击、伪造数据；
(5)可读性强：数据采用JSON格式传递，极大方便数据解析，分析处理。
附图说明
图1为本发明风控数据收集平台的拓扑图。
图2为本发明风控数据收集平台的数据流程图。
具体实施方式
下面结合附图及具体实施方式对本发明作进一步详细的说明。
采集是大数据价值挖掘最重要的一环，其后的集成、分析、管理都构建于采集的基础。移动互联的发展催生了更为多样化的数据，同时包含结构化和非结构化的数据。在传统的企业中，被有效管理的数据都是以表格、或文件的形式临时保存，数据格式不统一，不便于后期数据深度分析、挖掘。而如今的海量数据中，包括各种各样的数据类型，最常见的普通文本、照片、视频等等，还有像位置信息、链接信息，服务器日志等格式多样的数据源。这些数据很难通过传统的技术手段进行提炼和分析。这便是绝大多企业面对大数据无所适从的主要原因，无法从数据金矿中挖掘出数据背后价值、进而转化为企业宝贵财富。
本发明风控数据收集平台及其收集方法，为电商获取用户交互行为、后台服务监控及前端各应用模块关乎户体验、敏感风险点(支付、下单、体现)等交易行为风险行为识别，提供数据来源，并基于该数据，为风险行为提供识别。
首先参阅图1所示，本发明风控数据收集平台主要由数据收集和存储集群两大部分组成，通过网络交换机31(如千兆以太网交换机)和云平台管理服务器32接入网络，并通过网络与普通用户(User)和数据库管理员(database administrator，简称DBA)通信连接，同时通过网络又与在线应用服务器(如VPN服务器)通信连接，以首先大数据的收集和分类的优化。
其中，数据收集部分用于互联网大数据的收集和分类，数据以嵌入到APP(Android、IOS)SDK及WEB JavaScript，当用户执行某项操作时触发相应事件，事件当前上下文以Json格式进行数据组织，敏感数据加密；然后以Http协议上传到数据收集服务器。数据收集部分主要包括第一数据收集服务器(NGINX)11、第二数据收集服务器(Tomcat)12、第三数据服务器(Mysql)13和多台并行的第四服务器(Flume)14。该第一数据收集服务器(NGINX)11、该第二数据收集服务器(Tomcat)12、该第三数据服务器(Mysql)13和该多台第四服务器(Flume)14并行连接，通过网络交换机31接入网络。其中，第四数据收集服务器14通信连接于第三数据收集服务器13。
第一数据收集服务器(NGINX)11通信连接于用户终端，如APP(Android、IOS)SDK及WEB JavaScript，用于拦截用户终端向在线应用服务器发送的操作请求，生成生产设备指纹代码(evnID)，并将生产设备指纹代码(evnID)注入到用户终端中，使用户终端发送的操作请求中携带有生产设备指纹代码(evnID)。
第二数据收集服务器(Tomcat)12通信连接于用户终端和在线应用服务器，用于获取用户终端发出的携带有生产设备指纹代码(evnID)的操作请求，记录标记有生产设备指纹代码(evnID)的操作请求事件，并将携带有生产设备指纹代码(evnID)的操作请求发送至在线应用服务器。
第三数据收集服务器(Mysql)13做数据收集服务反向代理及负载均衡，其通信连接于在线应用服务器，用于在所述在线应用服务器响应所述操作请求后，追踪获取标记有所述生产设备指纹代码的所述操作请求事件和相关的响应请求事件，生成携带有所述生产设备指纹代码的事件数据；
第四数据收集服务器(Flume)通信连接于第三数据收集服务器(Mysql)，用于对事件数据进行收集，并根据生产设备指纹代码对事件数据进行分发。
存储集群部分采用分布式数据存储集群(Dubbo服务集群)，用于接收数据收集部分分发的事件数据，并进行分类存储。Dubbo是Alibaba开源的分布式服务框架，我们可以非常容易地通过Dubbo来构建分布式服务，并根据自己实际业务应用场景来选择合适的集群容错模式，这个对于很多应用都是迫切希望的，只需要通过简单的配置就能够实现分布式服务调用，也就是说服务提供方(Provider)发布的服务可以天然就是集群服务，比如，在实时性要求很高的应用场景下，可能希望来自消费方(Consumer)的调用响应时间最短，只需要选择Dubbo的Forking Cluster模式配置，就可以对一个调用请求并行发送到多台对等的提供方(Provider)服务所在的节点上，只选择最快一个返回响应的，然后将调用结果返回给服务消费方(Consumer)，显然这种方式是以冗余服务为基础的，需要消耗更多的资源，但是能够满足高实时应用的需求。
存储集群部分包括多台并行的第一存储服务器(Kafka)21、第二存储服务器(HDFS)22、第三存储服务器(HBAS)23和第四存储服务器(ELK)24。其中，多台第一存储服务器(Kafka)21一一对应地通信连接于多台第一数据收集服务器(NGINX)11；第二存储服务器(HDFS)22、该第三存储服务器(HBAS)23和该第四存储服务器(ELK)24并行连接，并通信连接于第一存储服务器(Kafka)21，通过网络交换机31接入网络。
第一存储服务器(Kafka)21通信连接于数据收集部分的第四数据收集服务器(Flume)14，用于接收第四数据收集服务器(Flume)14分发的事件数据；
第二存储服务器(HDFS)22为分布式文件存储系统，其通信连接于第一存储服务器(Kafka)21，用于以文件形式存储原始且完整的数据；
第三存储服务器(HBAS)23为分布式实时数据库，其通信连接于第一存储服务器(Kafka)21，用于存储半格式化数据，以供进一步统计分析；
第四存储服务器(ELK)24为数据可视化存储工具，其通信连接于所述第一存储服务器(Kafka)21，用于存储日志、事件。
本发明风控数据收集平台能够在不影响正常业务使用功能(不占用业务服务带宽，不影响正常用户体验)前提下，实现各业务数据以事件类型异步上传，根据实际进行自动分类，由于数据都有相应事件类型，方便进行分析统计，数据以标准JSON格式，免去了数据清洗环节，大大降低数据处理成本，保证数据更加高速处理，也大大降低了前端(Android、IOS)WEB，应用创建各类事件难度。
由于每种事件都对应traceID，这样可以方便分析用户登录后，在平台所进行的相关操作，方便分析出用户感兴趣业务板块。
配合图2所示，为本发明风控数据收集平台的功能图，下面对该图2中的标记做适当说明，具体如下：
1>通过JS拦截用户登陆请求，利用设备指纹算法分配固定、唯一evnID,对浏览器进行设备编号；
2>获取生产设备端生产evnID；
3>向数据收集服务发送生产evnID事件；
4>向登陆服务器发送登陆请求，并携带设备编码(evnID)；
5>登陆服务校验登陆并响应登陆请求，在登陆校验通过后，记录响应时间戳，并传回客户端；
6>数据收集服务器收集web客户端登陆请求事件；
7>数据收集服务器接收app端请求登陆事件数据；
8>数据收集服务器接收app端请求登陆成功事件数据；
9>数据收集服务将收集到事件数据实时、自动、分类转发到后台分析处理流处理应用。
下面结合图2，对本发明风控数据收集平台的数据收集方法，做进一步说明，其主要包括而下步骤：
S001：拦截用户终端向在线应用服务器发送的操作请求，生成生产设备指纹代码(evnID)，并将生产设备指纹代码注入到用户终端中，使用户终端发送的操作请求中携带有生产设备指纹代码(evnID)；
其中，本发明通过JavaScript语言(以下简称JS)拦截用户终端的操作请求，并通过JavaScript语言将生成的生产设备指纹代码注入到用户终端中。利用设备指纹算法对用户终端进行设备编码，生成固定且唯一的生产设备指纹代码(evnID)。
S002：获取用户终端发出的携带有生产设备指纹代码(evnID)的操作请求，记录标记有生产设备指纹代码(evnID)的操作请求事件，并将携带有生产设备指纹代码(evnID)的操作请求发送至在线应用服务器；
S003：在在线应用服务器响应操作请求后，追踪获取标记有生产设备指纹代码(evnID)的操作请求事件和相关的响应请求事件，生成携带有生产设备指纹代码(evnID)的事件数据；
S004：对事件数据进行收集，并根据生产设备指纹代码对事件数据进行分发；
S005：对分发的事件数据进行分类存储。
上述操作请求可包含登录请求、交易请求、退出请求或其他关乎用户体验、敏感风险点(支付、下单、体现)等交易行为的请求，提供数据来源，并基于该数据，以便于为风险行为提供识别。
比如，操作请求为登录请求，在在线应用服务器响应登录请求后，记录用户终端访问线应用服务器的响应时间戳，追踪获取用户终端在响应时间戳上所执行的相关操作和环境信息，生成携带有生产设备指纹代码的事件数据。
作为本发明的较佳实施方式，在对事件数据进行收集前，还包括对事件数据进行格式化。优选地，以JSON格式对事件数据进行格式化。JSON格式时基于JavaScript语言的轻量级的数据交换格式(JavaScript Object Notiation，简称JSON)，以便客户端JavaScript语言调用。
与传统技术相比，本发明具有以下有益效果：
(1)高可靠性：采用分布式数据存储集群(Dubbo服务集群)，当某数据节点出现故障时，数据能够被传送到其他节点上而不会丢失；
(2)高并发：数据收集服务充分利用操作系统、服务器硬件资源，完全异步接收方式，比同样配置其他数据收集方案性能更胜一筹；
(3)智能性：数据可以按照不同业务、不同事件进行自动分类、归并；
(4)真实性：由于数据都有其对应唯一生产设备指纹代码，可识别性强，可防止攻击、伪造数据；
(5)可读性强：数据采用JSON格式传递，极大方便数据解析，分析处理。
本发明的核心技术在于：
1)高并发
使用HTTP作为数据收集前置收集，使用内存队列进行数据缓存，搭配kafka集群进行数据存储。可同时完成数据收集高并发、数据消费高并发。
2)高可用
前置数据收集集群使用域名解析named服务，负载均衡采用故障转移策略，当数据收集节点出故障，数据自动分发到其他节点机器。
下面结合两种用户终端：Web端和App端，来具体详述本发明风控数据收集平台的数据收集方式。
实施例1：
Web端登陆事件产生步骤(数据收集完整流程):
1、当用户点击登陆按钮时，nginx服务器通过JavaScript拦截ajax登陆请求；
2、拦截到指定请求后，nginx服务器通过JS注入生产设备指纹代码evnID；
生产指纹因素包括如下:
a)浏览器http请求中的用户代理－navigator.userAgent
b)浏览器的语言(中文、英文……)－navigator.language
c)设备屏幕的色彩信息－screen.colorDepth
d)设备屏幕的宽高－screen.height screen.width
e)格林威治时间和本地时间之间的时差－Date().getTimezoneOffset()
f)是否支持sessionStorage－window.sessionStorage
g)是否支持localStorage－window.localStorage
h)是否支持indexdDB－window.indexedDB
i)是否支持－docment.body.addBehavior(IE5的一个属性)
j)是否支持调用本地数据库－window.openDatabase
k)浏览器所在系统的CPU等级－navigator.cupClass
l)客户端的操作系统－navigator.platform
m)是否支持Do not track功能－navigator.doNotTrack
n)获取浏览器部分插件信息－flash plugin、Adobe PDF reader、QuickTime、real players、ShockWave player、Windows media player、Silverlight、Skype
o)canvas指纹
3、保存生产设备指纹代码evnID到变量evnID(即保存至用户浏览器cookie中)；
4、获取用户登录时环境信息定义如下表表1和表2所示(由客户端JS调用):
表1.用户登录时环境信息一
表2.用户登录时环境信息二
5、将所需的数据以json格式进行格式化(客户端JS调用)；
{"btdataParam":"{\"eventID\":\"preLogin\",\"dataType\":\"20\",\"meta\":{\"reqTs\":1478015980482,\"devType\":\"pc-web\",\"refer\":\"http://www.qbao.com/index.html\",\"IP\":\"112.101.193.12\",\"long\":\"126.6500\",\"lat\":\"45.7500\",\"province\":\"Heilongjiang\",\"city\":\"Harbin\",\"envID\":280582598},\"data\":{\"0\":{\"ts\":1477934118952,\"envID\":2742344628,\"uid\":\"14656005\",\"uname\":\"13718045651\",\"actionID\":\"preLogin\",\"reqTs\":\"1477934143197\"},\"1\":{\"ts\":1477977484016,\"envID\":2742344628,\"uid\":\"29660032\",\"uname\":\"13718045651\",\"actionID\":\"preLogin\",\"reqTs\":\"1477977487016\"},\"2\":{\"ts\":1478015680806,\"envID\":280582598,\"uid\":\"14656005\",\"uname\":\"13718045651\",\"actionID\":\"preLogin\",\"reqTs\":\"1478015701962\"}}}","flumeTs":1478016003156,"reqIP":"10.2.19.73","flumeIP":"10.2.19.68"}
6第四数据收集服务器(Flume)对格式化后的数据以http协议传输到数据收集后台服务网站接口http://dc.qbao.com/webdata.jpg进行收集；进一步地，Flume接受客户端发送数据请求，并对数据进行分发到kafka、hdfs，便后续数据进一步分析处理；
实施例2：
app端登陆事件产生步骤(数据收集完整流程):
1、当用户点击登陆按钮时，获取设备mac，进行md5数据加密生成evnID(在app端本地SDK API调用生成)；
2、保存设备指纹到变量evnID(存入app本地数据库)；
3、获取用户登录时环境信息定义如下(App SDKAPI调用):
4、将所需的数据以json格式进行格式化；
{"dataType":20,"eventID":"preLogin","meta":{"devType":"And-App","envID":"491b1136ae39803e964a108fcb9bc0b6c","reqTs":1478077190817,"uname":"13214305653","traceID":"","uid":"96566890","lat":43.851604,"long":125.295888},"data":{"0":{"uname":"13214305653","uid":"96566890","reqTs":"1478077146828","actionID":"login"},"1":{"uname":"132143056
53","uid":"96566890","reqTs":"1478077157461","actionID":"login"},"2":{"uname":"13214305653","uid":"96566890","reqTs":"1478077159938","actionID":"login"},"3":{"uname":"13214305653","uid":"96566890","reqTs":"1478077173958","actionID":"login"},"4":{"uname":"13214305653","uid":"96566890","reqTs":"1478077190579","actionID":"login"}},"reqIP
":"10.2.19.73","flumeIP":"10.2.19.69","flumeTs":1478077194025}
5、Flume数据收集服务器对格式化后的数据以http协议传输到数据收集后台服务网站接口http://dc.qbao.com/webdata.jpg进行收集。
以上结合附图及实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (10)

1.一种风控数据收集方法，其特征在于，包括步骤：
拦截用户终端向在线应用服务器发送的操作请求，生成生产设备指纹代码，并将所述生产设备指纹代码注入到所述用户终端中，使所述用户终端发送的操作请求中携带有所述生产设备指纹代码；
获取用户终端发出的携带有所述生产设备指纹代码的操作请求，记录标记有所述生产设备指纹代码的操作请求事件，并将携带有所述生产设备指纹代码的所述操作请求发送至在线应用服务器；
在所述在线应用服务器响应所述操作请求后，追踪获取标记有所述生产设备指纹代码的所述操作请求事件和相关的响应请求事件，生成携带有所述生产设备指纹代码的事件数据；
对所述事件数据进行收集，并根据所述生产设备指纹代码对所述事件数据进行分发；
对分发的所述事件数据进行分类存储。
2.如权利要求1所述的风控数据收集方法，其特征在于：通过JavaScript语言拦截用户终端的操作请求，并通过JavaScript语言将生成的生产设备指纹代码注入到用户终端中。
3.如权利要求1所述的风控数据收集方法，其特征在于：利用设备指纹算法对用户终端进行设备编码，生成固定且唯一的所述生产设备指纹代码。
4.如权利要求1所述的风控数据收集平台，其特征在于：所述操作请求包括登录请求、交易请求和退出请求。
5.如权利要求1所述的风控数据收集方法，其特征在于：所述操作请求为登录请求，在所述在线应用服务器响应所述登录请求后，记录用户终端访问所述线应用服务器的响应时间戳，追踪获取用户终端在所述响应时间戳上所执行的相关操作和环境信息，生成携带有所述生产设备指纹代码的事件数据。
6.如权利要求2～5中任一项所述的风控数据收集方法，其特征在于：在对所述事件数据进行收集前，还包括对所述事件数据进行格式化。
7.如权利要求6所述的风控数据收集方法，其特征在于：以JSON格式对所述事件数据进行格式化。
8.一种风控数据收集平台，其特征在于，包括：
第一数据收集服务器，通信连接于用户终端，用于拦截用户终端向在线应用服务器发送的操作请求，生成生产设备指纹代码，并将所述生产设备指纹代码注入到所述用户终端中，使所述用户终端发送的操作请求中携带有所述生产设备指纹代码；
第二数据收集服务器，通信连接于用户终端和在线应用服务器，用于获取用户终端发出的携带有所述生产设备指纹代码的操作请求，记录标记有所述生产设备指纹代码的操作请求事件，并将携带有所述生产设备指纹代码的所述操作请求发送至在线应用服务器；
第三数据收集服务器，通信连接于在线应用服务器，用于在所述在线应用服务器响应所述操作请求后，追踪获取标记有所述生产设备指纹代码的所述操作请求事件和相关的响应请求事件，生成携带有所述生产设备指纹代码的事件数据；
第四数据收集服务器，通信连接于所述第三数据收集服务器，用于对所述事件数据进行收集，并根据所述生产设备指纹代码对所述事件数据进行分发；
数据存储集群，通信连接于所述第四数据收集服务器，用于接收分发的所述事件数据，并进行分类存储。
9.如权利要求8所述的风控数据收集平台，其特征在于：所述数据存储服务器集群包括：
第一存储服务器，通信连接于所述第四数据收集服务器，用于接收所述第四数据收集服务器分发的所述事件数据；
第二存储服务器，通信连接于所述第一存储服务器，用于以文件形式存储原始且完整的数据；
第三存储服务器，通信连接于所述第一存储服务器，用于存储半格式化数据，以供进一步统计分析；
第四存储服务器，通信连接于所述第一存储服务器，用于存储日志、事件。
10.如权利要求9所述的风控数据收集平台，其特征在于：所述第二存储服务器为分布式文件存储系统，所述第三存储服务器为分布式实时数据库，所述第四存储服务器为数据可视化存储工具。
CN201611113528.5A 2016-12-02 2016-12-02 风控数据收集平台及其收集方法 Pending CN106559498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611113528.5A CN106559498A (zh) 2016-12-02 2016-12-02 风控数据收集平台及其收集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611113528.5A CN106559498A (zh) 2016-12-02 2016-12-02 风控数据收集平台及其收集方法

Publications (1)

Publication Number Publication Date
CN106559498A true CN106559498A (zh) 2017-04-05

Family

ID=58445160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611113528.5A Pending CN106559498A (zh) 2016-12-02 2016-12-02 风控数据收集平台及其收集方法

Country Status (1)

Country Link
CN (1) CN106559498A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239491A (zh) * 2017-04-25 2017-10-10 广州阿里巴巴文学信息技术有限公司 用于实现用户行为追踪的方法、设备、浏览器及电子设备
CN108038045A (zh) * 2017-12-29 2018-05-15 上海新炬网络技术有限公司 基于无埋点的Android用户行为数据采集方法
CN108803502A (zh) * 2017-04-27 2018-11-13 横河电机株式会社 数据收集装置及系统、数据服务器、数据收集方法及计算机可读取的非易失性的记录介质
CN109729130A (zh) * 2018-04-04 2019-05-07 中国平安人寿保险股份有限公司 信息分析方法、业务服务器、存储介质及装置
CN110490638A (zh) * 2019-07-19 2019-11-22 厦门网宿有限公司 一种点击事件统计方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685254A (zh) * 2012-05-31 2012-09-19 深圳英宝通科技有限公司 一种跨平台移动网络终端控制方法及其系统
CN103136820A (zh) * 2011-12-05 2013-06-05 上海博路信息技术有限公司 一种基于终端指纹识别的远程门禁系统
CN103179498A (zh) * 2011-12-20 2013-06-26 联想(北京)有限公司 数据传输方法和装置
US20140112227A1 (en) * 2012-10-18 2014-04-24 Olympus Corporation Wireless communication terminal, wireless communication system, wireless communication method, and computer program
CN106101091A (zh) * 2016-06-07 2016-11-09 腾讯科技（深圳）有限公司 终端间数据处理的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136820A (zh) * 2011-12-05 2013-06-05 上海博路信息技术有限公司 一种基于终端指纹识别的远程门禁系统
CN103179498A (zh) * 2011-12-20 2013-06-26 联想(北京)有限公司 数据传输方法和装置
CN102685254A (zh) * 2012-05-31 2012-09-19 深圳英宝通科技有限公司 一种跨平台移动网络终端控制方法及其系统
US20140112227A1 (en) * 2012-10-18 2014-04-24 Olympus Corporation Wireless communication terminal, wireless communication system, wireless communication method, and computer program
CN106101091A (zh) * 2016-06-07 2016-11-09 腾讯科技（深圳）有限公司 终端间数据处理的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239491A (zh) * 2017-04-25 2017-10-10 广州阿里巴巴文学信息技术有限公司 用于实现用户行为追踪的方法、设备、浏览器及电子设备
CN108803502A (zh) * 2017-04-27 2018-11-13 横河电机株式会社 数据收集装置及系统、数据服务器、数据收集方法及计算机可读取的非易失性的记录介质
CN108038045A (zh) * 2017-12-29 2018-05-15 上海新炬网络技术有限公司 基于无埋点的Android用户行为数据采集方法
CN108038045B (zh) * 2017-12-29 2020-09-29 上海新炬网络技术有限公司 基于无埋点的Android用户行为数据采集方法
CN109729130A (zh) * 2018-04-04 2019-05-07 中国平安人寿保险股份有限公司 信息分析方法、业务服务器、存储介质及装置
CN110490638A (zh) * 2019-07-19 2019-11-22 厦门网宿有限公司 一种点击事件统计方法及系统

Similar Documents

Publication Publication Date Title
US10795992B2 (en) Self-adaptive application programming interface level security monitoring
CN106559498A (zh) 风控数据收集平台及其收集方法
Wang et al. A smart home gateway platform for data collection and awareness
CN108471366A (zh) 一种面向云原生应用的立体监控系统
CN106446228A (zh) 一种web页面数据的采集分析方法及装置
CN104092755B (zh) 一种云服务起源数据的捕获方法和装置
CN106844220A (zh) 一种模拟计算机网络应用程序真实运行环境的测试方法和系统
CN107273267A (zh) 基于elastic组件的日志分析方法
CN109194543A (zh) 数据采集方法和装置
CN112351024B (zh) 一种公网通信安全监测系统及方法
CN106227780A (zh) 一种海量网页的自动化截图取证方法和系统
CN109656792A (zh) 基于网络调用日志的应用性能分析方法、装置、计算机设备及存储介质
CN109062590A (zh) 一种游戏sdk在线更新的方法及系统
CN111162932A (zh) 一种基于日志分析的api网关监控方法
CN109359686A (zh) 一种基于校园网流量的用户画像方法及系统
CN107168844B (zh) 一种性能监控的方法及装置
CN110011860A (zh) 基于网络流量分析的安卓应用识别方法
US20170220218A1 (en) Automatic Generation of Regular Expression Based on Log Line Data
CN109542894A (zh) 用户数据集中存储方法、装置、介质和计算机设备
CN112333020A (zh) 一种基于五元组的网络安全监测及数据报文解析系统
CN115333966A (zh) 一种基于拓扑的Nginx日志分析方法、系统及设备
CN107426017A (zh) 一种通过采集交换机网络流量进行数据分析的方法
CN106897313B (zh) 一种海量用户业务偏好评估方法和装置
CN111882368B (zh) 一种在线广告dpi加密埋点及透传跟踪的方法
CN109559121A (zh) 交易路径调用异常分析方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170405