CN110727885A - 一种互联网全局统一标识符生成系统及其生成方法 - Google Patents

Abstract

本发明公开了一种互联网全局统一标识符生成系统及其生成方法，系统包括用户身份标识采集模块、全局统一ID分配模块、应用层模块。本发明基于与各家第三方互联网服务提供商的商务合作，通过第三方互联网服务提供商提供的公开接口，在保留互联网用户在实际网络行为中的匿名性的前提下，通过Cookie、移动设备ID、第三方提供的用户标识等各种公认的统一标识方式，建立生命周期更长且跨屏跨平台的全局统一标识符数据库，有效地解决现有同类产品在数据公开性、数据有效性及数据稳定性方面的问题。本发明相比现有技术来说具有体量更大、数据精度更高、数据生命周期更长、数据开放度更大的优点。

Description

一种互联网全局统一标识符生成系统及其生成方法

技术领域

本发明涉及互联网应用技术领域，具体涉及一种应用于互联网数字营销行业、大数据挖掘及分析行业、物联网行业等一系列与互联网相关行业的互联网全局统一标识符生成系统及其生成方法。

背景技术

根据中国互联网络信息中心(CNNIC)于今年1月31日发布的第41次《中国互联网络发展状况统计报告》，截至2017年12月，我国的网民规模已经达到了7.72亿，全年新增网民有4074万人，网民规模保持着稳定的增长。其中手机网民规模更是达7.53亿，占总体网民规模有97.5％，同时电视上网的网民规模也呈现提升的趋势，达到了28.2％。

在如此庞大的网民规模下，在网络上准确定位一个自然人是具有相当难度的：在现今的通信设备及互联网基础设施高速发展的情形下，每一个互联网民至少拥有2台能够连接网络的设备，甚至更多。同时因为应用需求不同，大多数网民在网络上的虚拟身份也有多种，例如同一个自然人，可以使用爱奇艺视频的会员身份观看喜欢的电影，同时也可以使用淘宝的会员身份进行网上购物，甚至可以通过新浪微博的用户身份发布一条有关之前观影或购物的博文。若可以通过一种统一标识的方式将这些设备的部分信息及用户账号体系串联起来，就可以使得数字营销更加精准，也能使得数据挖掘更加高效。

目前我国互联网服务提供商在常规情况下，仅通过技术是不可能准确定位到使用网络服务的自然人的，但是可以通过互联网服务提供商公认的统一设备标识，进行相对准确的定位，诸如PC(Personal Computer，个人电脑)端通常会用到的cookie(某些网站为了辨别PC用户身份而储存在用户本地终端上的小型文本文件)；移动端设备通常用到的IDFA(Identifier for Advertising，苹果公司开发的用于商家监测广告效果的广告标识符)、IMEI(International Mobile Equipment Identity，国际移动设备识别码即通常所说的手机序列号)、AndroidID(安卓系统为开发者提供的用于标识手机设备的串号)；互联网电视端通常用到的MAC地址(Media Access Control Address，一种用来确认网络设备位置的地址)；所有接入互联网的设备都通用的IP地址(Internet Protocol Address，网际协议地址)。

以上各种设备标识都可以在局部条件下，进行互联网用户的甄别及一定时期内的定位追踪。但是都存在各自的问题：

1、Cookie的生成是由PC浏览器客户端生成的，各个浏览器生成该标识的原理各不相同，那么若同一网络访客在同一IP地址下，使用多种浏览器浏览同一域名下的网页，则会被认作多个访客，以至于有些PC广告效果难以被准确定性。同时Cookie还存在生命周期较短的问题，不利于数字广告服务提供商观察长期广告投放的效果；

2、IDFA、IMEI、AndroidID相比Cookie的生命周期稳定许多，但是传统产品无法有效将这些移动设备标识与个人电脑设备标识之间进行强关联，因此在跨屏的广告投放实例中很难进行更精准的频次控制以及监测广告投放人群触达的效果。

3、由于各互联网服务提供商的垂直业务及商业模式不同，往往同类产品无法打通不同域名及不同APP下的网络访客体系，从而也就很难做到跨平台的设备关联，使得广告在各种网域及APP中频繁出现，使得访客浏览体验降低。

发明内容

本发明针对上述现有技术的不足，提供了一种互联网全局统一标识符生成系统及其生成方法，其技术时效长、联屏效果好、平台联通率高。

为解决现有技术中存在的问题，采用的具体技术方案是：

一种互联网全局统一标识符生成系统，其包括用户身份标识采集模块、全局统一ID分配模块、应用层模块；其中，所述用户身份标识采集模块包括依次相连的需方平台数据服务模块、源数据采集模块和源数据处理模块，所述源数据采集模块实时收集需方平台数据服务模块中的实时数据，并将数据导入源数据处理模块，实现数据落地并生成打印相关日志；所述全局统一ID分配模块中包含有核心运算模块、核心数据库和有效性及生命周期管理模块，核心运算模块用于将从原数据处理模块中获取的数据行新增分配和合并信息，按照规定的数据结构导入核心数据库，所述有效性及生命周期管理模块针对统一ID的生命周期分多个数据区块进行维护更新；所述应用层模块包括应用接口端，用于通过应用接口端将相关数据开放给各互联网业务产品使用。

优选的方案，所述源数据采集模块是通过需方平台数据服务模块的实时出价、赢价信息和点击来实时收集数据。

进一步优选的方案，所述全局统一ID分配模块针对统一ID的生命周期进行分三个数据区块进行维护更新。

本发明还提供了一种互联网全局统一标识符生成方法，其包括以下步骤：

S1、首先通过第三方的请求数据流采集用户标识数据，并生成标志对；

S2、根据共现过相同特征的全局统一标识符进行合并；若在库中无法找到任何一条已有的记录，则对这条标识对分配一个新的全局统一标识，并保留其关系组；

S3、根据相同特征的全局统一标识符的更新时间进行定期清理，保留活跃度更高、数据更齐全、跨屏跨平台延伸性更强的访客信息。

步骤S1中，通过第三方互联网服务提供商提供的接口，获取到大量的原始数据；所述接口包含各个互联网服务商提供的IP地址、第三方ID、cookie值、IDFA(Identifier ForAdvertising，跟device相关的唯一标识符，可以用来打通不同app之间的广告)、IMEI(International Mobile Equipment Identity，苹果公司IOS系统专用的国际移动设备识别码)、AndroidID(系统会随机生成一个64位的数字，并把这个数字以16进制字符串的形式保存下来)、MAC地址(Media Access Control即硬件物理地址)，将其按照第三方互联网服务商进行分类且转化为用户标识对。

步骤S2中，标识符合并的方法为：在某一家服务商提供过来的一批数据请求中，某个请求包含了某个网络访客的第三方ID、IP地址、cookie值，将其拼接成用户标识对{第三方ID、cookie}。同时在全局统一标识符库中已经有一条记录为A＝{第三方ID、IDFA}。若上述两个标识对中的第三方ID相同，则判断为同一访客信息，该用户标识对可以与A的记录进行合并，更新为A＝{第三方ID、IDFA、cookie}。

通过采用上述方案，本发明的一种互联网全局统一标识符生成系统及其生成方法与现有技术相比，其技术效果在于：

1、本发明相比现有技术，其体量更大、数据精度更高、数据生命周期更长、数据开放度更大。

2、本发明能够在原始数据的基础上进行跨屏跨平台的数据联纵以及信息更新，突破了现有技术时效短、联屏效果低、平台联通率低的瓶颈，打造了更有效更可靠的数据库。

3、本发明使用全局统一标识符，不仅可以解决PC端Cookie各浏览器之间的屏障，又可以解决其时效短的问题，即使Cookie有变化，也可以通过其他共有特征进行AdsameID自更新，以延长其数据的时效性。并且也可以基于全局统一标识符，打通各第三方互联网服务提供商数据之间的壁垒，为他们提供更加完整的访客识别信息。同时也可以有效地跨屏控制广告的曝光次数，提升了访客的浏览体验。

附图说明

图1为本发明一种互联网全局统一标识符生成方法的标识符生成流程图；

图2为本发明一种互联网全局统一标识符生成系统的系统模块示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实例并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明主要基于我方与各家第三方互联网服务提供商的商务合作，通过第三方互联网服务提供商提供的公开接口，在保留互联网用户在实际网络行为中的匿名性的前提下，通过前述的Cookie、移动设备ID、第三方提供的用户标识等各种公认的统一标识方式，建立生命周期更长且跨屏跨平台的全局统一标识符数据库，有效地解决了现有同类产品在数据公开性、数据有效性及数据稳定性方面的问题。

本发明一种互联网全局统一标识符生成系统，其模块图如图2所示，其主要分为三个模块：

用户身份标识采集模块：由传漾DSP(Demand-Side Platform，需求方平台)中的Bidder(实时出价)、Winnotice(赢价信息)、Click(点击)服务进行实时数据收集，经过Collector(原数据采集端)导入Kafka(原数据处理模块)实现数据落地并生成打印相关日志。

全局统一ID分配模块：从Kafka中获取数据通过Uniform Manager Serve(核心运算器)进行新增分配和合并信息之后，按照规定的数据结构导入Vedis Cluster(核心数据库)，同时针对统一ID的生命周期分三个数据区块，进行维护更新。

应用层模块：通过Uniform Client(应用接口)将相关数据开放给传漾各个互联网业务产品使用。

本发明互联网全局统一标识符生成流程如图1所示：

首先，通过第三方的请求数据流采集用户标识数据并生成标志对：通过第三方互联网服务提供商提供的接口，获取到大量的原始数据，其中会包含各个互联网服务商提供的IP地址、第三方ID、cookie值、IDFA、IMEI、AndroidID、MAC。将其按照第三方互联网服务商进行分类且转化为用户标识对。

其次，根据共现过相同特征的全局统一标识符进行合并：例如在某一家服务商提供过来的一批数据请求中，某个请求包含了某个网络访客的第三方ID、IP地址、cookie值，则会将其拼接成用户标识对{第三方ID、cookie}。同时在全局统一标识符库中已经有一条记录为A＝{第三方ID、IDFA}。若标识对中的第三方ID相同，则判断为同一访客信息，该用户标识对可以与A的记录进行合并，更新为A＝{第三方ID、IDFA、cookie}。若在库中无法找到任何一条已有的记录，则对这条标识对分配一个新的全局统一标识，并保留其关系组。

最后，将会根据AdsameID的更新时间进行定期清理，以尽量保留活跃度更高、数据更齐全、跨屏跨平台延伸性更强的访客信息。

本发明的工作原理主要是：基于与我方合作的各家互联网服务提供商提供的第三方数据并基于长年的运营经验及数据积累，通过互联网访客相对稳定的共有特征，进行相对准确的访客识别。从而能够在原始数据的基础上进行跨屏跨平台的数据联纵以及信息更新，突破了现有技术时效短、联屏效果低、平台联通率低的瓶颈，打造更有效更可靠的数据库。

本发明使用全局统一标识符，不仅可以解决PC端Cookie各浏览器之间的屏障，又可以解决其时效短的问题，即使Cookie有变化，也可以通过其他共有特征进行AdsameID自更新，以延长其数据的时效性。并且也可以基于全局统一标识符，打通各第三方互联网服务提供商数据之间的壁垒，为他们提供更加完整的访客识别信息。同时也可以有效地跨屏控制广告的曝光次数，提升访客的浏览体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、均包含在本发明的保护范围之内。

Claims (6)

1.一种互联网全局统一标识符生成系统，其特征在于，其包括用户身份标识采集模块、全局统一ID分配模块、应用层模块；其中，所述用户身份标识采集模块包括依次相连的需方平台数据服务模块、源数据采集模块和源数据处理模块，所述源数据采集模块实时收集需方平台数据服务模块中的实时数据，并将数据导入源数据处理模块，实现数据落地并生成打印相关日志；所述全局统一ID分配模块中包含有核心运算模块、核心数据库和有效性及生命周期管理模块，核心运算模块用于将从原数据处理模块中获取的数据行新增分配和合并信息，按照规定的数据结构导入核心数据库，所述有效性及生命周期管理模块针对统一ID的生命周期分多个数据区块进行维护更新；所述应用层模块包括应用接口端，用于通过应用接口端将相关数据开放给各互联网业务产品使用。

2.根据权利要求1所述的一种互联网全局统一标识符生成系统，其特征在于，所述源数据采集模块是通过需方平台数据服务模块的实时出价、赢价信息和点击来实时收集数据。

3.根据权利要求1所述的一种互联网全局统一标识符生成系统，其特征在于，所述全局统一ID分配模块针对统一ID的生命周期进行分三个数据区块进行维护更新。

4.一种互联网全局统一标识符生成方法，其特征在于，其包括以下步骤：

S1、首先通过第三方的请求数据流采集用户标识数据，并生成标志对；

S2、根据共现过相同特征的全局统一标识符进行合并；若在库中无法找到任何一条已有的记录，则对这条标识对分配一个新的全局统一标识，并保留其关系组；

S3、根据相同特征的全局统一标识符的更新时间进行定期清理，保留活跃度更高、数据更齐全、跨屏跨平台延伸性更强的访客信息。

5.根据权利要求4所述的一种互联网全局统一标识符生成系统的工作方法，其特征在于，步骤S1中，通过第三方互联网服务提供商提供的接口，获取到大量的原始数据；所述接口包含各个互联网服务商提供的IP地址、第三方ID、cookie值、IDFA、IMEI、AndroidID、MAC，将其按照第三方互联网服务商进行分类且转化为用户标识对。

6.根据权利要求4所述的一种互联网全局统一标识符生成系统的工作方法，其特征在于，步骤S2中，对全局统一标识符进行合并的方法为：在某一家服务商提供过来的一批数据请求中，某个请求包含了某个网络访客的第三方ID、IP地址、cookie值，将其拼接成用户标识对{第三方ID、cookie}；同时如在全局统一标识符库中已经有一条记录为A＝{第三方ID、IDFA}，若上述两个标识对中的第三方ID相同，则判断为同一访客信息，该用户标识对可以与A的记录进行合并，更新为A＝{第三方ID、IDFA、cookie}。

Images