CN112463065A - 一种账号打通的计算方法及系统 - Google Patents
一种账号打通的计算方法及系统 Download PDFInfo
- Publication number
- CN112463065A CN112463065A CN202011433284.5A CN202011433284A CN112463065A CN 112463065 A CN112463065 A CN 112463065A CN 202011433284 A CN202011433284 A CN 202011433284A CN 112463065 A CN112463065 A CN 112463065A
- Authority
- CN
- China
- Prior art keywords
- vertex
- super
- data
- external data
- idpairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 44
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 13
- 238000007405 data analysis Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种账号打通的计算方法及系统。账号打通的计算方法包括：数据提供步骤：上游提供外部数据；预处理步骤：对外部数据进行预处理；迭代步骤：预处理后的外部数据的Vertex的SuperID进行迭代；选举步骤：根据选举规则，选举出迭代中Vertex的SuperID；判断步骤:当所述Vertex的SuperID都达到收敛状态时，达到收敛状态的Vertex的SuperID存储到HDFS存储中。本发明提高了企业针对用户做数据分析和广告投放的精准性，节约了企业存储用户属性及行为数据的存储空间，最终提高了企业数据分析与决策的速度。
Description
技术领域
本申请涉及通信技术领域，尤其涉及一种账号打通的计算方法及系统。
背景技术
随着“新零售”的不断发展，企业的会员账户来源已经不限于单一的数据来源。在实际情况下，介于线下和线上或不同线上平台系统的独立性，同一个用户在不同系统记录的会员账户ID可能是不同的。在这种情况下对于企业的营销数据平台和广告数据平台来说，同一个用户会被识别成多个用户，不但造成数据的冗余，而且降低数据平台分析结果的准确性和可用性。现有技术方案一使用图数据库存储所有从上游系统的IDPairs对，同时使用图数据库的计算引擎将两两关联的ID转成全关联的图数据结构存储。然后使用特定领域的图数据库语言计算出图数据库中所有关联的ID的唯一标示，并将此标志作为所有系统端来源的ID的SuperID。方案一可解决上述问题，但此方案依赖于图数据库的固有数据结构，对于上游数据的ETL要求比较高；对于大量的IDPairs对关系的迭代计算，市面上的图数据库单点计算引擎的可靠性较低；图数据库的分布式存储依赖于有限的第三方存储，兼容度比较低。基于方案一的所存在的问题，方案二使用Flink的Gelly引擎计算所有的IDpairs对，只要有过绑定关系的ID就视为同属于一个SuperID的集合，同时利用所有来源端得ID都在自己所在系统的唯一性，再利用统一的选举规则，从每一个SuperID集合中每个ID中选举出一个唯一的一个IDValue作为SuperID。此方案虽弥补了方案一的不足，但是简单的将所有有过绑定关系的ID都作为同一用户，准确性较低，影响下游数据的使用；错误的绑定会导致某一个SuperID集合过大，引发计算的失败，影响计算的稳定性。
因此，针对以上现状，本发明提出一种账号打通的计算方法及系统，将多系统来源的两两账户映射关系计算生成一个SuperID，来代表所有系统端来源的ID为同一用户账号，通过计算SuperID来进行账号打通，降低了用户数据存储的冗余，使用IDType的优先级和绑定关系的时间先后作为计算SuperID的计算规则，以及使用Flink作为计算引擎，减少了将不同自然人绑定为同一用户的错误率，提高了企业数据分析与决策的准确性的同时水平扩展性高，容错率高，节约了企业存储用户属性及行为数据的存储空间，最终提高了企业数据分析与决策的速度。
发明内容
本申请实施例提供了一种账号打通的计算方法及系统，以至少解决相关技术中主观因素影响的问题。
本发明提供了一种账号打通的计算方法，包括：
数据提供步骤：上游提供外部数据；
预处理步骤：对所述外部数据进行预处理；
迭代步骤：预处理后的所述外部数据的Vertex的SuperID进行迭代；
选举步骤：根据选举规则，选举出迭代中所述Vertex的SuperID；
判断步骤:当所述Vertex的所述SuperID都达到收敛状态时，达到收敛状态的Vertex的SuperID存储到HDFS存储中。
上述的账号打通的计算方法，所述数据提供步骤包括，上游提供外部数据，所述外部数据包括IDPairs对、解绑IDPairs对、IDType优先级、黑名单。
上述的账号打通的计算方法，所述预处理步骤包括，对所述IDPairs对进行预处理，所述预处理包括过滤黑名单ID、对所述解绑IDPairs对的信息进行标记及将所述IDPairs对转换成数据结构。
上述的账号打通的计算方法，所述迭代步骤包括，将所述外部数据的所述Vertex作为计算的中心，找出Edge中与其相连的点，并将所述点的SuperID作为消息发给所述Vertex，迭代器迭代所述Vertex的所述SuperID直到所述SuperID不再更新为止。
上述的账号打通的计算方法，所述选举步骤包括，以所述Vertex的所述SuperID作为数据输入，根据来源消息的IDType优先级及与所述Vertex相连的Edge时间作为所述选举规则，选举出迭代中所述Vertex的SuperID。
上述的账号打通的计算方法，所述判断步骤包括，当所述Vertex的所述SuperID都达到收敛状态时，达到收敛状态的Vertex的SuperID存储到HDFS存储中。
本发明还提供一种账号打通的计算系统，其特征在于，适用于上述所述的一种账号打通的计算方法，包括：
数据提供单元：上游提供外部数据；
预处理单元：对所述外部数据进行预处理；
迭代单元：预处理后的所述外部数据的Vertex的SuperID进行迭代；
选举单元：根据选举规则，选举出迭代中所述Vertex的SuperID；
判断单元:当所有Vertex达到收敛状态时，达到收敛状态的所述Vertex的SuperID存储到HDFS存储中。
上述的账号打通的计算系统，所述数据提供单元包括，上游提供外部数据，所述外部数据包括IDPairs对、解绑IDPairs对、IDType优先级、黑名单。
上述的账号打通的计算系统，所述预处理单元包括，对所述IDPairs对进行预处理，所述预处理包括过滤黑名单ID、对所述解绑IDPairs对的信息进行标记及将所述IDPairs对转换成数据结构。
上述的账号打通的计算系统，所述迭代单元包括，将所述外部数据的所述Vertex作为计算的中心，找出Edge中与其相连的点，并将所述点的SuperID作为消息发给所述Vertex，迭代器迭代所述Vertex的所述SuperID直到所述SuperID不再更新为止。
上述的账号打通的计算系统，所述选举单元包括，以所述Vertex的所述SuperID作为数据输入，根据来源消息的IDType优先级及与所述Vertex相连的Edge时间作为所述选举规则，选举出迭代中所述Vertex的SuperID。
上述的账号打通的计算系统，所述判断单元包括，当所述Vertex的所述SuperID都达到收敛状态时，达到收敛状态的Vertex的SuperID存储到HDFS存储中。
相比于相关技术，本发明提出一种账号打通的计算方法及系统，将多系统来源的两两账户映射关系计算生成一个SuperID，来代表所有系统端来源的ID为同一用户账号，通过计算SuperID来进行账号打通，降低了用户数据存储的冗余，使用IDType的优先级和绑定关系的时间先后作为计算SuperID的计算规则，以及使用Flink作为计算引擎，减少了将不同自然人绑定为同一用户的错误率，提高了企业数据分析与决策的准确性的同时水平扩展性高，容错率高，节约了企业存储用户属性及行为数据的存储空间，最终提高了企业数据分析与决策的速度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种账号打通的计算方法框架图；
图2是根据本申请实施例的IDPairs对数据结构图；
图3是根据本申请实施例的预处理步骤框架图；
图4是根据本申请实施例的迭代步骤框架图；
图5是根据本申请实施例的选举步骤框架图；
图6是根据本申请实施例的判断步骤框架图；
图7是根据本申请实施例的一种账号打通的计算方法流程图；
图8为本发明的一种账号打通的计算系统的结构示意图；
图9是根据本申请实施例的电子设备的框架图。
其中，附图标记为：
数据提供单元：61；
预处理单元：62；
迭代单元：63；
选举单元：64；
判断单元:65；
81：处理器；
82：存储器；
83：通信接口；
80：总线。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本发明基于大数据同一用户多端来源账号打通的计算，下面进行简要的介绍。
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。Flink程序在执行后被映射到流数据流，每个Flink数据流以一个或多个源(数据输入，例如消息队列或文件系统)开始，并以一个或多个接收器(数据输出，如消息队列、文件系统或数据库等)结束。Flink可以对流执行任意数量的变换，这些流可以被编排为有向无环数据流图，允许应用程序分支和合并数据流。Flink检查点和容错：检查点是应用程序状态和源流中位置的自动异步快照。在发生故障的情况下，启用了检查点的Flink程序将在恢复时从上一个完成的检查点恢复处理，确保Flink在应用程序中保持一次性(exactly-once)状态语义。检查点机制暴露应用程序代码的接口，以便将外部系统包括在检查点机制中(如打开和提交数据库系统的事务)。Flink保存点的机制是一种手动触发的检查点。用户可以生成保存点，停止正在运行的Flink程序，然后从流中的相同应用程序状态和位置恢复程序。保存点可以在不丢失应用程序状态的情况下对Flink程序或Flink群集进行更新。
ID指在不同系统中标示用户账号的唯一标示；IDPairs：基于上游系统给到的认为两两原始ID能够关联在一起的“ID匹配集合”，称之为一个IDPairs对；SuperID：基于单个或多个绑定关系，处理后，为单个原始ID分配的可以体现多个不同原始ID关联的统一标识。基于该标识，可以找到一个自然人的所有原始ID；IDType：ID类型，原始ID的分类，例如手机号、OPENID、IDFA、Cookie、微博ID等；IDValue：ID值，实际原始ID对应的值；IDType优先级：用户账号ID的类型的权重，权重越大代表优先级越高，例如身份证号是每一个自然人的唯一标示，其权重最高，即代表用户账户ID注册以身份证号注册的IDType优先级最高。所谓IDPairs对，就是多种ID能够关联到一起的集合。例如，用户在进行微信注册的时候，往往会填写手机号，此时，上游系统就有能力将微信号与手机号进行绑定。形成如下标准格式：
{"source":"register","time":"2019-01-01","status":"active","binding":[{"idType":"mobile_no","idValue":["138xxxx9237"]},{"idType":"open_id","idValue":["OPjxikdil02931"]},"ts":"1591428266000"]}。解绑IDPairs对，就是两个ID已经进行错误的绑定，从而需要解绑的IDPair对，标准格式如下：
{"unbinding":[{"idType":"mobile_no","idValue":["138xxxx9237"]},{"idType":"open_id","idValue":["OPjxikdil02931"]},"ts":"1591428266010"]}。IDType优先级就是用户账号ID的类型的权重，权重越大代表优先级越高，同时也表明此IDType的ID越能代表一个自然人的唯一标示。例如身份证号是每一个自然人的唯一标示，其权重最高，即代表用户账户ID注册以身份证号注册的IDType优先级最高。标准格式如下：{"priority":{"mobile_no":0,”openid”:1,”mac”:2}}。黑名单就是那些多种问题导致的异常的ID，这些异常的ID和正常的ID绑定，将影响SuperID的计算结果。例如客服电话和空值就是典型的异常ID。标准格式如下：{"blacklist":{"idtype":"mobile_no”,"idt":"10xx86”}}
本发明提出一种账号打通的计算方法及系统，将多系统来源的两两账户映射关系计算生成一个SuperID，来代表所有系统端来源的ID为同一用户账号，通过计算SuperID来进行账号打通，降低了用户数据存储的冗余，使用IDType的优先级和绑定关系的时间先后作为计算SuperID的计算规则，以及使用Flink作为计算引擎，减少了将不同自然人绑定为同一用户的错误率，提高了企业数据分析与决策的准确性的同时水平扩展性高，容错率高，节约了企业存储用户属性及行为数据的存储空间，最终提高了企业数据分析与决策的速度。
下面将以账号打通的计算方法为例对本申请实施例进行说明。
实施例一
本实施例提供了一种账号打通的计算方法。请参照图1-图7，图1是根据本申请实施例的一种账号打通的计算方法框架图；图2是根据本申请实施例的IDPairs对数据结构图；图3是根据本申请实施例的预处理步骤框架图；图4是根据本申请实施例的迭代步骤框架图；图5是根据本申请实施例的选举步骤框架图；图6是根据本申请实施例的判断步骤框架图；图7是根据本申请实施例的一种账号打通的计算方法流程图,如图所示，账号打通的计算方法包括如下步骤：
数据提供步骤S1：上游提供外部数据；
预处理步骤S2：对所述外部数据进行预处理；
迭代步骤S3：预处理后的所述外部数据的Vertex的SuperID进行迭代；
选举步骤S4：根据选举规则，选举出迭代中所述Vertex的SuperID；
判断步骤S5:当所述Vertex的所述SuperID都达到收敛状态时，达到收敛状态的Vertex的SuperID存储到HDFS存储中。
实施例中，所述数据提供步骤S1包括，上游提供外部数据，所述外部数据包括IDPairs对、解绑IDPairs对、IDType优先级、黑名单。
实施例中，所述预处理步骤S2包括，对所述IDPairs对进行预处理，所述预处理包括过滤黑名单ID、对所述解绑IDPairs对的信息进行标记及将所述IDPairs对转换成数据结构。
具体的说，图2是标准的IDPairs解析后的单个关系的数据结构，在进入SuperID计算时，所有的IDPairs都可以转化成上图的两两相连的图。矩形图内文字是一个ID的完整描述，冒号左边是IDType，右边是ID值，两个矩形间连线的“2019-06-11 20:06:07”代表两个ID绑定的时间。图3是将两两相连的IDPairs对解析成相互关联的完整的数据结构，是进入计算引擎的实际数据结构，此时相连的边时没有方向的。
实施例中，所述迭代步骤S3包括，将所述外部数据的所述Vertex作为计算的中心，找出Edge中与其相连的点，并将所述点的SuperID作为消息发给所述Vertex，迭代器迭代所述Vertex的所述SuperID直到所述SuperID不再更新为止。
具体的说，迭代步骤S3中输入的IDType优先级是：mobile>mac>openid。此时ID相连的边有了方向，由高优先级的IDType指向低优先级的IDType，图4是此时输入IDType优先级后进入计算引擎迭代器的实际数据结构。
实施例中，所述选举步骤S4包括，以所述Vertex的所述SuperID作为数据输入，根据来源消息的IDType优先级及与所述Vertex相连的Edge时间作为所述选举规则，选举出迭代中所述Vertex的SuperID。
具体的说，所述选举步骤S4中SuperID在选举器中按照如下规则进行计算：每个ID只能至多直接绑定一个高优先级ID，即多个高级ID不会因为关联同一个低级ID而关联,且每个ID不能直接绑定同一优先级ID；当一个ID拥有多个高优先级绑定关系，按以下优先级取唯一有效绑定关系：取相对高优先级ID与该ID的绑定关系；如果存在多个相对高优先级ID与该ID的绑定关系，取绑定时间最新的记录。此时数据结构如图5所示，打叉的绑定关系根据规则将被抛弃。
实施例中，所述判断步骤S5包括，当所述Vertex的所述SuperID都达到收敛状态时，达到收敛状态的Vertex的SuperID存储到HDFS存储中。
具体的说，判断步骤S5，最终SuperID计算完成后，此时的账号打通关系如图6所示，superid01，superid02，superid03是计算出代表同一用户的唯一标示。
由此，本发明提出一种账号打通的计算方法及系统，将多系统来源的两两账户映射关系计算生成一个SuperID，来代表所有系统端来源的ID为同一用户账号，通过计算SuperID来进行账号打通，降低了用户数据存储的冗余，使用IDType的优先级和绑定关系的时间先后作为计算SuperID的计算规则，以及使用Flink作为计算引擎，减少了将不同自然人绑定为同一用户的错误率，提高了企业数据分析与决策的准确性的同时水平扩展性高，容错率高，节约了企业存储用户属性及行为数据的存储空间，最终提高了企业数据分析与决策的速度。
实施例二
请参照图8，图8为本发明的一种账号打通的计算系统的结构示意图。如图8所示，发明的一种账号打通的计算系统，适用于上述的账号打通的计算方法，账号打通的计算系统包括：
数据提供单元61：上游提供外部数据；
预处理单元62：对所述外部数据进行预处理；
迭代单元63：预处理后的所述外部数据的Vertex的SuperID进行迭代；
选举单元64：根据选举规则，选举出迭代中所述Vertex的SuperID；
判断单元65:当所有Vertex达到收敛状态时，达到收敛状态的所述Vertex的SuperID存储到HDFS存储中。
在本实施例中，所述数据提供单元61包括，上游提供外部数据，所述外部数据包括IDPairs对、解绑IDPairs对、IDType优先级、黑名单。
在本实施例中，所述预处理单元62包括，对所述IDPairs对进行预处理，所述预处理包括过滤黑名单ID、对所述解绑IDPairs对的信息进行标记及将所述IDPairs对转换成数据结构。
在本实施例中，所述迭代单元63包括，将所述外部数据的所述Vertex作为计算的中心，找出Edge中与其相连的点，并将所述点的SuperID作为消息发给所述Vertex，迭代器迭代所述Vertex的所述SuperID直到所述SuperID不再更新为止。
在本实施例中，所述选举单元64包括，以所述Vertex的所述SuperID作为数据输入，根据来源消息的IDType优先级及与所述Vertex相连的Edge时间作为所述选举规则，选举出迭代中所述Vertex的SuperID。
进一步地，所述判断单元65包括，当所述Vertex的所述SuperID都达到收敛状态时，达到收敛状态的Vertex的SuperID存储到HDFS存储中。
实施例三
结合图9所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为FPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EFPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种账号打通的计算方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图9所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
电子设备可连接账号打通的计算系统，从而实现结合图1-图7描述的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种账号打通的计算方法，其特征在于，所述计算方法包括：
数据提供步骤：上游提供外部数据；
预处理步骤：对所述外部数据进行预处理；
迭代步骤：预处理后的所述外部数据的Vertex的Super ID进行迭代；
选举步骤：根据选举规则，选举出迭代中所述Vertex的Super ID；
判断步骤:当所述Vertex的所述Super ID都达到收敛状态时，达到收敛状态的Vertex的Super ID存储到HDFS存储中。
2.根据权利要求1所述的账号打通的计算方法，其特征在于，所述数据提供步骤包括，上游提供外部数据，所述外部数据包括IDPairs对、解绑IDPairs对、IDType优先级、黑名单。
3.根据权利要求2所述的账号打通的计算方法，其特征在于，所述预处理步骤包括，对所述IDPairs对进行预处理，所述预处理包括过滤黑名单ID、对所述解绑IDPairs对的信息进行标记及将所述IDPairs对转换成数据结构。
4.根据权利要求1所述的账号打通的计算方法，其特征在于，所述迭代步骤包括，将所述外部数据的所述Vertex作为计算的中心，找出Edge中与其相连的点，并将所述点的SuperID作为消息发给所述Vertex，迭代器迭代所述Vertex的所述Super ID直到所述Super ID不再更新为止。
5.根据权利要求4所述的账号打通的计算方法，其特征在于，所述选举步骤包括，以所述Vertex的所述Super ID作为数据输入，根据来源消息的IDType优先级及与所述Vertex相连的Edge时间作为所述选举规则，选举出迭代中所述Vertex的Super ID。
6.根据权利要求1所述的账号打通的计算方法，其特征在于，所述判断步骤包括，当所述Vertex的所述Super ID都达到收敛状态时，达到收敛状态的Vertex的Super ID存储到HDFS存储中。
7.一种账号打通的计算系统，其特征在于，适用于上述权利要求1-6所述的一种账号打通的计算方法，包括：
数据提供单元：上游提供外部数据；
预处理单元：对所述外部数据进行预处理；
迭代单元：预处理后的所述外部数据的Vertex的Super ID进行迭代；
选举单元：根据选举规则，选举出迭代中所述Vertex的Super ID；
判断单元:当所有Vertex达到收敛状态时，达到收敛状态的所述Vertex的Super ID存储到HDFS存储中。
8.根据权利要求7所述的账号打通的计算系统，其特征在于，所述数据提供单元包括，上游提供外部数据，所述外部数据包括IDPairs对、解绑IDPairs对、IDType优先级、黑名单。
9.根据权利要求8所述的账号打通的计算系统，其特征在于，所述预处理单元包括，对所述IDPairs对进行预处理，所述预处理包括过滤黑名单ID、对所述解绑IDPairs对的信息进行标记及将所述IDPair s对转换成数据结构。
10.根据权利要求9所述的账号打通的计算系统，其特征在于，所述迭代单元包括，将所述外部数据的所述Vertex作为计算的中心，找出Edge中与其相连的点，并将所述点的SuperID作为消息发给所述Vertex，迭代器迭代所述Vertex的所述Super ID直到所述Super ID不再更新为止；所述选举单元包括，以所述Vertex的所述Super ID作为数据输入，根据来源消息的IDType优先级及与所述Vertex相连的Edge时间作为所述选举规则，选举出迭代中所述Vertex的Super ID；所述判断单元包括，当所述Vertex的所述Super ID都达到收敛状态时，达到收敛状态的Vertex的Super ID存储到HDFS存储中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011433284.5A CN112463065A (zh) | 2020-12-10 | 2020-12-10 | 一种账号打通的计算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011433284.5A CN112463065A (zh) | 2020-12-10 | 2020-12-10 | 一种账号打通的计算方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112463065A true CN112463065A (zh) | 2021-03-09 |
Family
ID=74801068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011433284.5A Pending CN112463065A (zh) | 2020-12-10 | 2020-12-10 | 一种账号打通的计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112463065A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268233A (zh) * | 2013-06-05 | 2013-08-28 | 四目信息科技（上海）有限公司 | 计算机系统中平台系统帐号和第三方系统帐号合并的方法 |
| US20140201048A1 (en) * | 2013-01-11 | 2014-07-17 | Alibaba Group Holding Limited | Method and apparatus of identifying a website user |
| US20150215738A1 (en) * | 2009-07-08 | 2015-07-30 | Dejero Labs Inc. | System and method for providing data services on vehicles |
| CN104952032A (zh) * | 2015-06-19 | 2015-09-30 | 清华大学 | 图的处理方法、装置以及栅格化表示及存储方法 |
| CN105912663A (zh) * | 2016-04-12 | 2016-08-31 | 宁波极动精准广告传媒有限公司 | 一种基于大数据的用户标签合并方法 |
| CN107124426A (zh) * | 2017-05-26 | 2017-09-01 | 北京微影时代科技有限公司 | 一种用户权益的鉴权方法及装置 |
| CN109254982A (zh) * | 2018-08-31 | 2019-01-22 | 杭州安恒信息技术股份有限公司 | 一种流数据处理方法、系统、装置及计算机可读存储介质 |
| CN109741173A (zh) * | 2018-12-27 | 2019-05-10 | 深圳前海微众银行股份有限公司 | 可疑洗钱团伙的识别方法、装置、设备及计算机存储介质 |
| CN110688055A (zh) * | 2018-07-04 | 2020-01-14 | 清华大学 | 一种大图计算中数据访问方法及系统 |
| CN110929105A (zh) * | 2019-11-28 | 2020-03-27 | 杭州云徙科技有限公司 | 一种基于大数据技术的用户id关联方法 |
-
2020
- 2020-12-10 CN CN202011433284.5A patent/CN112463065A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150215738A1 (en) * | 2009-07-08 | 2015-07-30 | Dejero Labs Inc. | System and method for providing data services on vehicles |
| US20140201048A1 (en) * | 2013-01-11 | 2014-07-17 | Alibaba Group Holding Limited | Method and apparatus of identifying a website user |
| CN103268233A (zh) * | 2013-06-05 | 2013-08-28 | 四目信息科技（上海）有限公司 | 计算机系统中平台系统帐号和第三方系统帐号合并的方法 |
| CN104952032A (zh) * | 2015-06-19 | 2015-09-30 | 清华大学 | 图的处理方法、装置以及栅格化表示及存储方法 |
| CN105912663A (zh) * | 2016-04-12 | 2016-08-31 | 宁波极动精准广告传媒有限公司 | 一种基于大数据的用户标签合并方法 |
| CN107124426A (zh) * | 2017-05-26 | 2017-09-01 | 北京微影时代科技有限公司 | 一种用户权益的鉴权方法及装置 |
| CN110688055A (zh) * | 2018-07-04 | 2020-01-14 | 清华大学 | 一种大图计算中数据访问方法及系统 |
| CN109254982A (zh) * | 2018-08-31 | 2019-01-22 | 杭州安恒信息技术股份有限公司 | 一种流数据处理方法、系统、装置及计算机可读存储介质 |
| CN109741173A (zh) * | 2018-12-27 | 2019-05-10 | 深圳前海微众银行股份有限公司 | 可疑洗钱团伙的识别方法、装置、设备及计算机存储介质 |
| CN110929105A (zh) * | 2019-11-28 | 2020-03-27 | 杭州云徙科技有限公司 | 一种基于大数据技术的用户id关联方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107040585B (zh) | 一种业务校验的方法及装置 | |
| CN108846749B (zh) | 一种基于区块链技术的分片化的交易执行系统及方法 | |
| WO2019199768A1 (en) | Fork-tolerant consensus protocol | |
| CN113051345A (zh) | 基于云计算和大数据的信息推送方法、系统及金融服务器 | |
| CN109145051A (zh) | 分布式数据库的数据汇总方法及装置和电子设备 | |
| CN113326165B (zh) | 基于区块链的数据处理方法、设备及计算机可读存储介质 | |
| WO2021051782A1 (zh) | 区块链的共识方法、装置及设备 | |
| US20200394448A1 (en) | Methods for more effectively moderating one or more images and devices thereof | |
| CN109191287A (zh) | 一种区块链智能合约的分片方法、装置及电子设备 | |
| CN112187890A (zh) | 基于云计算和大数据的信息分发方法及区块链金融云中心 | |
| CN113435862A (zh) | 基于邮箱的票据处理方法及装置 | |
| CN110737425B (zh) | 一种计费平台系统的应用程序的建立方法及装置 | |
| US20220171749A1 (en) | System and Process for Data Enrichment | |
| CN112286968A (zh) | 一种业务识别方法、设备、介质及电子设备 | |
| CN112463065A (zh) | 一种账号打通的计算方法及系统 | |
| CN108768742B (zh) | 网络构建方法及装置、电子设备、存储介质 | |
| CN109039695B (zh) | 业务故障处理方法、装置及设备 | |
| CN110968411A (zh) | 定时任务调度方法、装置、服务器及存储介质 | |
| US9563845B1 (en) | Rule evaluation based on precomputed results | |
| CN114218303B (zh) | 一种交易数据的处理系统、处理方法、介质和设备 | |
| CN113326172B (zh) | 一种运维知识的处理方法、装置及设备 | |
| CN112350856B (zh) | 分布式服务签退方法及设备 | |
| US20220309084A1 (en) | Record matching in a database system | |
| CN110941719B (zh) | 数据分类方法、测试方法、装置及存储介质 | |
| CN112184464A (zh) | 信息验证方法及装置、计算机存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |