CN108427956A - 一种对象聚类方法和装置 - Google Patents
一种对象聚类方法和装置 Download PDFInfo
- Publication number
- CN108427956A CN108427956A CN201710078997.6A CN201710078997A CN108427956A CN 108427956 A CN108427956 A CN 108427956A CN 201710078997 A CN201710078997 A CN 201710078997A CN 108427956 A CN108427956 A CN 108427956A
- Authority
- CN
- China
- Prior art keywords
- node
- target
- degree
- affiliated partner
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013481 data capture Methods 0.000 claims description 7
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000011221 initial treatment Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90324—Query formulation using system suggestions
- G06F16/90328—Query formulation using system suggestions using search space presentation or visualization, e.g. category or range presentation and selection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Discrete Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种对象聚类方法和装置,该方案中,针对多个待聚类的目标对象构建有向网络图,并基于任意两个目标对象之间关联的关联对象的相似程度,确定出有向网络图表征所述两个目标对象的两个节点之间有向边的权重;且为每个节点分配唯一的类别标识;依次将每个节点作为目标节点,将目标节点的类别标识更新为该目标节点对应的多个入度节点组中,指向该目标节点的有向边的总权重最大的目标入度节点组的类别标识,直至所有节点的类别标识均不再发生变化,得到多个类别标识表示的多个聚类类别。本申请的方案可以提高对象聚类的精准度。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种对象聚类方法和装置。
背景技术
随着互联网技术的不断发展,网络中的信息量日益增多。为了能够有效利用网络信息,很多情况下,需要对网络信息中所包含同种对象进行聚类。如,同一网络用户可能会使用多个不同的用户设备来进行网络访问,例如,用户可以利用自己或家人的手机或者其他终端设备来登录即时通讯系统或者论坛等等,而为了防御恶意访问或者是有针对性的对用户提供服务,就可能需要确定出哪些用户设备是由同一个用户经常使用的,从而需要对用户设备进行聚类。
然而,针对网络中的一种目标对象进行聚类时,仅仅是根据目标对象关联的关联对象的标识,将关联有相同关联对象的标识的目标对象聚类到一起,如,如果多个用户设备访问网络系统时,所采用的用户账号相同,则认为该多个用户设备为同一个用户经常使用的,将这多个用户设备聚类到一起。根据目标对象关联的关联对象的标识,对目标对象进行聚类,使得目标对象聚类出的类别较多,不能将关联性较强的目标对象聚类到一起,导致聚类的精准度低。
发明内容
有鉴于此,本申请提供了一种对象聚类方法和装置,以最大程度的挖掘待聚类的目标对象之间的关联度,提高聚类的精准度。
为实现上述目的,一方面,本申请提供了一种对象聚类方法,包括:
获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象;
基于任意两个目标对象之间关联的关联对象的相似程度,确定待构建的有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,并构建所述有向网络图;
为所述有向网络图中的每个节点分别分配唯一的类别标识;
依次将每个所述节点作为当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,其中,所述入度节点组包括有向边指向所述目标节点且具有相同类别标识的至少一个入度节点;
将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
另一方面,本申请实施例还提供了一种对象聚类装置,包括:
数据获取单元,用于获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象;
有向图构建单元,用于基于任意两个目标对象之间关联的关联对象的相似程度,确定待构建的有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,并构建所述有向网络图;
类别初始化单元,用于为所述有向网络图中的每个节点分别分配唯一的类别标识;
聚类分析单元,用于依次将每个所述节点作为当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,其中,所述入度节点组包括有向边指向所述目标节点且具有相同类别标识的至少一个入度节点;
类别提取单元,用于将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
由以上内容可知,在本申请实施例中,根据待聚类的任意两个目标对象之间的所关联的关联对象的相似程度,确定出待构建的有向网络图中表示这两个目标对象的目标节点之间有向边的权重,并构建出有向网络图之后,基于有向网络图中各个节点之间有向边的权重,对有向网络图中不同节点进行类别聚类,从而有利于从全局角度挖掘目标对象之间的相似程度,并对目标对象进行聚类,进而可以有效提高目标对象聚类的精准度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开一种对象聚类方法所适用的一种计算机设备的一种可能的组成架构示意图;
图2为本申请实施例公开的一种对象聚类方法所适合的一种系统组成架构示意图;
图3为本申请公开的一种对象聚类方法一个实施例的流程示意图;
图4为本申请公开的一种对象聚类方法又一个实施例的流程示意图;
图5a示出了本申请实施例构建出的一种有向网络图的部分组成结构示意图;
图5b示出了利用权重最大的入度边对应的入度节点的社区标识对图5a所示的有向网络图中一个节点的社区标识进行更新之后的有向网络图的示意图;
图6示出了本申请公开的一种对象聚类方法又一个实施例的流程示意图;
图7示出了本申请公开的一种对象聚类装置一个实施例的组成结构示意图。
具体实施方式
本申请实施例提供了的对象聚类方法和装置适用于对登录社交网络的多台用户设备进行聚类,或者是多篇文章进行主题发现。
本实施例的方法和装置适用于单台计算机设备,也可以是分布式计算系统。
如图1,其示出了本申请实施例的对象聚类方法和装置所适用的计算机设备的一种组成结构示意图。在图1中,该计算机设备可以包括:存储器101、处理器102、通信模块103、显示器104、输入单元105以及通信总线106等部件。其中,处理器101、存储器102、通信接口103、显示器104以及输入单元105均通过通信总线106完成相互间的通信。
其中,存储器101可用于存储软件程序以及模块。存储器120可存储操作系统、至少一个功能(比如,图像播放功能)所需的应用程序等;还可以存储根据终端的使用所创建的数据等。其中,存储器101可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器102是终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器101内的软件程序和/或模块,以及调用存储在存储器101内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。可选的,处理器102可包括一个或多个处理单元。
该通信模块103可以用于收发信息,或者数据处理过程中信号的接收与发送;或者通过网络与其他设备进行通信等。
该显示器104可用于窗口界面,并在窗口界面中显示所处理的数据、图形,有向网络图等等;还可以显示由用户输入的信息,或者提供给用户的信息,以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图片等任意组合来构成。该显示器可以包括显示面板,如,可以为采用液晶显示器、有机发光二极管等形式来配置的显示面板。进一步的,该显示器可以包括具备采集触摸事件的触摸显示面板。
输入单元105可用于接收输入的用户输入的字符、数字等信息,以及产生与用户设置以及功能控制有关的信号输入。该输入单元可以包括但不限于物理键盘、鼠标、操作杆等中的一种或多种。
可以理解的是,无论在何种场景中,该终端均可以为任意能够实现访问服务平台的设备,如,该终端可以为手机、平板电脑、台式电脑等等。
当然,为了提高数据处理能力,本申请实施例的对象聚类方法也可以适用于分布式计算系统,如图2所示,其示出了本申请的对象聚类方法所适用的一种分布式计算系统的组成结构示意图。
由图2可知,该分布式计算系统可以包括多台计算机设备201,这多台计算机设备201之间可以通过网络相连,这多台计算机设备201之间可以相互配合以完成本申请实施例的对象聚类方法和装置中所涉及到的数据处理。
基于以上共性,在本申请的对象聚类方法中,获取到待聚类的多个目标对象各自关联至少一个关联对象之后,基于任意两个目标对象之间关联的关联对象的相似程度,确定出有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,并构建表示有该多个关联对象的多个节点,以及节点之间具有有向边的有向网络图;同时,为有向网络图中的每个节点分别分配唯一的类别标识;然后依次将每个所述节点作为当前需处理的目标节点,从目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,其中,所述入度节点组包括指向所述目标节点且具有相同类别标识的至少一个入度节点;将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别,从而实现了依据目标对象所关联的关联对象构建有向网络图,并基于有向网络图对目标对象进行精准聚类。
基于图1和图2,下面结合不同实施例对本申请实施例的对象聚类方法进行相似介绍。
参见图3,其示出了本申请一种对象聚类方法一个实施例的流程示意图,本实施例的方法可以应用于如上所示的计算机设备或者计算机系统,本实施例的方法可以包括:
S301,获取待聚类的多个目标对象各自关联的关联对象集合,该关联对象集合包括至少一个关联对象。
其中,待聚类的目标对象可以根据需要选取,相应的,针对不同的目标对象,对该目标对象进行聚类所需获取的该目标对象关联的关联对象也会有所差异。如,当需要通过聚类,将同一个用户经常使用的用户设备聚类到一起时,则目标对象可以为用户设备,而目标对象关联的关联对象可以为用户的账号、用户名等用户标识。
可以理解的是,为了确定目标对象关联的关联对象集合,可以获取是获取到各个目标对象关联的所有关联对象的信息,也可以是获取多个数据关系,每个数据关系中包括一个目标对象的标识与该目标对象关联的关联对象的对应关系,根据目标对象的标识,可以确定出每个目标对象关联有哪些关联对象。
S302,对于该多个目标对象中任意的第一目标对象以及第二目标对象,根据与第一目标对象以及第二目标对象都关联的关联对象的总数量以及与第一目标对象关联的关联对象的第一数量,确定出待构建的有向网络图中,第二目标对象指向第一目标对象的第一相似度,并根据该总数量以及与第二目标对象关联的关联对象的第二数量,确定待构建的有向网络图中第二目标对象指向第一目标对象的第二相似度。
可以理解的是,为了便于描述任意两个目标对象之间的相似度,对于任意两个不同的目标对象,可以将其中一个目标对象称为第一目标对象,并将第二目标对象称为第二目标对象。其中,该第一目标对象与第二目标对象不同,需要说明的是,在本申请实施例中,当目标对象的标识不同时,就可以认为两个标识不同的目标对象为不同的目标对象。
其中,根据两个目标对象之间关联的相同关联对象的数量,以及每个目标对象各自关联的关联对象的数量,确定两个目标对象之间相似度的方式可以有多种,在此不加以限制。
S303,构建包括用于表示第一目标对象的第一节点以及用于表示第二目标对象的第二节点的有向网络图,并设定有向网络图中由该第二节点指向第一节点的有向边的权重为该第一相似度,由第一节点指向第二节点的有向边的权重为第二相似度。
可以理解的是,有向网络图中包括节点以及节点之间的有向边。在本申请实施例中,构建出的有向网络图中包含有分别表示该多个目标对象的多个节点,而为了便于描述,本申请是以任意两个目标对象为例进行说明。相应的,对于有向网络图中任意的第一节点和第二节点,将第一节点表示的第一目标对象指向第二节点所表示的第二目标对象的相似度作为第一节点指向所述第二节点的有向边的权重;而将第二目标对象指向第一目标对象的相似度作为第二节点指向第一节点的有向边的权重。
可以理解的是,如果一个目标对象指向另一个目标对象的相似度为零,则说明这两个目标对象之间不具有相同的关联对象,在该种情况下,有向网络图中表征这两个目标对象的节点之间可以不具有相连的有向边。
需要说明的是,在本申请实施例的以上步骤S302和步骤S303,仅仅是基于任意两个目标对象之间关联的关联对象的相似程度,确定出有向网络图中表征两个目标对象的两个节点之间有向边的权重的一种实现方式,但是可以理解的是,体现目标对象之间关联的关联对象的相似程度的方式可以有多种,相应的,基于目标对象之间关联的关联对象的相似程度,确定表征目标对象的节点之间的有向边的权重的方式也可以有多种,在此不加以限制。
S304,为该有向网络图中的每个节点分别分配唯一的类别标识。
其中,类别标识用于表征节点所归属的类别,由于在基于有向网络图进行聚类之前,不清楚哪些节点所表示的目标对象可以聚类为一个类别,因此,可以认为每一个节点分别属于一个类别,从而为每个节点分配唯一的类别标识。后续基于有向网络图进行聚类的过程中,部分或者全部节点的类别标识会不断发生变化,直至所有节点的类别标识均不发生变化时,则完成聚类。
S305,依次将有向网络图中的每个节点作为当前需处理的目标节点,并将目标节点的类别标识更新为该目标节点对应的至少一个入度节点组中,入度边总权重最大的目标入度节点组的类别标识,直至该有向网络图中所有节点的类别标识不再发生变化。
其中,对于有向网络图中任意一个节点,有向网络图中指向该节点的其他节点称为该节点的入度节点,节点的入度节点也可以理解为有向网络图中,该节点的邻居节点。对于有向网络图中的任意一个节点而言,该节点的入度节点至少有一个。
为了便于描述,本申请实施例将从入度节点指向该节点的有向边可以称为入度边,可见,一个入度节点对应着一条入度边。
其中,入度节点组包括:有向边指向该目标节点且具有相同类别标识的至少一个入度节点,入度节点组的入度边总权重为该入度节点组中所有入度节点对应的入度边的权重总和。
可以理解的是,由于入度边的权重表示该入度边对应的入度节点与该待更新节点的相似度,因此,如果入度边的权重越高,该入度边对应的入度节点所表示的目标对象与该目标节点对应的目标对象属于一个类别的可能性最大,相应的,如果一个入度节点组中所有入度边的权重之和最大,则该目标节点与该入度节点组中所有入度节点属于同一个类别的可能性最大,从而可以将该目标节点的类别标识与该入度边权重最大的目标入度节点组的类别标识进行统一,本实施例将类别标识统一为该目标入度节点组的类别标识。也就是说,需要从目标节点对应的多个入度节点组中,确定出有向边的总权重最大的目标入度节点组,并目标节点的类别标识更新为该目标入度节点组的类别标识。
需要说明的是,该步骤S305为不断循环迭代的过程,每完成一次迭代,都需要判断本次迭代过程中是否存在类别标识发生变化的节点,如果存在类别标识发生变化的节点,则仍需要从向网络图中重新选取节点作为目标节点,并重新进行迭代。
可以理解的是,如果完成最近一次迭代之后,在该最近一次迭代过程中,如果节点的类别标识没有发生变化,则说明该类别标识与其入度节点之间的聚类已经完成,即使后续再重新迭代,该节点的类别标识也不会发生变化。为了避免对这些类别标识没有发生变化的节点的重复聚类,以减少数据处理量,可选的,可以仅仅在首次迭代时,将有向网络图中的所有节点均作为待处理节点;如果存在未处理的待处理节点,从未处理的待处理节点中选取当前需处理的目标节点,并将目标节点的类别标识更新为所述目标节点对应的至少一个入度节点组中,入度边总权重最大的目标入度节点组的类别标识,直至所有待处理节点均作为目标节点被处理为止;且,当所有待处理节点均作为目标节点之后,如果存在更新后的类别标识与更新前的类别标识不同的节点,则可以仅仅将更新前的类别标识与更新后的类别标识不同的节点确定为待处理节点,并返回执行如果存在未处理的待处理节点,从未处理的所述待处理节点中选取当前需处理的目标节点等操作;如果不存在更新后的类别标识与更新前的类别标识不同的节点,则表示聚类结束,可以执行后续步骤S306。
S306,将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
可见,本申请实施例中,根据待聚类的任意两个目标对象之间的共同关联的关联对象的数量以及目标对象各自关联的对象的数量,计算目标对象之间的相似度之后,依据目标对象之间的相似度,构建出能够表示不同目标对象之相似度的有向网络图,并基于有向网络图中各个节点之间的相似度(权重),对有向网络图中不同节点进行类别聚类,从而有利于从全局角度挖掘目标对象的相似度并对目标对象进行聚类,进而可以有效提高目标对象聚类的精准度。
下面以待聚类的目标对象为用户设备以及文档的场景为例,对本申请实施例的对象聚类方法进行介绍。
首先,以对用户设备的聚类为例进行介绍。结合图1和图2,参见图4,其示出了一种对象聚类方法一个实施例的流程示意图,本实施例的方法应用于如上所提到的计算机设备或者分布式计算系统中,本实施例的方法是以登录社交网络的多台用户设备进行聚类,以将同一用户的设备聚类到一起为例进行介绍。在本申请实施例的用户设备可以为手机、平板电脑、台式机等等终端。
如图4,本实施例的方法可以包括:
S401,获取网络中的待分析数据集,该待分析数据集包括多个数据关系,每个数据关系中包括用户标识与用户设备的标识之间的对应关系。
其中,每个数据关系中,用户标识表示访问(或者说登录)预设网络系统的用户的标识;用户设备的标识表示该用户访问该预设网络系统所采用的用户设备的标识。例如,数据关系可以表示为(用户U,用户设备Ue)的形式。
其中,用户标识可以是用户在该预设网络系统中的用户名、用户的网络账号、用户的电话号码等等。用户设备的标识用户唯一标识一台用户设备,如该用户设备的标识可以为用户设备的IP地址、设备标识码等等。
可以理解的是,由于进行聚类分析过程中,可以对针对一个或多个预设网络进行分析,因此,预先设定的预设网络可以是一个或多个,如,预设网络系统可以多个社交网络,例如多个不同的即时通讯系统、论坛系统等等。
需要说明的是,虽然预设网络可以有多个,由于一个数据关系中是用户标识与用户设备的标识之间的对应关系,在该数据关系确定的情况下,该数据关系中的预设网络系统是确定的唯一的一个预设网络。
举例说明,如,用户A以即时通讯用户U1的身份,通过手机M1登录即时通讯系统,则即时通讯用户U1的用户名与手机M1的标识构成一对数据关系;又如,用户A以即时通讯用户U2的身份,通过手机M2登录即时通讯系统,则会得到即时通讯用户U2的用户名与手机M2的标识所构成的一对数据关系;又如,用户B以即时通讯用户U1的身份,通过手机M2登录即时通讯系统,则又会得到即时通讯用户U1的用户名与手机M2的标识所构建的一对数据关系。
可以理解的是,本申请实施例的目的是为了确定出哪些用户设备是同一个用户经常使用的设备,以将同一个用户所使用的用户设备聚类到一起,因此,该待分析数据集不包括完成相同的数据关系。
S402,对于任意两个不同用户设备的标识所表征的第一用户设备及第二用户设备,获取包含第一用户设备的标识的至少一个第一数据关系,以及包含第二用户设备的标识的至少一个第二数据关系。
如,假设第一用户设备的用户设备的标识为Ue1,如果数据关系中包含Ue1,则该数据关系为包含第一用户设备的标识Ue1的第一数据关系。
其中,第一数据关系与第二数据关系的数量可以不同。
需要说明的是,本申请实施例仅仅是为了便于描述,而将任意两个用户设备中的一个称为第一用户设备,而将又一个用户设备称为第二应用设备,其中,第一用户设备与第二用户设备所具有的用户设备的标识不同。
S403,从该至少一个第一数据关系以及该至少一个第二数据关系中,确定出包含有相同用户标识的至少一对数据关系对。
其中,每对数据关系对中包括:具有相同用户标识的第一数据关系以及第二数据关系。
可以理解的是,一对数据关系对表示同一个用户既使用过第一用户设备,又使用过第二用户设备登录过预设网络系统。
举例说明,假设第一用户设备的标识为Ue1,第二用户设备的标识为Ue2,如果第一数据关系为(userA,Ue1),而第二数据关系为(userA,Ue2),则说明该第一数据关系与第二数据关系为具有相同用户标识userA的一对数据关系对,同时可以说明用户标识为userA的用户使用过第一用户设备Ue1以及第二应用设备Ue2登录预设的网络系统。
S404,将数据关系对的总数量与该至少一个第一数据关系对应的第一数量的比值,确定为第二用户设备与第一用户设备的相似度。
其中,数据关系对的总数量也就是同时使用过第一用户设备以及第二用户设备登录预设网络系统的用户的总数。
为了便于区分,本申请实施例中,将第一数据关系的总个数称为第一数量,而将第二数据关系的总个数称为第二数量。其中,第一数量表示使用过或者说通过该第一用户设备登录预设网络系统的用户的总数;而第二数量表示使用过或者说通过该第二用户设备登录预设网络系统的用户的总数。
具体的,该第二用户设备Ue2与第一用户设备Ue1的相似度WUe2Ue1可以表示为如下:
其中,|N(Ue1)∩N(Ue2)|表示同时使用过第一用户设备Ue1以及第二用户设备Ue2登录预设网络系统的用户的总数量,即数据关系对的总数量;而|N(Ue1)|表示使用过第一用户设备Ue1登录预设网络系统的用户的总数,即第一数据关系的第一数量。
S405,将数据关系对的总数量与该多个第二数据关系对应的第二数量的比值,确定为第一用户设备与该第二用户设备的相似度。
具体的,该第一用户设备Ue1与第二用户设备Ue2的相似度WUe1Ue2可以表示为如下:
其中,|N(Ue1)∩N(Ue2)|为数据关系对的总数量;而|N(Ue2)|表示使用过第二用户设备Ue2登录预设网络系统的用户的总数,即第二数据关系的第二数量。
需要说明的是,在同时使用过第一用户设备以及第二用户设备登录预设网络系统的用户的总数量,即数据关系对的总数量;使用过第一用户设备登录预设网络系统的用户的数量,即第一数据关系的第一数量;以及,使用过第二用户设备登录预设网络系统的用户的数量,即第二数据关系的第二数量确定的确定下,计算第二用户设备与第一用户设备的相似度,以及第一用户设备与第二用户设备的相似度的方式并不限于步骤S304以及步骤S305所示的方式,在实际应用中还可以有其他计算两个设备之间相似度的方式,在此不加以限制。
可以理解的是,在本申请实施例中步骤S401和步骤S402仅仅为一种获取用户设备对应的用户标识的一种可选的实现方式,在实际应用中,该计算机设备或分布式计算系统也可以是直接获取待聚类的多个用户设备各自对应的用户标识。也就是说,获取到待聚类的每个用户设备各自对应的用户标识,每个用户设备可以对应一个或多个用户标识,用户设备所对应的用户标识表示通过该用户设备登录预设网络系统的用户的标识。如,对于待聚类的任意两个第一用户设备和第二用户设备,可以获取到通过第一用户设备登录社交网络所有用户的用户标识,以及获取到通过第二用户设备登录社交网络的所有用户的用户标识。
相应的,通过第一用户设备登录社交网络的用户的第一数据可以为第一用户设备对应的用户标识的数量。通过第二用户设备登录社交网络的用户的第二数量可以为该第二用户设备对应的用户标识的数量。
本实施例中,第二用户设备与第一用户设备的相似度相当于前面实施例中所提到的第一相似度,而第二用户设备与第一用户设备的相似度相对于前面实施例所提到的第二相似度。
S406,将第一用户设备以及第二用户设备作为有向网络图的节点,并将第一用户设备与第二用户设备的相似度作为有向网络图中由第一用户设备指向第二用户设备的边的权重,将第二用户设备与第一用户设备的相似度作为由第二用户设备指向第一用户设备的边的权重。
可以理解的是,有向网络图中任意两个节点之间的边均具有方向和权重,而且这两节点之间不同方向的边所具有的权重可以不同。如,对于有向网络图中任意两个节点:节点A与节点B,节点A指向节点B的边所具有的权重可以为权重1,而节点B指向节点A的边所具有的权重可以为权重2,权重1和权重2可以不同。
在本申请实施例中,以将每一个用户设备均作为有向网络图中的节点,来构建有向网络图。对于任意两个用户设备,即第一用户设备和第二用户设备,在有向网络图中,该第一用户设备的节点指向该第二用户设备的节点的边(也称为有向边)所具有的权重表征该第一用户设备与第二用户设备的相似度;相应的,第二用户设备的节点指向该第一用户设备的节点的边(也称为有向边)所具有的权重表征该第二用户设备与第一用户设备的相似度。
如,参见图5a,其示出了本申请实施例中构建出的一种有向网络图的部分结构示意图,在图5a中每个节点表示唯一的用户设备的标识所对应的用户设备,图2中每条边的上方所标出的数字为该边所对应的权重。由图5a可知,节点Ue1与节点Ue2之间具有两条不同指向的有向边,其中,由Ue1指向Ue2的有向边的权重为2/3,而由Ue2指向Ue1的有向边的权重2/5。
S407,将有向网络图中节点所表示的用户设备的标识初始化该节点的社区标识。
社区标识用于表示节点所代表的用户设备所聚类到的社区,一个社区也可以认为一个聚类类别。
如图5a所示,在该图5a的有向网络图中,每个节点均对应着一个社区标识,该社区标识为该节点对应的用户设备的标识,如图5a中,每个节点旁边表示有节点的社区标识,其中括号内的标识表示该节点对应的用户设备的标识。
可以理解的是,节点对应的用户设备的标识作为节点对应的社区标识仅仅是一种实现方式。由于聚类之前,无法确定哪些用户设备可以聚类到一个社区,因此,只要是为每一个节点分配一个唯一的社区标识即可,因此,该步骤S407也可以是为每个节点分配一个该有向网络图中唯一的一个社区标识。
S408,依次将有向网络图中的每个节点作为待更新节点,并从与该待更新节点相连的多个入度节点中,确定出权重最大的入度边所对应的目标入度节点,将该目标入度节点的社区标识作为该待更新节点的社区标识。
可以理解的是,由于入度边的权重越高,该入度边对应的入度节点对应的用户设备与该待更新节点对应的用户设备属于同一个用户经常使用的用户设备的可能性最大,因此,可以将该待更新节点与该权重最大的入度边所对应的目标入度节点划归到一个类别,即,待更新节点与该目标入度节点属于同一个社区。
为了标识出属于同一个社区的节点(或者说用户设备),需要将该目标入度节点与该待更新节点的社区标识进行统一。如,参见图5b,其示出了在图5a所示的有向网络图的基础上,将一个节点的社区标识更新为节点对应的权重最大的入度边所对应的目标入度节点的社区标识之后的示意图。如,对比图5a和图5b中用户设备Ue1对应的节点可知,在图5a中用户设备Ue1对应的节点的社区标识为Ue1,而由于该节点的入度节点中,表征用户设备Ue2的节点(当前的社区标识也为Ue2)指向该用户设备Ue1的节点的入度边的权重最大,因此,将用户设备Ue1对应的节点的社区标识变更为Ue2。更新为该用户设备Ue1对应的节点的社区标识之后,可以依次对其他节点的社区标识进行更新。
在本申请实施例中,是以将待更新节点的社区标识更新为与该待更新节点对应的目标入度节点的社区标识为例进行介绍,但是可以理解的是,如果将目标入度节点的社区标识更新为该待更新节点的社区标识也同样适用于本申请实施例。
S409,将有向网络图中所有节点作为待处理节点。
在第一轮循环中,将有向网络图中的所有节点均作为待处理节点,以便依次更新有向网络图中各个节点的社区标识。
S410,从有向网络图的待处理节点中,选取一个未经处理的待处理节点作为当前需要处理的目标节点。
其中,本申请实施例中依次对有向网络图中的每一个节点执行如下步骤S411至S412的操作,为了便于区分,将当前需要处理的节点称为目标节点,由于步骤S411以及S412是一个循环执行的过程,如果在本轮循环中,该有向网络图中的待处理节点已经作为目标节点,则在本轮处理中无需重复作为目标节点。
S411,将该目标节点的入度节点中,相同社区标识的入度节点确定为一个入度节点组,并针对每一个入度节点组,计算入度节点组中所有入度节点对应的入度边的权重的总和,得到每个入度节点组的入度边总权重;
可以理解的是,经过步骤S408,一个目标节点的入度节点中,可能会存在两个或多个具有相同社区标识的入度节点,本申请实施例中,将具有相同社区标识的入度节点划归为一个入度节点组。当然,如果目标节点的一个入度节点的社区标识与其他入度节点的社区标识均不相同,则该入度节点可以单独归为一个入度节点组,且该入度节点组对应的入度边总权重就是该入度节点指向该目标节点的入度边的权重。可见,一个入度节点组中包括至少一个入度节点。
为了确定出目标节点与哪些入度节点组内的入度节点属于同一用户经常使用的用户设备所对应的节点,需要计算入度节点组内所有入度节点对应的入度边的权重之和,在本申请实施例中,将入度节点组中所有入度节点对应的入度边的权重之和称为入度边总权重。其中,该入度边总权重反映出该入度节点组内所有入度节点与该目标节点的相似程度。
S412,将入度边总权重最大的一个入度节点组的社区标识作为该目标节点的社区标识。
可以理解的是,由于同一个入度节点组内的入度节点实际上属于同一个社区(即聚类为一个类别),而且,如果入度节点组的入度边总权重内最大,说明该目标节点与该入度节点组内所有入度节点的相似度最高,因此可以将该目标节点与该入度节点组内的入度节点聚类为一个社区,并将该目标节点的社区标识更新为该入度边总权重最大的入度节点组的社区标识。
S413,如果该目标节点的社区标识发生变化,则将目标节点记录为发生社区标识更新的节点。
可以理解的是,如果入度边总权重最大的入度节点组的社区标识,与该目标节点更新前的社区标识不同,则将入度边总权重最大的入度节点组的社区标识作为该目标节点的社区标识之后,该目标节点的社区标识发生更新,则需要标记出该目标节点,以便后续将该目标节点作为下一轮需要更新的待处理节点。
可选的,在步骤S410选取出该目标节点时,可以将该目标节点的社区标识作为更新前社区标识,并将步骤S412中对该目标节点更新后的社区标识作为更新后社区标识,进而比较该目标节点的更新前社区标识与更新后社区标识是否一致,如果不一致,则说明该目标节点的社区标识发生变化。
需要说明的是,步骤S413为可选步骤,在实际应用中也可以在将本轮中所有待处理节点均作为目标节点进行处理之后,再确定这些目标节点中是否存在社区标识发生更新的节点,即可以直接在后续步骤S415中直接判断是否存在社区标识发生更新的目标节点。
S414,检测有向网络图中是否存在未作为目标节点的待处理节点,如果是,则返回步骤S410;如果否,则执行步骤415;
S415,判断有向网络图中是否存在社区标识发生更新的节点,如果是,将社区标识发生更新的节点作为有向网络图中的待处理节点,并返回执行步骤S410;如果否,则将具有相同社区标识的节点所对应的用户设备确定为属于同一个社区,得到聚类出的多个社区。
其中,属于同一个社区的用户设备可以认为是:聚类出的属于同一个用户经常使用的用户设备集合。
可以理解的是,如果有向网络图中每个节点的社区标识均更新为与该节点的相似度最大的入度节点组所对应的社区标识,那么再经过步骤S410至步骤S414的重复迭代,该有向网络图中每个节点的社区标识也不会再发生变化,因此,如果有向网络图中不存在社区标识发生更新的节点时,则说明完成对有向网络图中所有节点的聚类,在该种情况下,具有相同社区标识的节点被聚类为一个社区。
需要说明的是,在本申请实施例中,步骤S408为可选步骤,其仅仅是考虑到刚构建出的有向网络图中,每个节点的社区标识都是唯一的,对应一个节点而言,该节点的入度节点中,不存在两个或多个社区标识相同的入度节点,因此,为了便于理解,而直接将权重最大的入度边所对应的目标入度节点的社区标识作为待更新节点的社区标识。但是可以理解的是,如果没有该步骤S408,而直接执行步骤S409至415的操作同样也是可行的,在该种情况下,在第一轮循环时,由于每个节点的社区标识都是唯一的,因此可以认为是每一个入度节点属于一个入度节点组,这样,入度边总权重最大的入度节点组实际上也就是权重最大的入度边所对应的目标入度节点。
下面以对多篇包含有不同社群标识的文档进行主题发现为例,对本申请实施例的对象聚类方法进行介绍。
结合图1和图2,参见图6,其示出了本申请一种对象聚类方法又一个实施例的流程示意图,本实施例的方法适用于如上所提到的计算机设备或者分布式计算系统中,本实施例的方法可以包括
S601,获取网络中的待分析数据集,该待分析数据集包括多个数据关系,每个数据关系中包括:社群标识与文档的标识之间的对应关系。
其中,每个数据关系中,社群标识表示一些预设网络系统的标识,如社交网络的标识,例如,即时通讯系统相关的标识;文档的标识表示从网络中获取到的用于唯一表示该文档的标识。
可以理解的是,本申请实施例的目的是为了确定出哪些文档是同一个社群网络经常使用的文档,以将同一个社群经常使用到的文档聚类到一起,以提取出该文档的主题。
S602,对于任意两个不同文档的标识所表征的第一文档及第二文档,获取包含第一文档的标识的至少一个第三数据关系,以及包含第二文档的标识的至少一个第四数据关系。
S603,从该至少一个第三数据关系以及该至少一个第四数据关系中,确定出包含有相同社群标识的至少一对数据关系对。
其中,每对数据关系对中包括:具有相同社群标识的第三数据关系以及第四数据关系。
可以理解的是,一对数据关系对表示同一个社群既使用过第一文档,又使用过第二文档。
S604,将数据关系对的总数量与该至少一个第三数据关系对应的第三数量的比值,确定为第二文档与第一文档的相似度。
其中,数据关系对的总数量也就是同时使用过第一文档以及第二文档的社群的总数。
为了便于区分,本申请实施例中,将第三数据关系的总个数称为第三数量,而将第四数据关系的总个数称为第四数量。其中,第三数量表示使用过第一文档的社群的总数;而第四数量表示使用过第四文档的社群的总数。
S605,将数据关系对的总数量与该多个第四数据关系对应的第四数量的比值,确定为第一文档与该第二文档的相似度。
其中,计算第二文档与第一文档的相似度,以及第一文档与第二文档的相似度的具体方式可以参见前面实施例的相关介绍,在此不再赘述。
S606,将第一文档以及第二文档作为有向网络图的节点,并将第一文档与第二文档的相似度作为有向网络图中由第一文档指向第二文档的边的权重,将第二文档与第一文档的相似度作为由第二文档指向第一文档的边的权重。
S607,将有向网络图中节点所表示的文档的标识初始化该节点的主题标识。
主题标识用于表示节点所代表的文档所对应的主题,一个主题也可以认为一个聚类类别。
S608,依次将有向网络图中的每个节点作为待更新节点,并从与该待更新节点相连的多个入度节点中,确定出权重最大的入度边所对应的目标入度节点,将该目标入度节点的主题标识作为该待更新节点的主题标识。
S609,将有向网络图中所有节点作为待处理节点。
S610,从有向网络图的待处理节点中,选取一个未经处理的待处理节点作为当前需要处理的目标节点。
S611,将该目标节点的入度节点中,相同主题标识的入度节点确定为一个入度节点组,并针对每一个入度节点组,计算入度节点组中所有入度节点对应的入度边的权重的总和,得到每个入度节点组的入度边总权重。
S612,将入度边总权重最大的一个入度节点组的主题标识作为该目标节点的主题标识。
S613,如果该目标节点的主题标识发生变化,则将目标节点记录为发生主题标识更新的节点。
S614,检测有向网络图中是否存在未作为目标节点的待处理节点,如果是,则返回步骤S610;如果否,则执行步骤615;
S615,判断有向网络图中是否存在主题区标识发生更新的节点,如果是,将主题标识发生更新的节点作为有向网络图中的待处理节点,并返回执行步骤S610;如果否,则将具有相同主题标识的节点所对应的文档确定为属于同一个主题,得到聚类出的多个主题。
另一方面,本申请实施例还提供了一种对象聚类装置。
参见图7,其示出了本申请一种对象聚类装置一个实施例的组成结构示意图,本实施例的装置可以包括:
数据获取单元701,用于获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象;
有向图构建单元702,用于基于任意两个目标对象之间关联的关联对象的相似程度,确定待构建的有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,并构建所述有向网络图;
类别初始化单元703,用于为所述有向网络图中的每个节点分别分配唯一的类别标识;
聚类分析单元704,用于依次将每个所述节点作为当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,其中,所述入度节点组包括有向边指向所述目标节点且具有相同类别标识的至少一个入度节点;
类别提取单元705,用于将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
可选的,所述有向图构建单元,包括:
第一权重确定单元,用于对于所述多个目标对象中任意的第一目标对象以及第二目标对象,根据与所述第一目标对象和所述第二目标对象都关联的关联对象的总数量,以及所述第一目标对象关联的关联对象的第一数量,确定出待构建的有向网络图中,从表示所述第二目标对象的第二节点指向表示所述第一目标对象的第一节点的有向边的权重;
第二权重确定单元,用于根据所述总数量,以及所述第二目标对象关联的关联对象的第二数量,确定出从所述第一节点指向所述第二节点的有向边的权重;
有向图构建子单元,用于构建所述有向网络图。
进一步的,所述第一权重确定单元,具体用于,将与所述第一目标对象以及所述第二目标对象都关联的关联对象的总数量,与所述第一对象关联的关联对象的第一数量的比值,确定为从表示所述第二目标对象的第二节点指向表示所述第一目标对象的第一节点的有向边的权重;
所述第二权重确定单元,具体用于将所述总数量,与所述第二对象关联的关联对象的第二数量的比值,确定为从所述第一节点指向所述第二节点的有向边的权重。
可选的,数据获取单元,具体为,用于获取待聚类的多个目标对象各自对应的至少一个数据关系,所述数据关系包括所述目标对象的标识与所述目标对象关联的关联对象之间的对应关系;
所述类别初始化单元,包括:
类别初始化子单元,用于将有向网络图中每个节点表示的目标对象的标识作为所述节点的类别标识。
可选的,所述聚类分析单元,包括:
节点初始处理单元,用于将所述有向网络图中的所有节点均作为待处理节点;
聚类分析子单元,用于如果存在未处理的待处理节点,从未处理的所述待处理节点中选取当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所有待处理节点均作为目标节点被处理为止;
循环控制单元,用于如果存在更新后的类别标识与更新前的类别标识不同的节点,则将更新前的类别标识与更新后的类别标识不同的节点确定为待处理节点,并触发返回执行所述聚类分析子单元的操作;
所述类别提取单元具体为,用于如果不存在更新后的类别标识与更新前的类别标识不同的节点,则将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
可选的,所述数据获取单元具体为,用于获取待聚类的多个用户设备各自关联的用户标识集合,所述用户标识集合包括多个用户标识,其中,用户设备关联的用户标识为通过所述用户设备访问预设网络的用户的标识。
本申请实施例还提供了一种计算机设备,该计算机设备可以包括上述所述的任一种对象聚类装置。该计算机设备的组成结构可以参见图1所示,在本申请实施例中的计算机设备中,该存储器中所存储的程序具体用于:
获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象;
基于任意两个目标对象之间关联的关联对象的相似程度,确定待构建的有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,并构建所述有向网络图;为所述有向网络图中的每个节点分别分配唯一的类别标识;
依次将每个所述节点作为当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,其中,所述入度节点组包括有向边指向所述目标节点且具有相同类别标识的至少一个入度节点;
将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种对象聚类方法,其特征在于,包括:
获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象;
基于任意两个目标对象之间关联的关联对象的相似程度,确定待构建的有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,并构建所述有向网络图;
为所述有向网络图中的每个节点分别分配唯一的类别标识;
依次将每个所述节点作为当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,其中,所述入度节点组包括有向边指向所述目标节点且具有相同类别标识的至少一个入度节点;
将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
2.根据权利要求1所述的对象聚类方法,其特征在于,所述基于任意两个目标对象之间关联的关联对象的相似程度,确定待构建的有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,包括:
对于所述多个目标对象中任意的第一目标对象以及第二目标对象,根据与所述第一目标对象和所述第二目标对象都关联的关联对象的总数量,以及所述第一目标对象关联的关联对象的第一数量,确定出待构建的有向网络图中,从表示所述第二目标对象的第二节点指向表示所述第一目标对象的第一节点的有向边的权重;
根据所述总数量,以及所述第二目标对象关联的关联对象的第二数量,确定出从所述第一节点指向所述第二节点的有向边的权重。
3.根据权利要求2所述的对象聚类方法,其特征在于,所述根据与所述第一目标对象和所述第二目标对象都关联的关联对象的总数量,以及所述第一目标对象关联的关联对象的第一数量,确定出从表示所述第二目标对象的第二节点指向表示所述第一目标对象的第一节点的有向边的权重,包括:
将与所述第一目标对象以及所述第二目标对象都关联的关联对象的总数量,与所述第一对象关联的关联对象的第一数量的比值,确定为从表示所述第二目标对象的第二节点指向表示所述第一目标对象的第一节点的有向边的权重;
所述根据所述总数量,以及所述第二目标对象关联的关联对象的第二数量,确定出从所述第一节点指向所述第二节点的有向边的权重,包括:
将所述总数量,与所述第二对象关联的关联对象的第二数量的比值,确定为从所述第一节点指向所述第二节点的有向边的权重。
4.根据权利要求1所述的对象聚类方法,其特征在于,获取待聚类的多个目标对象各自关联的关联对象集合,包括:
获取待聚类的多个目标对象各自对应的至少一个数据关系,所述数据关系包括所述目标对象的标识与所述目标对象关联的关联对象之间的对应关系;
所述为所述有向网络图中的每个节点分配一个唯一的类别标识,包括:
将有向网络图中每个节点表示的目标对象的标识作为所述节点的类别标识。
5.根据权利要求1所述的对象聚类方法,其特征在于,所述依次将每个所述节点作为当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,包括:
将所述有向网络图中的所有节点均作为待处理节点;
如果存在未处理的待处理节点,从未处理的所述待处理节点中选取当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所有待处理节点均作为目标节点被处理为止;
如果存在更新后的类别标识与更新前的类别标识不同的节点,则将更新前的类别标识与更新后的类别标识不同的节点确定为待处理节点,并返回执行所述如果存在未处理的待处理节点,从未处理的所述待处理节点中选取当前需处理的目标节点的操作;
如果不存在更新后的类别标识与更新前的类别标识不同的节点,则执行所述将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别的操作。
6.根据权利要求1所述的对象聚类方法,其特征在于,所述获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象,包括:
获取待聚类的多个用户设备各自关联的用户标识集合,所述用户标识集合包括多个用户标识,其中,用户设备关联的用户标识为通过所述用户设备访问预设网络的用户的标识。
7.根据权利要求1所述的对象聚类方法,其特征在于,所述获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象,包括:
获取待聚类的多篇文档各自关联的社群标识集合,所述社区标识集合包括至少一个社群标识;
所述将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,具体为:
将具有相同类别标识的节点所表示的文档确定为属于同一个主题。
8.一种对象聚类装置,其特征在于,包括:
数据获取单元,用于获取待聚类的多个目标对象各自关联的关联对象集合,所述关联对象集合包括至少一个关联对象;
有向图构建单元,用于基于任意两个目标对象之间关联的关联对象的相似程度,确定待构建的有向网络图中表征所述两个目标对象的两个节点之间有向边的权重,并构建所述有向网络图;
类别初始化单元,用于为所述有向网络图中的每个节点分别分配唯一的类别标识;
聚类分析单元,用于依次将每个所述节点作为当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所述有向网络图中所有节点的类别标识不再发生变化,其中,所述入度节点组包括有向边指向所述目标节点且具有相同类别标识的至少一个入度节点;
类别提取单元,用于将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
9.根据权利要求7所述的对象聚类装置,其特征在于,所述有向图构建单元,包括:
第一权重确定单元,用于对于所述多个目标对象中任意的第一目标对象以及第二目标对象,根据与所述第一目标对象和所述第二目标对象都关联的关联对象的总数量,以及所述第一目标对象关联的关联对象的第一数量,确定出待构建的有向网络图中,从表示所述第二目标对象的第二节点指向表示所述第一目标对象的第一节点的有向边的权重;
第二权重确定单元,用于根据所述总数量,以及所述第二目标对象关联的关联对象的第二数量,确定出从所述第一节点指向所述第二节点的有向边的权重;
有向图构建子单元,用于构建所述有向网络图。
10.根据权利要求9所述的对象聚类装置,其特征在于,所述第一权重确定单元,具体用于将与所述第一目标对象以及所述第二目标对象都关联的关联对象的总数量,与所述第一对象关联的关联对象的第一数量的比值,确定为从表示所述第二目标对象的第二节点指向表示所述第一目标对象的第一节点的有向边的权重;
所述第二权重确定单元,具体用于将所述总数量,与所述第二对象关联的关联对象的第二数量的比值,确定为从所述第一节点指向所述第二节点的有向边的权重。
11.根据权利要求8所述的对象聚类装置,其特征在于,所述数据获取单元,具体为,用于获取待聚类的多个目标对象各自对应的至少一个数据关系,所述数据关系包括所述目标对象的标识与所述目标对象关联的关联对象之间的对应关系;
所述类别初始化单元,包括:
类别初始化子单元,用于将有向网络图中每个节点表示的目标对象的标识作为所述节点的类别标识。
12.根据权利要求8所述的对象聚类装置,其特征在于,所述聚类分析单元,包括:
节点初始处理单元,用于将所述有向网络图中的所有节点均作为待处理节点;
聚类分析子单元,用于如果存在未处理的待处理节点,从未处理的所述待处理节点中选取当前需处理的目标节点,从所述目标节点对应的至少一个入度节点组中,确定出指向该目标节点的有向边的总权重最大的目标入度节点组,并所述节点的类别标识更新为所述目标入度节点组的目标标识,直至所有待处理节点均作为目标节点被处理为止;
循环控制单元,用于如果存在更新后的类别标识与更新前的类别标识不同的节点,则将更新前的类别标识与更新后的类别标识不同的节点确定为待处理节点,并触发返回执行所述聚类分析子单元的操作;
所述类别提取单元具体为,用于如果不存在更新后的类别标识与更新前的类别标识不同的节点,则将具有相同类别标识的节点所表示的目标对象确定为属于一个聚类类别,得到该多个目标对象对应的多个聚类类别。
13.根据权利要求8所述的对象聚类装置,其特征在于,所述数据获取单元具体为,用于获取待聚类的多个用户设备各自关联的用户标识集合,所述用户标识集合包括多个用户标识,其中,用户设备关联的用户标识为通过所述用户设备访问预设网络的用户的标识。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710078997.6A CN108427956B (zh) | 2017-02-14 | 2017-02-14 | 一种对象聚类方法和装置 |
PCT/CN2018/074552 WO2018149292A1 (zh) | 2017-02-14 | 2018-01-30 | 一种对象聚类方法和装置 |
US16/428,958 US10936669B2 (en) | 2017-02-14 | 2019-05-31 | Object clustering method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710078997.6A CN108427956B (zh) | 2017-02-14 | 2017-02-14 | 一种对象聚类方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108427956A true CN108427956A (zh) | 2018-08-21 |
CN108427956B CN108427956B (zh) | 2019-08-06 |
Family
ID=63155045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710078997.6A Active CN108427956B (zh) | 2017-02-14 | 2017-02-14 | 一种对象聚类方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10936669B2 (zh) |
CN (1) | CN108427956B (zh) |
WO (1) | WO2018149292A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109450920A (zh) * | 2018-11-29 | 2019-03-08 | 北京奇艺世纪科技有限公司 | 一种异常账号检测方法及装置 |
CN110059227A (zh) * | 2019-01-22 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 一种确定多个样本之间的网络结构的方法及装置 |
CN111143627A (zh) * | 2019-12-27 | 2020-05-12 | 北京百度网讯科技有限公司 | 用户身份数据确定方法、装置、设备和介质 |
CN112671593A (zh) * | 2021-01-18 | 2021-04-16 | 中国民航信息网络股份有限公司 | 一种服务器的管理方法及相关设备 |
CN113326880A (zh) * | 2021-05-31 | 2021-08-31 | 南京信息工程大学 | 基于社团划分的无监督图像分类方法 |
CN113965772A (zh) * | 2021-10-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
CN116882408A (zh) * | 2023-09-07 | 2023-10-13 | 南方电网数字电网研究院有限公司 | 变压器图模型的构建方法、装置、计算机设备和存储介质 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10642867B2 (en) * | 2017-09-15 | 2020-05-05 | Adobe Inc. | Clustering based on a directed graph |
EP3623960A1 (en) * | 2018-09-14 | 2020-03-18 | Adarga Limited | Method and system for retrieving and displaying data from an entity network database |
CN111353904B (zh) * | 2018-12-21 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 用于在社交网络中确定节点的社交层次的方法和设备 |
CN112306468A (zh) * | 2019-08-02 | 2021-02-02 | 伊姆西Ip控股有限责任公司 | 用于处理机器学习模型的方法、设备和计算机程序产品 |
CN111259137B (zh) * | 2020-01-17 | 2023-04-07 | 平安科技(深圳)有限公司 | 知识图谱摘要的生成方法及系统 |
US11860977B1 (en) * | 2021-05-04 | 2024-01-02 | Amazon Technologies, Inc. | Hierarchical graph neural networks for visual clustering |
CN114168805B (zh) * | 2022-02-08 | 2022-05-20 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及介质 |
CN114443783B (zh) * | 2022-04-11 | 2022-06-24 | 浙江大学 | 一种供应链数据分析和增强处理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063458A (zh) * | 2010-10-12 | 2011-05-18 | 百度在线网络技术(北京)有限公司 | 用于在计算机网络的网络设备中进行用户聚类的方法和设备 |
CN103020163A (zh) * | 2012-11-26 | 2013-04-03 | 南京大学 | 一种网络中基于节点相似度的网络社区划分方法 |
CN103136303A (zh) * | 2011-11-24 | 2013-06-05 | 北京千橡网景科技发展有限公司 | 在社交网络服务网站中划分用户群组的方法和设备 |
US20140089324A1 (en) * | 2012-03-22 | 2014-03-27 | Corbis Corporation | Proximity-Based Method For Determining Concept Relevance Within A Domain Ontology |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840407B2 (en) * | 2006-10-13 | 2010-11-23 | Google Inc. | Business listing search |
CN101267452B (zh) * | 2008-02-27 | 2011-02-16 | 华为技术有限公司 | 一种web服务合成方案转换方法及应用服务器 |
KR20120124581A (ko) * | 2011-05-04 | 2012-11-14 | 엔에이치엔(주) | 개선된 유사 문서 탐지 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
CN103914493A (zh) * | 2013-01-09 | 2014-07-09 | 北大方正集团有限公司 | 一种微博用户群体结构发现分析方法及系统 |
US9439053B2 (en) * | 2013-01-30 | 2016-09-06 | Microsoft Technology Licensing, Llc | Identifying subgraphs in transformed social network graphs |
US9836522B2 (en) * | 2015-03-17 | 2017-12-05 | Sap Se | Framework for ordered clustering |
US9558265B1 (en) * | 2016-05-12 | 2017-01-31 | Quid, Inc. | Facilitating targeted analysis via graph generation based on an influencing parameter |
US20180103111A1 (en) * | 2016-10-07 | 2018-04-12 | International Business Machines Corporation | Determination of well-knit groups in organizational settings |
-
2017
- 2017-02-14 CN CN201710078997.6A patent/CN108427956B/zh active Active
-
2018
- 2018-01-30 WO PCT/CN2018/074552 patent/WO2018149292A1/zh active Application Filing
-
2019
- 2019-05-31 US US16/428,958 patent/US10936669B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063458A (zh) * | 2010-10-12 | 2011-05-18 | 百度在线网络技术(北京)有限公司 | 用于在计算机网络的网络设备中进行用户聚类的方法和设备 |
CN103136303A (zh) * | 2011-11-24 | 2013-06-05 | 北京千橡网景科技发展有限公司 | 在社交网络服务网站中划分用户群组的方法和设备 |
US20140089324A1 (en) * | 2012-03-22 | 2014-03-27 | Corbis Corporation | Proximity-Based Method For Determining Concept Relevance Within A Domain Ontology |
CN103020163A (zh) * | 2012-11-26 | 2013-04-03 | 南京大学 | 一种网络中基于节点相似度的网络社区划分方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109450920A (zh) * | 2018-11-29 | 2019-03-08 | 北京奇艺世纪科技有限公司 | 一种异常账号检测方法及装置 |
CN110059227A (zh) * | 2019-01-22 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 一种确定多个样本之间的网络结构的方法及装置 |
CN110059227B (zh) * | 2019-01-22 | 2023-08-04 | 创新先进技术有限公司 | 一种确定多个样本之间的网络结构的方法及装置 |
CN111143627A (zh) * | 2019-12-27 | 2020-05-12 | 北京百度网讯科技有限公司 | 用户身份数据确定方法、装置、设备和介质 |
CN111143627B (zh) * | 2019-12-27 | 2023-08-15 | 北京百度网讯科技有限公司 | 用户身份数据确定方法、装置、设备和介质 |
CN112671593A (zh) * | 2021-01-18 | 2021-04-16 | 中国民航信息网络股份有限公司 | 一种服务器的管理方法及相关设备 |
CN112671593B (zh) * | 2021-01-18 | 2023-04-07 | 中国民航信息网络股份有限公司 | 一种服务器的管理方法及相关设备 |
CN113326880A (zh) * | 2021-05-31 | 2021-08-31 | 南京信息工程大学 | 基于社团划分的无监督图像分类方法 |
CN113965772A (zh) * | 2021-10-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
CN113965772B (zh) * | 2021-10-29 | 2024-05-10 | 北京百度网讯科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
CN116882408A (zh) * | 2023-09-07 | 2023-10-13 | 南方电网数字电网研究院有限公司 | 变压器图模型的构建方法、装置、计算机设备和存储介质 |
CN116882408B (zh) * | 2023-09-07 | 2024-02-27 | 南方电网数字电网研究院有限公司 | 变压器图模型的构建方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US10936669B2 (en) | 2021-03-02 |
WO2018149292A1 (zh) | 2018-08-23 |
US20190286657A1 (en) | 2019-09-19 |
CN108427956B (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108427956B (zh) | 一种对象聚类方法和装置 | |
Borge-Holthoefer et al. | Absence of influential spreaders in rumor dynamics | |
Wen et al. | To shut them up or to clarify: Restraining the spread of rumors in online social networks | |
CN101043421B (zh) | 一种基于内存的ip地址最长匹配快速查找的方法 | |
CN105024919B (zh) | 一种用户群组建立方法及装置 | |
WO2019228034A1 (zh) | 一种数据同步方法及装置 | |
CN111327647B (zh) | 一种容器对外提供服务的方法、装置及电子设备 | |
CN105959971A (zh) | 一种WiFi密码共享方法及移动终端 | |
EP3477561A1 (en) | System for goods delivery | |
CN104915238B (zh) | 一种Web应用的配置参数关联确定方法 | |
CN104537301B (zh) | 应用的登录方法、装置及移动终端 | |
US20170289243A1 (en) | Domain name resolution method and electronic device | |
CN106789837B (zh) | 网络异常行为检测方法及检测装置 | |
CN103699534B (zh) | 系统目录中数据对象的显示方法及装置 | |
CN110197075A (zh) | 资源访问方法、装置、计算设备以及存储介质 | |
CN104618388B (zh) | 快速注册登录方法及对应的重置服务器、信息服务器 | |
CN111224941A (zh) | 一种威胁类型识别方法及装置 | |
CN110225039A (zh) | 权限模型获取、鉴权方法、网关、服务器以及存储介质 | |
CN102197387B (zh) | 引导会合联盟 | |
CN107517139A (zh) | 数据处理方法及系统、设备测试系统及节点测试系统 | |
CN105978868A (zh) | Ip地址权限的查找方法及装置 | |
CN113162971B (zh) | 区块链节点管理方法、装置、计算机以及可读存储介质 | |
CN104954415B (zh) | 处理http请求的方法及装置 | |
CN111008873B (zh) | 一种用户确定方法、装置、电子设备及存储介质 | |
CN106506647A (zh) | 一种客户端具有数据备份装置的智慧社区云存储系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |