CN101251853A - 基于用户交互记录来挖掘用户属性的方法及系统 - Google Patents

Abstract

本发明公开了属于数据挖掘领域的一种基于用户交互记录来挖掘用户属性的方法及系统。该方法包括如下步骤：接收来自于各种应用终端的用户交互记录；数据预处理，去掉与用户属性分析无关的交互记录；从用户交互记录中提取关键字；对提取出来的关键字进行处理，计算出用户属性的倾向性。该系统包括通过通信网络连接的用户属性挖掘服务器、应用终端及用户属性数据接收端；其中，用户属性数据接收端与用户属性挖掘服务器相连，用户属性挖掘服务器还通过通信网络与应用终端相连；用户属性挖掘服务器，用于接收来自于各种应用终端的交互记录；应用终端，用于发送交互记录；用户属性数据接收端，用于接收用户属性输出单元的用户属性信息。

Description

基于用户交互记录来挖掘用户属性的方法及系统

技术领域

本发明涉及数据挖掘及数据通信领域，尤其涉及一种基于用户交互记录来挖掘用户属性的方法和系统。

背景技术

随着互联网和移动网络的普及，人们通过网络进行交流变得越来越普及，短信、即时通讯(IM，Instant Messager)、电子邮件等新型的交互方式，已经逐渐成为人们日常工作、学习、生活中最重要的交流方式。

网络上的用户属性包括诸如性别、年龄段、职业等人口属性，也包括兴趣爱好、购物偏好等行为属性，以及恋人、朋友、同学、同事、家人等关系属性。通过获取用户属性，可以精准定位用户，从而为用户带来更好的服务和体验。现有技术的获取用户的属性大多通过用户填写问卷方式或通过用户的注册收集用户详细资料，但在用户属性信息中，会包含一些经常变化的特征，如兴趣爱好、职业、购物需求、恋人等，用户很少去主动更新它们，从而造成了用户属性的不精准性和不完整性。

发明内容

本发明的目的是提供一种基于用户交互记录来挖掘用户属性的方法和系统，弥补目前用户属性搜集不足的缺点，提高用户属性建设的时效性、精准性。

为解决上述技术问题，本发明采用如下技术方案。

本发明基于用户交互记录来挖掘用户属性的方法包括如下步骤：

接收来自于各种应用终端的用户交互记录；

数据预处理，去掉与用户属性分析无关的交互记录；

从用户交互记录中提取关键字；

对提取出来的关键字进行处理，计算出用户属性的倾向性。

进一步讲，对提取出来的关键字进行处理，计算出用户属性的倾向性以后，还包括步骤：

基于用户属性倾向性，更新用户属性相关数据；

对最近更新的用户属性数据格式化输出。

从用户交互记录中提取关键字的步骤具体包括：

用预先设定的符号对预处理后的交互记录信息进行过滤，实现分句；

用预先设定的提取条件及属性关键字库，提取属性关键字。

所述的预先设定的符号可以是：标点符号、空格或者其他特殊字符。

每个所述关键字库用来确定一种用户属性，每个关键字对应一个权值，权值越高表示该关键字的精准度越高。

所述对提取出来的关键字进行处理，计算出用户属性的倾向性的步骤具体包括：

检测提取出的属性关键字前是否含有否定关键字，如含有，则删除其否定语义范围内的所有关键字，否则保留；

对剩余的属性关键字进行加权处理，统计每个关键字的词频、对每个关键字加权，计算出用户属性的倾向性。

所述基于用户属性倾向性，更新用户属性相关数据的步骤具体包括：

将所述计算出的用户属性倾向性数值，分别累加到用户属性数据，并更新最近分析时间；

判定用户属性关键字前是否含有人称代词，若不含有任何人称代词或含有第一人称代词，则更新发送方用户属性数据；若含有第二人称代词，则更新接收方用户属性数据。

本发明基于用户交互记录来挖掘用户属性的系统包括：通过通信网络连接的用户属性挖掘服务器、应用终端及用户属性数据接收端；其中，用户属性数据接收端与用户属性挖掘服务器相连，用户属性挖掘服务器还通过通信网络与应用终端相连；

用户属性挖掘服务器，用于接收来自于各种应用终端的交互记录，并对接收来的用户交互记录进行预处理、提取关键字、计算用户属性的倾向性、更新用户属性状况、用户属性数据格式化输出给接收端；

应用终端，用于发送交互记录；

用户属性数据接收端，用于接收用户属性输出单元的用户属性信息。

所述的用户属性挖掘服务器包括：交互记录获取单元，交互记录预处理单元，关键字库管理单元，关键字提取单元，用户属性分析单元，用户属性输出单元；其中，交互记录预处理单元与交互记录获取单元和关键字提取单元分别相连，关键字提取单元又与关键字库管理单元和用户属性分析单元分别相连，用户属性分析单元又与用户属性输出单元相连；

交互记录获取单元：接收来自于应用终端的用户交互记录；

交互记录预处理单元：在挖掘用户属性之前处理掉无关的交互记录；

关键字库管理单元：存储及管理多个属性关键字库，每个关键字库用于确定用户的某一属性；

关键字提取单元：从预处理后的交互记录中提取与属性关键字库匹配的关键字；

用户属性分析单元：对提取出的关键字进行加权处理，计算用户属性的倾向性；

用户属性输出单元：将用户属性分析单元计算的结果输出到用户属性数据接收端。

所述的应用终端是手机、电脑、个人数字助理以及通信网络中的专门用于采集用户交互信息的网络设备或者系统。

所述的用户属性数据接收端是用户属性挖掘服务器或产品应用系统。

在本发明中，通过分析用户交互记录来挖掘用户的人口属性、行为属性、关系属性等，一方面获取了用户较为完整的特征信息，便于对用户分群及精准锁定目标族群，有效开展后续用户经营活动及广告；另一方面由于该挖掘是基于最近时段内的数据分析，从一定程度上保证了用户属性的时效性，更好地把握了用户最近状况，为其提供适合的服务及应用提供了有力的参考依据；此外，通过用户交互的联络圈，可精确分析到用户的朋友、恋人、同事等信息。

附图说明

图1是本发明基于用户交互记录来挖掘用户属性的方法的流程图；

图2是本发明基于用户交互记录来挖掘用户属性的系统的组成框图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明基于用户交互记录来挖掘用户属性的方法包括以下步骤：

101、接收用户交互记录。

接收来自于各种通讯终端或客户端的用户交互记录。所述用户交互记录为：各种通讯终端或客户端通过通信网络发送和接收的各种信息，比如使用IM软件发送和接收的聊天记录、通过手机发送和接收的短信、通过邮件系统发送和接收的电子邮件等。挖掘用户属性使用的交互记录的单位是条，例如，用户发送或者接收的一条短信、一封电子邮件、或者一条即时消息。所述发送方和接收方标识为：可以区分、确定各种通讯终端或客户端交互双方身份的标识符，比如可以是移动网络中的手机号码，发送电子邮件过程中双方的Email地址等。

交互记录中携带信息的发送方和接收方标识。

例如，接收用户A交互记录，其中包含用户A与用户B间的短信交互记录，抽出其中四条为分析样本：

A-＞B“亲爱的@我不喜欢索尼的PSP”  2007-12-22  12:00

A-＞B“老板不在，我在打游戏，最近超流行的魔兽世界”2007-12-2213:00

A-＞B“多一道阳光可以带来多少光明；多一份爱可以带来多少美好；多一份安慰可以融化多少伤感；愿多一份信息可以给你带来多一份快乐！”2007-12-22  14:00

A-＞B“我想你…我想你…我想你…我想你…我想你”2007-12-22  14:30

102、交互记录预处理。

所述数据预处理为：在挖掘用户属性之前去掉与用户属性无关的交互记录，有效地消除对属性挖掘的影响，最终提高挖掘结果的准确性。具体方法包括但不局限于：检测一条消息是否发送给多个接收方，若含有则判定为无用信息进行删除。同时还可以采用现有公知的处理垃圾短信或垃圾邮件的方法，对交互记录进行预处理，判断后分析出交互信息的第三条属于“祝福类”短信内容，与挖掘用户属性无关，故去除。

103、提取关键字。

预定的提取条件为：根据标点符号、空格或者其它特殊字符将用户交互记录中的一条信息分成语句。逐一将每个语句包含的文字与属性关键字库进行匹配，所有在关键字库中出现的词都作为关键字。

所述关键字库的设置可以扩展，每个关键字库用来确定一种用户属性，其中可以包含一个或者多个关键字，每个关键字对应一个权值，权值越高表示出现该关键字时，确定该属性的倾向性越强。

在本实施例中，对上述剩余的三条交互记录进行“提取关键字”处理，将句子中用标点符号或特殊字符分句，并依照预先设定好的关键字库，提取关键字，并将属性关键字附加权值(Wi代表权值)。处理后如下：

A-＞B“亲爱的[Wi＝10]我不喜欢  索尼[Wi＝4]PSP[Wi＝8]”2007-12-22  12:00

A-＞B“老板[Wi＝10]我打游戏[Wi＝8]  魔兽世界[Wi＝8]”2007-12-2213:00

A-＞B“我想你[Wi＝10]我想你[Wi＝10]我想你[Wi＝10]我想你[Wi＝10]我想你[Wi＝10]”2007-12-22  14:30

104、处理否定词。

检测是否含有否定类关键字，若含有，则删除其否定语义范围影响的所有关键字。

这样，处理后的交互记录示例如下：

A-＞B“亲爱的[Wi＝10]我”  2007-12-22  12:00

A-＞B“老板[Wi＝10]我打游戏[Wi＝8]  魔兽世界[Wi＝8]”2007-12-2213:00

A-＞B“我想你[Wi＝10]我想你[Wi＝10]我想你[Wi＝10]我想你[Wi＝10]我想你[Wi＝10]”2007-12-22  14:30

105、统计关键字词频。

统计经过步骤104处理后的所有关键字的词频。对于任意一个关键字，若第一次出现时词频Fi设置为1，以后每出现一次则加1。针对关键字在交互记录中在标题、摘要、篇首等重要性位置的情况，可以通过增加词频数值的方法予以修正。若该词在标题中出现则多加上H，在摘要中出现则多加上K，在篇首中出现则多加上L，在篇尾中出现则多加上M，在段首中出现则多加上N，在段尾中出现，则多加上0。一般而言，H＞I＞K＞L，M＞N，0，这是由它们所在位置对交互记录的重要性决定的。

依照步骤105所述的方法，统计关键字词频的示例如下：

A-＞B“亲爱的[Fi＝1]我”  2007-12-22 12:00

A-＞B“老板[Fi＝1]我打游戏[Fi＝1]  魔兽世界[Fi＝1]”  2007-12-2213:00

A-＞B “我想你[Fi＝5]”2007-12-22  14:30

106、关键字加权。

计算每个关键字的属性加权值，并保留计算结果。对于每一个关键字，词频和该关键字在字库中属性权值的乘积得到关键字加权值，Hi＝Fi*Wi，Fi为该关键字的词频，Wi为上面所述该关键字的属性权值。

根据交互记录中包含的文字长度设定阈值λ，文字越多λ值越大，忽略关键字加权小于λ的关键字。

依照步骤106所述的方法，进行关键字加权的示例如下：

A-＞B“亲爱的[Hi＝10]我” 2007-12-22  12:00

A-＞B“老板[Hi＝10]我打游戏[Hi＝8]  魔兽世界[Hi＝8]”  2007-12-2213:00

A-＞B“我想你[Hi＝50]”2007-12-22  14:30

系统预先设定字数在1-10之间的阈值为2，字数在11-20之间的为5，字数在21-30之间的为8，字数在30之上的，阈值为1 2。

根据以上分析，关键字加权后均大于阈值，符合要求，以上关键字均保留。

107、计算用户属性倾向性。

每个关键字库对应一个用户属性，把余下的每一个关键词逐一代入倾向性计算公式即可计算出每个属性的倾向性。

所述倾向性计算公式为：Ci＝Ci+Hi，其中Hi为关键字加权。

根据步骤105和步骤106的结果，把每个关键字及其属性加权值代入倾向性计算公式，得到用户属性的倾向性：

A-＞B“亲爱的[Ci＜＝Ci+10]我”  2007-12-22  12:00

分析：关键字“亲爱的”属于用户关系属性中的“情侣关系”关键字，用户情侣关系属性状况增强。

A-＞B“老板[Ci＜＝Ci+10]我打游戏[Ci＜＝Ci+8]  魔兽世界[Ci＜＝Ci+8]”2007-12-22  13:00

分析：关键字“老板”属于属性中的“用户身份-上班族”关键字，用户身份属性状况增强；关键字“打游戏”属于属性中的“用户爱好-游戏类”关键字，用户爱好属性状况增强；关键字“魔兽世界”属于属性中的“用户爱好-游戏类”关键字，用户爱好属性状况增强；

A-＞B“我想你[Ci＜＝Ci+50]”2007-12-22  14:30

分析：关键字“我想你”属于属性中的“用户关系程度”关键字，用户关系程度属性状况增强；

108、更新用户属性。

根据步骤107计算得到的每个属性的倾向性数值，分别累加、修正用户属性数据，并更新最近分析时间。在累计的时候判断人称代词，若为第一人称代词或者不含有任何人称代词，则更新发送方属性数据；若为第二人称代词，则更新接收方属性数据。更新结果依次如下：

A-＞B分析结果：A与B的“情侣关系”属性增强；

A-＞B分析结果：A的“身份-上班族”属性增强，“兴趣爱好-游戏类”属性增强；

A-＞B分析结果：A与B的关系程度加深。

109、判断是否还有新的交互记录。

如果是，则执行步骤101。否则，执行，步骤110。

110、用户属性数据输出。

将步骤108得到的用户属性数据格式化并输出到用户属性数据接收端。所述用户属性数据接收端用于接收用户属性输出单元的用户属性信息，包含但不局限于用户属性服务器、应用系统等。

111、结束。

图2示出了本发明基于用户交互记录来挖掘用户属性的系统的组成。该系统包括：通过通信网络21连接的用户属性挖掘服务器22、应用终端20及用户属性数据接收端23；其中，用户属性数据接收端与用户属性挖掘服务器相连，用户属性挖掘服务器还通过通信网络与应用终端相连。

进一步讲，用户属性挖掘服务器包括：交互记录获取单元221，交互记录预处理单元222，关键字库管理单元226，关键字提取单元223，用户属性分析单元224，用户属性输出单元225；其中，交互记录预处理单元与交互记录获取单元和关键字提取单元分别相连，关键字提取单元又与关键字库管理单元和用户属性分析单元分别相连，用户属性分析单元又与用户属性输出单元相连。

其中，交互记录获取单元221接收来自于应用终端的用户交互记录，提取信息中携带的发送方和接收方标识、发送时间等；

交互记录预处理单元222，用于在挖掘用户属性之前去掉与用户属性无关的交互信息；

关键字库管理单元226，用于存储一个或者多个属性关键字库，每个关键字库用于确定用户的某一个属性。管理属性关键字库，包括增加、修改、删除关键字，设定关键字的属性权值；

关键字提取单元223：将交互记录中所有文字与属性关键词库匹配，匹配的单词作为关键字；

用户属性分析单元224，用于对提取出的关键字进行处理，基于处理结果，计算用户属性倾向性；

用户属性输出单元225，用于将用户属性分析单元计算的结果输出到属性数据接收端。

用户属性数据接收端23，用于接收用户属性输出单元的用户属性信息。

在该架构中，应用终端20和用户属性挖掘服务器22通过通信网络21进行通信。其中用户终端可以是手机、个人电脑、笔记本电脑、个人数字助理(PDA，Personal Digital Assi stant)等消费类电子产品，还可以是通信网络中的专门用于采集用户交互信息的网络设备或者系统。

通信网络21可以是无线网络，比如GPRS(General Packet Radio Service，通用分组无线业务)网、GSM(Globle System Mobile，全球移动通讯系统)、CDMA(Code Division Multiple Access，码分多址)，或者因特网。

用户通过通信网络21与其它用户进行信息交互，比如使用手机发送短信，使用IM软件和其他终端用户聊天，向对方发送电子邮件等情况下，会向应用终端输入相应的信息，这些信息就是用户的交互记录。深入挖掘这些信息，可以得到用户属性，比如性别、年龄、职业、兴趣偏好等，还可以进一步分析用户一对一的交互信息，得到用户之间的关系属性，例如同学、同事、朋友、情侣等关系。

交互记录获取单元221接收来自于应用终端的用户交互记录，提取信息中携带的发送方和接收方标识、发送时间等信息，经过交互记录预处理单元222的处理，去掉与用户属性无关的交互信息。剩余的交互记录提交给关键字提取单元223，并将交互记录中所有文字与关键字库管理单元226中保存的属性关键词库匹配，得到所有关键字。这些关键字会移交给用户属性分析单元224处理计算用户属性倾向性，得到用户属性数据。最终的属性数据经用户属性输出单元225的格式化输出到用户属性数据接收端23。

在本发明中，通过分析用户交互记录来挖掘用户的人口属性、行为属性、关系属性等，一方面获取了用户较为完整的特征信息，便于对用户分群及精准锁定目标族群，有效开展后续用户经营活动及广告；另一方面由于该挖掘是基于最近时段内的数据分析，从一定程度上保证了用户属性的时效性，更好地把握了用户最近状况，为其提供适合的服务及应用提供了有力的参考依据。此外，还弥补了现有市场中搜集用户属性的完整问题，通过用户交互的联络圈，可精确分析到用户的朋友、恋人、同事等信息。

Claims (11)

1、一种基于用户交互记录来挖掘用户属性的方法，其特征在于包括以下步骤：

接收来自于各种应用终端的用户交互记录；

数据预处理，去掉与用户属性分析无关的交互记录；

从用户交互记录中提取关键字；

对提取出来的关键字进行处理，计算出用户属性的倾向性。

2、如权利要求1所述的基于用户交互记录来挖掘用户属性的方法，其特征在于对提取出来的关键字进行处理，计算出用户属性的倾向性以后，还包括步骤：

判断是否还有新的用户交互记录，如果没有，更新用户属性相关数据；

对最近更新的用户属性数据格式化输出。

3、如权利要求1所述的基于用户交互记录来挖掘用户属性的方法，其特征在于从用户交互记录中提取关键字的步骤具体包括：

用预先设定的符号对预处理后的交互记录信息进行过滤，实现分句；

用预先设定的提取条件及属性关键字库，提取属性关键字。

4、如权利要求3所述的基于用户交互记录来挖掘用户属性的方法，其特征在于所述的预先设定的符号可以是：标点符号、空格或者其他特殊字符。

5、如权利要求3所述的基于用户交互记录来挖掘用户属性的方法，其特征在于每个所述关键字库用来确定一种用户属性，每个关键字对应一个权值，权值越高表示该关键字的精准度越高。

6、如权利要求1所述的基于用户交互记录来挖掘用户属性的方法，其特征在于所述对提取出来的关键字进行处理，计算出用户属性的倾向性的步骤具体包括：

检测提取出的属性关键字前是否含有否定关键字，如含有，则删除其否定语义范围内的所有关键字，否则保留；

对剩余的属性关键字进行加权处理，统计每个关键字的词频、对每个关键字加权，计算出用户属性的倾向性。

7、根据权利要求2所述的基于用户交互记录来挖掘用户属性的方法，其特征在于所述基于用户属性倾向性，更新用户属性相关数据的步骤具体包括：

将所述计算出的用户属性倾向性数值，分别累加到用户属性数据，并更新最近分析时间；

判定用户属性关键字前是否含有人称代词，若不含有任何人称代词或含有第一人称代词，则更新发送方用户属性数据；若含有第二人称代词，则更新接收方用户属性数据。

8、一种基于用户交互记录来挖掘用户属性的系统，其特征在于包括：通过通信网络连接的用户属性挖掘服务器、应用终端及用户属性数据接收端；其中，用户属性数据接收端与用户属性挖掘服务器相连，用户属性挖掘服务器还通过通信网络与应用终端相连；

用户属性挖掘服务器，用于接收来自于各种应用终端的交互记录，并对接收来的用户交互记录进行预处理、提取关键字、计算用户属性的倾向性、更新用户属性状况、用户属性数据格式化输出给接收端；

应用终端，用于发送交互记录；

用户属性数据接收端，用于接收用户属性输出单元的用户属性信息。

9、根据权利要求8所述的一种基于用户交互记录来挖掘用户属性的系统，其特征在于所述的用户属性挖掘服务器包括：交互记录获取单元，交互记录预处理单元，关键字库管理单元，关键字提取单元，用户属性分析单元，用户属性输出单元；其中，交互记录预处理单元与交互记录获取单元和关键字提取单元分别相连，关键字提取单元又与关键字库管理单元和用户属性分析单元分别相连，用户属性分析单元又与用户属性输出单元相连；

交互记录获取单元：接收来自于应用终端的用户交互记录；

交互记录预处理单元：在挖掘用户属性之前处理掉无关的交互记录；

关键字库管理单元：存储及管理多个属性关键字库，每个关键字库用于确定用户的某一属性；

关键字提取单元：从预处理后的交互记录中提取与属性关键字库匹配的关键字；

用户属性分析单元：对提取出的关键字进行加权处理，计算用户属性的倾向性；

用户属性输出单元：将用户属性分析单元计算的结果输出到用户属性数据接收端。

10、根据权利要求8所述的一种基于用户交互记录来挖掘用户属性的系统，其特征在于，所述的应用终端是手机、电脑、个人数字助理以及通信网络中的专门用于采集用户交互信息的网络设备或者系统。

11、根据权利要求8所述的一种基于用户交互记录来挖掘用户属性的系统，其特征在于，所述的用户属性数据接收端是用户属性挖掘服务器或产品应用系统。

Images