CN103106267A

CN103106267A - 基于微博的众包问答系统信息采集方法

Info

Publication number: CN103106267A
Application number: CN2013100405573A
Authority: CN
Inventors: 胡天磊; 伍赛; 陈刚; 周显锞; 张冰冰; 陈珂
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2013-02-02
Filing date: 2013-02-02
Publication date: 2013-05-15
Anticipated expiration: 2033-02-02
Also published as: CN103106267B

Abstract

本发明公开了一种基于微博的众包问答系统信息采集方法，该发明首先实现了与微博平台进行数据交互的数据采集和发布模块，通过该模块自动采集系统相关的所有问答数据和用户资料信息；对于采集到的问答数据进行后台分析处理，为用户提供更直观和专业的回答结果展示；另外，系统通过对用户资料信息和问答行为的具体分析，将各类新问题有效推送给可能回答的潜在用户，以对新问题进行高效、快速扩散；应用本发明的方法，可以通过微博平台实现问答系统更高效快速地获取答案。

Description

基于微博的众包问答系统信息采集方法

技术领域

本发明涉及互联网应用中的数据处理技术、信息处理领域中的文本相似度分析技术、社交网络领域中的用户兴趣信息提取技术，特别涉及一种基于微博的众包问答系统信息采集方法。

背景技术

在互联网应用方面，大多数社交网络平台都采用了开放授权OAuth2的用户登陆和授权模式。应用通过平台用户的授权之后，就可以通过API接口获取相应的用户数据。此外，在微博系统中，当用户具体账号时，该条消息就会发送给被的用户。所述到该官方账号具体为：在微博内容中加上以“”+ 账号昵称为格式的文本。这些成熟的互联网数据处理技术和服务是本发明实现的基础。

在众包系统中，通常都是通过一套激励措施吸引用户来完成一系列的工作和任务。问答网站是众包系统的一种实例。在问答网站中，一般都实现了积分方式作为对回答者的一种激励。众包系统的存在，正是因为在信息处理领域中，许多的问题和工作仍然只有通过人力才能够更高效地开展。最近几年来，在众包系统领域，专家学者又提出了一系列新的思路和技术。例如，伯克利大学的科研工作者提出了通过众包来回答数据库查询的技术。

在信息处理领域中，文本相似度分析已经存在很多成熟的算法，例如最长公共子串LCS算法和字符串相似度Levenshtein距离算法。LCS算法的原理是将两个字符串分别以行和列组成矩阵，每个节点行列字符如果相同则计为1，通过找出值为1的最长对角线即可得到最长公共子串。Levenshtein距离又称为编辑距离，Levenshtein距离算法的基本原理是返回将第一个字符串转换成第二个字符串的编辑次数。次数越少，意味着字符串相似度越高。

在社交网络领域中，专家学者们针对用户兴趣爱好的分析提取提出了许多工作。最基本的处理方法通常都是对社交网络中具体用户发布的所有信息数据，进行分词处理，对具体词汇通过tf-idf（词频-反文档频率）算法进行进一步计算，排序得到tf-idf值最高的一系列关键词作为该用户可能感兴趣的标签。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于微博的众包问答系统信息采集方法。

本发明解决其技术问题采用的技术方案如下：一种基于微博的众包问答系统信息采集方法，包括如下步骤：

步骤1：在微博平台上注册官方账号，在微博开放平台申请成为第三方网站开发账号，获取开发网站的App Key（应用码）和App Secret（应用密钥）；

步骤 2：通过微博开放平台提供的接口，开发数据采集和发布模块，向微博平台采集和发布数据，包括问答数据以及用户资料信息；

步骤3：用户发起的任何问题只需要到该官方账号，该问题原微博以及所有转发微博将通过数据采集和发布模块被系统采集收录；

步骤4：对采集到的问答数据进行分析处理：该步骤可提取该问题的整体树状转发结构、提取相似答案、过滤纯转发答案，并对整个话题回答进行各类统计分析；

步骤5：将步骤4提取的该问题的整体树状转发结构、提取相似答案和过滤纯转发答案，以及统计分析的结果，在前端界面为用户提供多元化的结果展示；

步骤6：利用全局采集到的用户问答记录和具体用户资料信息，分析每个用户在问答系统中的活跃程度、感兴趣领域以及擅长领域等信息；

步骤 7：利用步骤6所得到的用户活跃程度、感兴趣和擅长领域等信息，系统自动将该新问题推送给可能感兴趣的潜在回答用户。

本发明的有益效果是，该发明首先实现了与微博平台进行数据交互的数据采集和发布模块，通过该模块自动采集系统相关的所有问答数据和用户资料信息。对于采集到的问答数据进行后台分析处理，为用户提供更直观和专业的回答结果展示。另外，系统通过对用户资料信息和问答行为的具体分析，将各类新问题有效推送给可能回答的潜在用户，以对新问题进行高效、快速扩散。应用本发明的方法，可以通过微博平台实现问答系统更高效快速地获取答案。

附图说明

图1是本发明实施步骤总体模块流程图；

图2是数据采集和发布模块具体工作流程图；

具体实施方式

现结合具体实施和示例对本发明的技术方案作进一步说明。

如图1，本发明基于微博的众包问答系统信息采集方法，包括如下步骤：

步骤1：在微博平台上注册官方账号，在微博开放平台申请成为第三方网站开发账号，获取开发网站的App Key（应用码）和App Secret（应用密钥）。

官方账号可以通过微博平台网站注册申请，得到的微博账号通过用户名、密码正常登陆后，可以修改个人信息、发布微博。

在微博开放平台网站申请成为第三方网站开发账号，完成身份认证和开发者审核流程，获得测试应用开发权限。在开放平台网站的管理中心页面，添加待开发的网站，完成该网站基本信息的注册审核之后，得到相应的App Key和App Secret信息。

步骤 2：通过微博开放平台提供的接口，开发数据采集和发布模块，向微博平台采集和发布数据，包括问答数据以及用户资料信息。

如图2，数据采集和发布模块的工作过程如下：

首先，根据步骤1）获取的第三方网站应用App Key和App Secrect信息，通过开放平台的开放授权OAuth2协议用官方账号登陆并完成授权，由此可以获取该官方账号访问微博数据的访问令牌Access Token。另外，其他微博用户在系统网站中通过微博登陆和完成授权，同样也可获得该账号绑定的访问令牌Access Token。

其次，根据相关微博账号所绑定的访问令牌Access Token，通过微博开放平台所提供的获取数据和发布数据API，实现数据采集和发布模块的代码。

最后，完成具体的开发之后，微博的用户只需要通过开放授权OAuth2登陆授权，系统就可以对该用户的数据进行采集和发布，所采集的数据包括用户所发表的问答微博数据和用户资料信息。

步骤3：用户发起的任何问题只需要到该官方账号，该问题原微博以及所有转发微博将通过数据采集和发布模块被系统采集收录。

所述到该官方账号具体为：在微博内容中加上以“”+ 被的用户的账号昵称为格式的文本。在微博系统中，被的用户将收到通知提醒。

数据采集和发布模块维护了官方账号的访问令牌Access Token，通过微博开放平台的获取提及微博getMentions接口，就可以采集所有到官方账号的微博。

步骤4：对采集到的问答数据进行分析处理。该步骤可提取该问题的整体树状转发结构、提取相似答案、过滤纯转发答案，并对整个话题回答进行各类统计分析。

数据分析处理的工作过程如下：

首先，根据微博的转发格式，对转发微博的文本内容进行分析，提取该话题的整体树状转发结构。微博的转发一般都以“//”的形式进行分隔，通过对转发内容的解析可以获得该条转发微博本身的文本内容，以及它所转发的父微博。对一个问题的所有转发微博进行分析之后，就可以得出该话题的整体树状转发结构。

其次，根据上一过程获取每条转发微博本身的文本内容，如果该文本内容为空，则这是一条纯转发答案，可以进行过滤；

在提取相似答案步骤，根据每条回答的文本内容，通过最长公共子串LCS算法和字符串相似度Levenshtein距离算法计算文本之间的相似距离，对整个问题的所有答案进行相似答案聚类。

最后，根据一个话题的所有回答微博，统计回答时间、回答用户所在城市等分布信息。

步骤5：将步骤4提取的该问题的整体树状转发结构、提取相似答案和过滤纯转发答案，以及统计分析的结果，在前端界面为用户提供多元化的结果展示。

步骤6：利用全局采集到的用户问答记录和具体用户资料信息，分析每个用户在问答系统中的活跃程度、感兴趣领域以及擅长领域等信息。

对于单个用户，系统形成了该用户所发表微博和所有回答的资料库。对这些微博资料进行分词之后，通过tf-idf（词频-反文档频率）算法计算排序最高的关键词作为标签。

具体的关键词tf-idf算法计算如下：

每一个用户所发表的微博作为该用户的文档集，所有用户所发表的微博合成全局的文档集。通过IKAnalyzer（中文分词库）分词器对每条微博进行分词，每条微博生成若干关键词集合，对于某个用户，每个关键词的tf（词频）值是该用户文档集中所包含该关键词的频率；与此类似，可计算得出每个关键词在全局文档集中出现的频率。最后，根据tf-idf公式为每个用户计算得出所有关键词的tf-idf值，排序后截取该值最大的一些关键词表示该用户的感兴趣领域和擅长领域信息。通过该方法，每个用户维护了一个带权重的关键词向量{(t₁, w₁), (t₂, w₂), …, (t_n, w_n)}。

其次，用户的活跃程度可以根据以下方法进行计算：

对于用户-维护单独的活跃程度active，每个用户的活跃程度active值根据该用户当天所发表的问答微博数量进行更新。更新后的活跃程度active值是前一天的活跃程度active值乘以固定的衰减系数（该衰减系数在0-1之间，通常可设置为0.6左右）再加上当天该用户所发表的问答微博数量。

推送算法可以通过以下过程实现：

首先，为了保证提升效果以及防止推送过程对用户进行骚扰等原因，对用户活跃程度设一定临界值threshold，只向活跃程度值在该临界值threshold之上的用户进行推送。

其次，计算每个新问题与每个用户之间的相似度值，该值表示了该问题与用户之间的相关性程度，通过对相似度值进行排序，截取相关性最高的一定量用户进行推送。

具体的相似度值计算方法如下：

新问题内容通过分词可以得到所包含的关键词列表，根据步骤6中计算得到的每个用户关键词向量，对所有匹配的关键词权重加合，作为该问题与该用户之间的相似度值。

最后，对计算得到的推送用户列表，通过步骤2开发的数据采集和发布模块，向该问题原微博发布一条评论微博，在评论中到所有待推送的用户。

Claims

1.一种基于微博的众包问答系统信息采集方法，其特征在于，包括如下步骤：

2.根据权利要求1所述基于微博的众包问答系统信息采集方法，其特征在于，所述步骤2由以下子步骤来实现：

（1）根据步骤1获取的第三方网站应用App Key和App Secrect信息，通过开放平台的开放授权OAuth2协议用官方账号登陆并完成授权，由此可以获取该官方账号访问微博数据的访问令牌Access Token；另外，其他微博用户在系统网站中通过微博登陆和完成授权，同样也可获得该账号绑定的访问令牌Access Token；

（2）根据相关微博账号所绑定的访问令牌Access Token，通过微博开放平台所提供的获取数据和发布数据API，实现数据采集和发布模块的代码；

（3）完成具体的开发之后，微博的用户只需要通过开放授权OAuth2登陆授权，系统就可以对该用户的数据进行采集和发布，所采集的数据包括用户所发表的问答微博数据和用户资料信息。

3.根据权利要求1所述基于微博的众包问答系统信息采集方法，其特征在于，所述步骤4中，所述对整个话题回答进行各类统计分析由以下子步骤来实现：

（1）根据微博的转发格式，对转发微博的文本内容进行分析，提取该话题的整体树状转发结构；微博的转发一般都以“//”的形式进行分隔，通过对转发内容的解析可以获得该条转发微博本身的文本内容，以及它所转发的父微博；对一个问题的所有转发微博进行分析之后，就可以得出该话题的整体树状转发结构；

（2）根据上一过程获取每条转发微博本身的文本内容，如果该文本内容为空，则这是一条纯转发答案，可以进行过滤；

（3）在提取相似答案步骤，根据每条回答的文本内容，通过最长公共子串LCS算法和字符串相似度Levenshtein距离算法计算文本之间的相似距离，对整个问题的所有答案进行相似答案聚类；

（4）根据一个话题的所有回答微博，统计回答时间、回答用户所在城市等分布信息。