CN108197234A - 一种数据挖掘系统 - Google Patents

Abstract

本发明涉及一种数据挖掘系统，包括预设维度子系统、维度管理子系统、维度运用子系统、整体设计子系统、相关度分析子系统、对比度分析子系统、热门标签子系统、趋势分析子系统以及基础功能子系统。本发明的有益效果在于，提供一种操作简单且效率高的数据挖掘系统。

Description

一种数据挖掘系统

技术领域

本发明涉及一种数据挖掘系统。

背景技术

从数据本身来考虑，通常数据挖掘需要有数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示等8个步骤：(1)信息收集:根据确定的数据分析对象抽象出在数据分析中所需要的特征信息，然后选择合适的信息收集方法，将收集到的信息存入数据库。对于海量数据，选择一个合适的数据存储和管理的数据仓库是至关重要的。(2)数据集成:把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。(3)数据规约:执行多数的数据挖掘算法即使在少量数据上也需要很长的时间，而做商业运营数据挖掘时往往数据量非常大。数据规约技术可以用来得到数据集的规约表示，它小得多，但仍然接近于保持原数据的完整性，并且规约后执行数据挖掘结果与规约前执行结果相同或几乎相同。(4)数据清理:在数据库中的数据有一些是不完整的(有些感兴趣的属性缺少属性值)，含噪声的(包含错误的属性值)，并且是不一致的(同样的信息不同的表示方式)，因此需要进行数据清理，将完整、正确、一致的数据信息存入数据仓库中。(5)数据变换:通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。对于有些实数型数据,通过概念分层和数据的离散化来转换数据也是重要的一步。(6)数据挖掘过程:根据数据仓库中的数据信息，选择合适的分析工具，应用统计方法、事例推理、决策树、规则推理、模糊集、甚至神经网络、遗传算法的方法处理信息，得出有用的分析信息。(7)模式评估:从商业角度，由行业专家来验证数据挖掘结果的正确性。(8)知识表示:将数据挖掘所得到的分析信息以可视化的方式呈现给用户，或作为新的知识存放在知识库中，供其他应用程序使用。

数据挖掘过程是一个反复循环的过程，每一个步骤如果没有达到预期目标，都需要回到前面的步骤，重新调整并执行。不是每件数据挖掘的工作都需要这里列出的每一步，例如在某个工作中不存在多个数据源的时候，步骤(2)数据集成的步骤便可以省略。

发明内容

鉴于现有技术中存在的上述问题，本发明的主要目的在于提供一种操作简单且效率高的数据挖掘系统。

本发明的技术方案是这样的：

一种数据挖掘系统，包括预设维度子系统、维度管理子系统、维度运用子系统、整体设计子系统、相关度分析子系统、对比度分析子系统、热门标签子系统、趋势分析子系统以及基础功能子系统。

其中，所述预设维度子系统包括时间维度模块、地域维度模块、任务维度模块、机构维度模块、党派维度模块、企业维度模块、著作维度模块、引语维度模块、金融维度模块、主题维度模块、来源维度模块。

所述维度管理子系统包括维度状态管理模块以及维度显示管理模块，其中：

所述维度管理模块用于对维度状态进行调整，所述维度状态包括停用和启用两种状态，当选择停用时，维度状态不在页面中显示；

所述维度显示管理模块用于对维度显示进行调整，且所述维度显示为三个维度。

所述维度运用子系统，对维度的运用采用交叉式，用户可以根据需要进行多类型维度组合，从而将网络采集的数据进行整合显示。

所述整体设计子系统包括主题词检索区域模块、维度选择区域模块、数据挖掘区域模块、辅助功能区域模块、主要功能选择区域模块，其中：

所述主题词检索区域模块用于为用户提供主题词的输入框，系统将输入框的信息传入后台，然后在数据挖掘系统整体显示区域中显示所需结果；

所述纬度选择区域模块用于显示数据挖掘系统预设的十种维度，用户可以根据需要进行选择，以便于数据挖掘系统显示内容更加精准；

所述数据挖掘系统整体显示区域模块用于显示区域主要为相关度分析、对比度分析、热门标签、趋势分析功能显示结果；

所述辅助功能区域模块包括时间控制区域，挖掘结果数量控制区域等功能模块。

所述主要功能选择区域模块用于显示主要功能的控制按钮。

所述基础功能子系统包括导出管理模块、打印管理模块、关键词管理模块、关键词审批模块、显示模式管理模块、检索管理模块以及个性化显示设置模块，其中：

所述导出管理模块用于对显示内容的导出，用户可以根据实际需要将结果导出成图片格式进行使用；

所述打印管理模块用于对显示内容进行打印，打印管理模块将平台与打印机进行集成，用户可以将显示内容通过点击打印按钮进行打印；

所述关键词管理模块中，用户可以统计结果中对关键词进行操作。

所述关键词审批模块用于对用户提交的关键词调整信息发送至数据挖掘系统中的管理员处进行汇总审核，通过审核的关键词，每月月底进行统一更新，并由系统后台程序重新分析发布；

所述显示模式管理模块，系统预设多种显示模式，用户可以根据个人需要和喜好选择不同的显示模式，系统自动存储个人选择，再次登录时直接显示设置后的显示方式；

所述检索管理模块，包括精准检索、模糊检索、检索历史三种模式。

还包括数据量统计分析子系统以及用户量统计分析子系统，其中：

所述数据量统计分析子系统用于对数据进行统计，包括本月信息变动统计以及年度信息量变动统计，同时与上月信息数据进行比对；

所述用户量统计分析子系统用于对用户进行统计，包括活跃用户及非活跃用户；以及不同用户类型的统计。

本发明具有以下优点和有益效果：本发明的数据挖掘系统，包括预设维度子系统、维度管理子系统、维度运用子系统、整体设计子系统、相关度分析子系统、对比度分析子系统、热门标签子系统、趋势分析子系统以及基础功能子系统；其具有操作简单且效率高的特点。

附图说明

图1为本发明实施例提供的数据挖掘系统的原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面将参照附图和具体实施例对本发明作进一步的说明。

如图1所示：本发明实施例的数据挖掘系统，包括预设维度子系统、维度管理子系统、维度运用子系统、整体设计子系统、相关度分析子系统、对比度分析子系统、热门标签子系统、趋势分析子系统以及基础功能子系统。

其中，所述预设维度子系统包括时间维度模块、地域维度模块、任务维度模块、机构维度模块、党派维度模块、企业维度模块、著作维度模块、引语维度模块、金融维度模块、主题维度模块、来源维度模块。

在数据挖掘模块中，时间是一个默认维度，作为信息数据最为基础的筛选条件。常用的时间维度包括日、周、月、季度、半年、年度等。本项目依据初期数据量估算，确定初期三级维度为：a)日；b)月；c)年。在后期数据量扩展后，可以对时间维度进行扩展，包括周、季度等维度。

数据挖掘分析维度的确定是数据挖掘系统的基础部分，后续各方面的工作推进需要在维度确认的基础之上进行。经过对友城项目整体内容的讨论与分析，及借鉴原有外交外事数据挖掘系统的分析维度，我们商定以下原则，一是技术架构要求分为3级；二是能做哪个维度，先做哪个维度；三是强调注重人机交互，即机器和人要配合做数据挖掘。其中分析维度要有情报价值；要求对决策有帮助，同时保证系统在技术层面方便操作实施。

地域维度划分为三个层子级维度，包括大洲、国家、城市(现有的54个友好城市)。用户可以根据需要总体进行选择。

人物纬度模块：人物维度暂时划分为政府人员非政府人员两个子维度，同时系统中保留三级子维度，以便于后续扩展：

a)政府相关官员：包括国家元首、城市领导等，如美国总统奥巴马、特朗普等，纽约市市长迈克尔·R·布隆博格；

b)非政府组织人员

包括各类民间组织相关领导人、各领域专家学者、企业负责人等。

机构纬度模块：根据外办现有各类组织机构进行相应的子级维度划分。外办现在建立了NGO系统，用于对各类组织进行梳理。在现有NGO系统中主要分类为两大类，第一大类包括包括：国际组织联合会、会员组织、洲际会员组织、区域会员组织、区域会员组织、专有会员组织、特殊形式组织、国际化国家组织、不活跃国际组织、附属组织、国家组织、宗教组织、会议组织、多变条约组织、不活跃组织等；第二大类包括政府间双边组织、系列会议、已解散，停止活动的组织、商业性企业、基金会、政府间组织、研究机构、国家组织、信息存疑的组织、个人会员组织、近期无消息组织、与国际组织的成员等。参考NGO系统提出多种机构划分维度，如按照成员类型划分为政府间国际组织和非政府国际组织，按照地域类型划分为全球性国际组织和区域性国际组织，按照性质类型划分为政治性国际组织和专业性国际组织等，依旧保留三级子维度，以便于后续扩展。

党派纬度模块：以现有的党派名称为分析维度，参照中联部的划分标准，建立分析子维度，同时系统中保留三级子维度，以便于后续扩展。

企业纬度模块：建立国内外企业名录，参照商务委的划分标准，建立分析子维度，同时系统中保留三级子维度，以便于后续扩展。

著作维度模块：以行业及政府的各种标准、法规、书名等有书名号的著作和作品，作为维度进行分析，同时系统中保留三级子维度，以便于后续扩展。著作维度初期以法律法规、标准规范、出版物作为一级维度。二级维度，在法律法规中可以分国家法律法规、地方法规、司法解释、中外条约、政策等；标准规范为国家规范、国际规范、行业规范等；出版物为不定期出版物、定期出版物等。三级维度保留，根据二级维度的内容进行扩展。

引语维度模块：依据领导人发言中各类词句的直接引用，作为分析维度。引语一般分为引语分直接引语和间接引语，本项目初期不进行分级，在后续可以进行扩展。

金融纬度模块：常用金融指标包括:货币供应增长率、实际利率、通货膨胀率、国内信贷增长率、实际GDP增长率、财政收支差额、外汇储备可供进口月数、外汇储备、短期外债、贸易差额、外债总额、实际汇率及波动程度、外国直接投资、外债、经常项目、贸易差、外汇储备、外债总额、短期资本流入、股市价格指数波动幅度、不良资产、银行总资产、银行资本充足率等。项目建立初期，以美元指数作为金融指标，但保留金融维度延展性，能够根据实际需要进行扩展。

主体纬度模块：以全库数据信息作为基础，以关键词或用户直接定义词为主题来分析数据，同时系统中保留三级子维度，以便于后续扩展。

来源纬度模块：目前外办有诸多媒体，但友城项目初期数据来源主要包括外交部、商务部及使馆、商务参赞处的官方网站，故将来源维度作为保留维度，同时系统中保留三级子维度，以便于后续扩展。

所述维度管理子系统提供维度状态调整功能，管理员可以通过数据挖掘模块维度管理功能进行调整。维度状态包括停用和启用两种状态，当选择停用时，维度状态将不在页面中显示，纬度管理子系统包括维度状态管理模块以及维度显示管理模块，其中：

所述维度管理模块用于对维度状态进行调整，所述维度状态包括停用和启用两种状态，当选择停用时，维度状态不在页面中显示；

所述维度显示管理模块用于对维度显示进行调整，且所述维度显示为三个维度。

所述维度运用子系统，对维度的运用采用交叉式，用户可以根据需要进行多类型维度组合，从而将网络采集的数据进行整合显示；维度的确认为数据挖掘系统的相关度分析和对比度分析奠定基础；可匹配维度的元素包括颜色、距离、形状、大小、纹理、透明度等，前端显示利用多种元素对数据挖掘结果进行展示。

所述整体设计子系统包括主题词检索区域模块、维度选择区域模块、数据挖掘区域模块、辅助功能区域模块、主要功能选择区域模块，其中：

所述主题词检索区域模块用于为用户提供主题词的输入框，系统将输入框的信息传入后台，然后在数据挖掘系统整体显示区域中显示所需结果；

所述纬度选择区域模块用于显示数据挖掘系统预设的十种维度，用户可以根据需要进行选择，以便于数据挖掘系统显示内容更加精准；

所述数据挖掘系统整体显示区域模块用于显示区域主要为相关度分析、对比度分析、热门标签、趋势分析等功能显示结果；

所述辅助功能区域模块包括时间控制区域，挖掘结果数量控制区域等功能模块。时间控制区域以年、月、日进行显示，选择年时，显示最近5年的五个刻度；选择月时，显示一至十二的十二个刻度；选择日时，显示一至三十一的刻度。显示结果数量控制区域控制的是最终关键词的显示数量；

所述主要功能选择区域模块用于显示主要功能的控制按钮。

相关度分析子系统，即是分析关键词与文章或文章与文章之间的相关程度，这是所有计算机信息检索和搜索引擎的最基础，因为只有知道了检索关键词与某篇文章的相关程度，才能够确定这篇文章是否是所需要的检索结果，否则一切信息检索都无从谈起。友城平台数据挖掘系统通过相关度分析将平台所具有的数据(包括采集数据-采集系统交换、发布数据-用户发布的项目及资讯、对接数据-其他系统对接数据)进行分析，根据用户提出的关键词以及系统预设维度，展示出相关信息。相关度分析显示关键词图谱和圆形关联两种模式进行显示。

关键词图谱中心显示用户输入的关键词，中间层显示限制维度、最外层显示数据挖掘关键词。中间层级与最外层采用不同颜色显示，加以区分。图谱左侧显示所显示维度，右侧显示不同颜色所展示的类型图示。整个页面右侧包含一个显示模式切换面板，面板可以通过点击按钮进行伸缩或展开。在图谱界面中可以切换到圆形关联图示中。圆形关系图示中，以不同显示显示不同二级维度，同时在与主关键词挖掘的结果中显示其他的关联关系。

当点击数据挖掘的结果关键词，可以显示与两个关键词相关的资讯列表，在资料列表上方显示两个关键词名称，下方显示相关资讯标题与发布时间。用户选择资讯标题可以查看资讯详细信息。

对比度分析子系统，对比度分析是相关度的延伸，根据用户设置的所需对比关键词，提供整个资源库中文本数据对比分析结果。

热门标签子系统：根据对友城资源库整体分析，按照热门程度进行排序，显示排序较前的关键词，系统默认按照全资源库的数据进行统计，同时提供依照字母表规则进行筛选的功能。

趋势分析子系统：趋势分析显示一类信息的整体热门程度，并附加金融信息(美元指数的变化情况)，以便于用户能够更加直观的看到相关信息(如领域、人员)与美元指数变动的关联关系。

所述基础功能子系统包括导出管理模块、打印管理模块、关键词管理模块、关键词审批模块、显示模式管理模块、检索管理模块以及个性化显示设置模块，其中：

所述导出管理模块用于对显示内容的导出，用户可以根据实际需要将结果导出成图片格式进行使用；

所述打印管理模块用于对显示内容进行打印，打印管理模块将平台与打印机进行集成，用户可以将显示内容通过点击打印按钮进行打印；

所述关键词管理模块中，用户可以统计结果中对关键词进行操作，包括关键词的新增、移除、合并；用户可以通过在显示图形中右键操作，选择不同的操作模式，所述关键词新增为：用户可以选择具体词汇进行新增，新增方向包括个人关键词库和系统关键词库，所述关键词移除为：用户可以将非关键词进行移除，包括在个人关键词库中医处和系统关键词库中移除；所述关键词合并为：用户可以将相关关键词进行合并，如全称与简称进行合并，从而使得数据挖掘结果更加精准

所述关键词审批模块用于对用户提交的关键词调整信息发送至数据挖掘系统中的管理员处进行汇总审核，通过审核的关键词，每月月底进行统一更新，并由系统后台程序重新分析发布；

所述显示模式管理模块，系统预设多种显示模式，用户可以根据个人需要和喜好选择不同的显示模式，系统自动存储个人选择，再次登录时直接显示设置后的显示方式；

所述检索管理模块，包括精准检索、模糊检索、检索历史三种模式，所述精准检索为：用户输入完整、准确的关键词进行搜索，系统根据用户输入关键词进行最大匹配，反馈更加精准的结果；

所述个性化显示设置模块，。

还包括数据量统计分析子系统以及用户量统计分析子系统，其中：

所述数据量统计分析子系统用于对数据进行统计，包括本月信息变动统计以及年度信息量变动统计，同时与上月信息数据进行比对；

所述用户量统计分析子系统用于对用户进行统计，包括活跃用户及非活跃用户(活跃用户及非活跃用户的区别在于本月是否登录和使用本系统)；以及不同用户类型的统计(包括企业用户和政府用户)。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种数据挖掘系统，其特征在于：包括预设维度子系统、维度管理子系统、维度运用子系统、整体设计子系统、相关度分析子系统、对比度分析子系统、热门标签子系统、趋势分析子系统以及基础功能子系统。

2.根据权利要求1所述的数据挖掘系统，其特征在于，所述预设维度子系统包括时间维度模块、地域维度模块、任务维度模块、机构维度模块、党派维度模块、企业维度模块、著作维度模块、引语维度模块、金融维度模块、主题维度模块、来源维度模块。

3.根据权利要求1所述的数据挖掘系统，其特征在于，所述维度管理子系统包括维度状态管理模块以及维度显示管理模块，其中：

所述维度管理模块用于对维度状态进行调整，所述维度状态包括停用和启用两种状态，当选择停用时，维度状态不在页面中显示；

所述维度显示管理模块用于对维度显示进行调整，且所述维度显示为三个维度。

4.根据权利要求1所述的数据挖掘系统，其特征在于，所述维度运用子系统，对维度的运用采用交叉式，用户可以根据需要进行多类型维度组合，从而将网络采集的数据进行整合显示。

5.根据权利要求1所述的数据挖掘系统，其特征在于，所述整体设计子系统包括主题词检索区域模块、维度选择区域模块、数据挖掘区域模块、辅助功能区域模块、主要功能选择区域模块，其中：

所述主题词检索区域模块用于为用户提供主题词的输入框，系统将输入框的信息传入后台，然后在数据挖掘系统整体显示区域中显示所需结果；

所述纬度选择区域模块用于显示数据挖掘系统预设的十种维度，用户可以根据需要进行选择，以便于数据挖掘系统显示内容更加精准；

所述数据挖掘系统整体显示区域模块用于显示区域主要为相关度分析、对比度分析、热门标签、趋势分析功能显示结果；

所述辅助功能区域模块包括时间控制区域，挖掘结果数量控制区域等功能模块。

所述主要功能选择区域模块用于显示主要功能的控制按钮。

6.根据权利要求1所述的数据挖掘系统，其特征在于，所述基础功能子系统包括导出管理模块、打印管理模块、关键词管理模块、关键词审批模块、显示模式管理模块、检索管理模块以及个性化显示设置模块，其中：

所述导出管理模块用于对显示内容的导出，用户可以根据实际需要将结果导出成图片格式进行使用；

所述打印管理模块用于对显示内容进行打印，打印管理模块将平台与打印机进行集成，用户可以将显示内容通过点击打印按钮进行打印；

所述关键词管理模块用于在统计结果中对关键词进行操作；

所述关键词审批模块用于对用户提交的关键词调整信息发送至数据挖掘系统中的管理员处进行汇总审核，通过审核的关键词，每月月底进行统一更新，并由系统后台程序重新分析发布；

所述显示模式管理模块，系统预设多种显示模式，用户可以根据个人需要和喜好选择不同的显示模式，系统自动存储个人选择，再次登录时直接显示设置后的显示方式；

所述检索管理模块，包括精准检索、模糊检索、检索历史三种模式。

7.根据权利要求1所述的数据挖掘系统，其特征在于，还包括数据量统计分析子系统以及用户量统计分析子系统，其中：

所述数据量统计分析子系统用于对数据进行统计，包括本月信息变动统计以及年度信息量变动统计，同时与上月信息数据进行比对；

所述用户量统计分析子系统用于对用户进行统计，包括活跃用户及非活跃用户；以及不同用户类型的统计。