CN107122436A - 大数据统计分析系统 - Google Patents

大数据统计分析系统 Download PDF

Info

Publication number
CN107122436A
CN107122436A CN201710258613.9A CN201710258613A CN107122436A CN 107122436 A CN107122436 A CN 107122436A CN 201710258613 A CN201710258613 A CN 201710258613A CN 107122436 A CN107122436 A CN 107122436A
Authority
CN
China
Prior art keywords
keyword
block
module
academic
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710258613.9A
Other languages
English (en)
Inventor
邹劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Water Resources and Electric Engineering College
Original Assignee
Chongqing Water Resources and Electric Engineering College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Water Resources and Electric Engineering College filed Critical Chongqing Water Resources and Electric Engineering College
Priority to CN201710258613.9A priority Critical patent/CN107122436A/zh
Publication of CN107122436A publication Critical patent/CN107122436A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3338—Query expansion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种大数据统计分析系统，包括数据服务器、数据库、模式切换块、学术模式块、应用模式块、关键词编辑窗口框、关键词分解模块、同义词库、客户端、统计筛选/分析模块；数据服务器通过数据库与模式切换块电性连接，模式切换块与学术模式块、应用模式块电性相连，启动模块分别与学术模式块、应用模式块电性相连，数据库分别与关键词编辑窗口框、同义词库、统计筛选/分析模块电性连接，客户端与关键词编辑窗口框、统计筛选/分析模块分别电性连接，关键词分解模块分别与关键词编辑窗口框、同义词库电性连接；模式切换块与关键词编辑窗口框电性连接；提高了数据分析统计专业性；实现更加全面与准确统计分析，真正实现大数据应用。

Description

大数据统计分析系统
技术领域
本发明涉及一种数据处理领域装置，尤其是一种数据统计分析更全面、准确与专业的大数据统计分析系统。
背景技术
大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，在大数据的概念提出至今，很少有实际应用确切实现大数据的开发，在统计分析中数据分析尤为重要，然而，传统的统计分析依据单一的检索引擎效果很差。
发明内容
为了克服现有的技术存在的不足,本发明提供一种大数据统计分析系统，该大数据统计分析系统通过学术模式块和应用模式块区分数据统计分析的目的，提高数据分析统计的专业性；通过关键词分解模块与同义词库配合将统计流程由传统单一检索转化为分解的精确检索实现更加全面与准确的统计分析，真正实现大数据的应用。
本发明解决其技术问题所采用的技术方案是：本发明包括数据服务器、数据库、模式切换块、学术模式块、应用模式块、启动模块、关键词编辑窗口框、关键词分解模块、同义词库、客户端、统计筛选/分析模块。
数据服务器通过数据库与模式切换块电性连接，模式切换块与学术模式块、应用模式块电性相连，启动模块分别与学术模式块、应用模式块电性相连，数据库分别与关键词编辑窗口框、同义词库、统计筛选/分析模块电性连接，客户端与关键词编辑窗口框、统计筛选/分析模块分别电性连接，关键词分解模块分别与关键词编辑窗口框、同义词库电性连接；模式切换块与关键词编辑窗口框电性连接；所述的启动模块至少包括电源启动程序；所述的模式切换块为物理切换装置用于选择连通学术模式块或应用模式块；所述的关键词编辑窗口框为获取用户关键词的编辑窗口程序；所述的关键词分解模块用于将关键词编辑窗口框的关键词按照预设语法分解，具体地分解算法包括：获取关键词，关键词分解，在同义词库中寻找分解后关键词的同义组合，形成检索单元集合，对单元集合元素分别检索。
在一个优选或可选地实施例中，所述的数据库为在线网络数据库或数据库接口，为与其连接的端口提供资源。
在一个优选或可选地实施例中，所述的学术模式块包括以学术目的检索算法设计的搜索引擎应用。
在一个优选或可选地实施例中，所述的应用模式块包括以应用目的检索算法设计的搜索引擎应用。
在一个优选或可选地实施例中，所述的同义词库为关键词编辑窗口框和同义词库提供同义词。
在一个优选或可选地实施例中，所述的统计筛选/分析模块以检索方式和用户标准映射方式筛选或分析。
在一个优选或可选地实施例中，所述的客户端为PC机或固定式客户端机，至少可以用以向关键词编辑窗口框输入关键词。
本发明的有益效果是，通过学术模式块和应用模式块区分数据统计分析的目的，提高数据分析统计的专业性；通过关键词分解模块与同义词库配合将统计流程由传统单一检索转化为分解的精确检索实现更加全面与准确的统计分析，真正实现大数据的应用。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是大数据统计分析系统实施例的构造图。
图2是关键词分解模块的算法步骤图。
图中
1、数据服务器
2、数据库
3、模式切换块
4、学术模式块
5、应用模式块
6、启动模块
7、关键词编辑窗口框
8、关键词分解模块
9、同义词库
10、客户端
11、统计筛选/分析模块
具体实施方式
在图1所示实施例中，本发明包括数据服务器1、数据库2、模式切换块3、学术模式块4、应用模式块5、启动模块6、关键词编辑窗口框7、关键词分解模块8、同义词库9、客户端10、统计筛选/分析模块11。其中，数据服务器1通过数据库2与模式切换块3电性连接，模式切换块3与学术模式块4、应用模式块5电性相连，启动模块6分别与学术模式块4、应用模式块5电性相连，数据库2分别与关键词编辑窗口框7、同义词库9、统计筛选/分析模块11电性连接，客户端10与关键词编辑窗口框7、统计筛选/分析模块11分别电性连接，关键词分解模块8分别与关键词编辑窗口框7、同义词库9电性连接；模式切换块3与关键词编辑窗口框7电性连接；所述的启动模块6至少包括电源启动程序；所述的模式切换块3为物理切换装置用于选择连通学术模式块4或应用模式块5；所述的关键词编辑窗口框7为获取用户关键词的编辑窗口程序；所述的关键词分解模块8用于将关键词编辑窗口框7的关键词按照预设语法分解，具体地分解算法如图2所示，包括：获取关键词，关键词分解，在同义词库9中寻找分解后关键词的同义组合，形成检索单元集合，对单元集合元素分别检索。
所述的数据库2为在线网络数据库或数据库接口，为与其连接的端口提供资源。
所述的学术模式块4包括以学术目的检索算法设计的搜索引擎应用。
所述的应用模式块5包括以应用目的检索算法设计的搜索引擎应用。
所述的同义词库9为关键词编辑窗口框7和同义词库9提供同义词。
所述的统计筛选/分析模块11以检索方式和用户标准映射方式筛选或分析。
所述的客户端10为PC机或固定式客户端10机，至少可以用以向关键词编辑窗口框7输入关键词。
具体实施时，模式切换块3切换学术模式块和应用模式块，两种模块的检索引擎均为其特定目的设定，有区别的有重点的设定，在选定特定搜索引擎的同时也可以实现特定目的统计分析。
具体实施时候，关键词分解模块8用于将关键词编辑窗口框7的关键词按照预设语法分解，分解算法包括：获取关键词，关键词分解，在同义词库9中寻找分解后关键词的同义组合，形成检索单元集合，对单元集合元素分别检索，在一个实施例中，比如，统计关键词为“上海居住人口数量”，将“上海”(假设上海包括：A、B、C区)分解为其同义词“A、B、C区”，形成集合为“A区居住人量；B区居住人量；B区居住人量”，然后分别统计分析“A区居住人量”，“B区居住人量”，“C区居住人量”，之后合计A、B、C区居住人量。在实践中检索分解的单元往往很多，比如，按照“居住”的同义词继续分解二。
具体实施时，所述的统计筛选/分析模块11以检索方式和用户标准映射方式筛选或分析，具体实施时，用户提前在服务器设置筛选的标准，统计筛选/分析模块11将检索结果再次检索并与标准进行映射，设映射的近似度最大评估值为客户端100，用户同样可以设置特定的映射近似度作为筛选的标准。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (7)

1.一种大数据统计分析系统，其特征是：包括数据服务器、数据库、模式切换块、学术模式块、应用模式块、启动模块、关键词编辑窗口框、关键词分解模块、同义词库、客户端、统计筛选/分析模块，数据服务器通过数据库与模式切换块电性连接，模式切换块与学术模式块、应用模式块电性相连，启动模块分别与学术模式块、应用模式块电性相连，数据库分别与关键词编辑窗口框、同义词库、统计筛选/分析模块电性连接，客户端与关键词编辑窗口框、统计筛选/分析模块分别电性连接，关键词分解模块分别与关键词编辑窗口框、同义词库电性连接；模式切换块与关键词编辑窗口框电性连接；所述的启动模块至少包括电源启动程序；所述的模式切换块为物理切换装置用于选择连通学术模式块或应用模式块；所述的关键词编辑窗口框为获取用户关键词的编辑窗口程序；所述的关键词分解模块用于将关键词编辑窗口框的关键词按照预设语法分解，具体地分解算法包括：获取关键词，关键词分解，在同义词库中寻找分解后关键词的同义组合，形成检索单元集合，对单元集合元素分别检索。
2.根据权利要求1所述的一种大数据统计分析系统，其特征是：所述的数据库为在线网络数据库或数据库接口，为与其连接的端口提供资源。
3.根据权利要求1所述的一种大数据统计分析系统，其特征是：所述的学术模式块包括以学术目的检索算法设计的搜索引擎应用。
4.根据权利要求1所述的一种大数据统计分析系统，其特征是：所述的应用模式块包括以应用目的检索算法设计的搜索引擎应用。
5.根据权利要求1所述的一种大数据统计分析系统，其特征是：所述的同义词库为关键词编辑窗口框和同义词库提供同义词。
6.根据权利要求1所述的一种大数据统计分析系统，其特征是：所述的统计筛选/分析模块以检索方式和用户标准映射方式筛选或分析。
7.根据权利要求1所述的一种大数据统计分析系统，其特征是：所述的客户端为PC机或固定式客户端机，至少可以用以向关键词编辑窗口框输入关键词。
CN201710258613.9A 2017-04-19 2017-04-19 大数据统计分析系统 Pending CN107122436A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710258613.9A CN107122436A (zh) 2017-04-19 2017-04-19 大数据统计分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710258613.9A CN107122436A (zh) 2017-04-19 2017-04-19 大数据统计分析系统

Publications (1)

Publication Number Publication Date
CN107122436A true CN107122436A (zh) 2017-09-01

Family

ID=59725744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710258613.9A Pending CN107122436A (zh) 2017-04-19 2017-04-19 大数据统计分析系统

Country Status (1)

Country Link
CN (1) CN107122436A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241263A (zh) * 2018-08-31 2019-01-18 重庆水利电力职业技术学院 一种大数据统计分析系统及其工作流程

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845104A (zh) * 2006-05-22 2006-10-11 赵开灏 信息智能检索加工的系统和方法
CN101246492A (zh) * 2008-02-26 2008-08-20 华中科技大学 基于自然语言的全文检索系统
CN102609480A (zh) * 2012-01-20 2012-07-25 苏州简拔林网络科技有限公司 一种双索引切换方法
CN103631807A (zh) * 2012-08-24 2014-03-12 腾讯科技（深圳）有限公司 引擎切换重搜的方法及装置
CN105426369A (zh) * 2014-09-04 2016-03-23 上海尧博信息科技有限公司 一种专利检索用语义解码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845104A (zh) * 2006-05-22 2006-10-11 赵开灏 信息智能检索加工的系统和方法
CN101246492A (zh) * 2008-02-26 2008-08-20 华中科技大学 基于自然语言的全文检索系统
CN102609480A (zh) * 2012-01-20 2012-07-25 苏州简拔林网络科技有限公司 一种双索引切换方法
CN103631807A (zh) * 2012-08-24 2014-03-12 腾讯科技（深圳）有限公司 引擎切换重搜的方法及装置
CN105426369A (zh) * 2014-09-04 2016-03-23 上海尧博信息科技有限公司 一种专利检索用语义解码方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241263A (zh) * 2018-08-31 2019-01-18 重庆水利电力职业技术学院 一种大数据统计分析系统及其工作流程

Similar Documents

Publication Publication Date Title
CN101908071B (zh) 一种提高搜索引擎搜索效率的方法及其系统
CN102035698B (zh) 基于决策树分类算法的http隧道检测方法
CN105138558B (zh) 基于用户访问内容的实时个性化信息采集方法
CN104809117B (zh) 视频数据聚合处理方法、聚合系统及视频搜索平台
CN103268350B (zh) 一种互联网舆情信息监测系统及监测方法
CN103825811A (zh) 一种接入传感器协议自识别的物联网网关实现方案
CN104021198B (zh) 基于本体语义索引的关系数据库信息检索方法及装置
CN104063448B (zh) 一种视频领域相关的分布式微博数据抓取系统
CN101788988B (zh) 信息抓取方法
WO2008134172A1 (en) Web spam page classification using query-dependent data
CN105843875A (zh) 一种面向智能机器人的问答数据处理方法及装置
CN102567494B (zh) 网站分类方法及装置
CN105721944A (zh) 智能电视的新闻资讯推荐方法
CN105718585B (zh) 文档与标签词语义关联方法及其装置
CN111428047A (zh) 一种基于ucl语义标引的知识图谱构建方法及装置
CN101162472A (zh) 用于农业复杂自适应搜索引擎系统的控制方法
CN107861944A (zh) 一种基于Word2Vec的文本标签提取方法及装置
CN103136372A (zh) 网络可信性行为管理中url快速定位、分类和过滤方法
CN103905482B (zh) 推送信息的方法、推送服务器和系统
CN103970891A (zh) 一种基于情境的用户兴趣信息查询方法
CN106959967B (zh) 一种链路预测模型的训练及链路预测方法
CN107679402A (zh) 恶意代码行为特征提取方法
CN107784113A (zh) Html网页数据采集方法、装置和计算机可读存储介质
CN113409555A (zh) 一种基于物联网的实时报警联动方法及系统
CN105117434A (zh) 一种网页分类方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170901

RJ01 Rejection of invention patent application after publication