CN107819813A - 大数据综合分析处理服务系统 - Google Patents

大数据综合分析处理服务系统 Download PDF

Info

Publication number
CN107819813A
CN107819813A CN201710832025.1A CN201710832025A CN107819813A CN 107819813 A CN107819813 A CN 107819813A CN 201710832025 A CN201710832025 A CN 201710832025A CN 107819813 A CN107819813 A CN 107819813A
Authority
CN
China
Prior art keywords
data
module
construction
field
service system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710832025.1A
Other languages
English (en)
Other versions
CN107819813B (zh
Inventor
张龙妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201710832025.1A priority Critical patent/CN107819813B/zh
Publication of CN107819813A publication Critical patent/CN107819813A/zh
Application granted granted Critical
Publication of CN107819813B publication Critical patent/CN107819813B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Abstract

本发明公开了一种大数据综合分析处理服务系统，涉及大数据分析处理领域。该系统包括：服务器终端、云端数据库和用户终端；服务器终端包括：用户编辑模块、数据收集模块、访问接收模块、数据整合模块、数据标准化处理模块、数据自定义处理模块、学习交流模块、信息提醒模块、网络监管模块和中央处理模块。本发明通过设置用户编辑模块、数据收集模块、访问接收模块、数据整合模块、数据标准化处理模块和数据自定义处理模块，使各企业和各级政府可以通过相应的用户终端对建设中涉及的大数据进行高效管理和深入了解，进而做深入分析研究，以便于企业和/或政府进行未来规划。

Description

大数据综合分析处理服务系统
技术领域
本发明涉及大数据分析处理领域，更具体的涉及一种大数据综合分析处理服务系统。
背景技术
经济区开放后，我国企业对相关国家进行了直接投资，并且承接了相关国家的服务外包合同。重点支持基础设施互联互通、能源资源开发利用、经贸产业合作区建设、产业核心技术研发支撑等战略性优先项目。坚持陆海统筹，坚持内外统筹，加强政企统筹，鼓励国内企业到沿线国家投资经营，也欢迎沿线国家企业到我国投资兴业，加强建设同京津冀协同发展、长江经济带发展等国家战略的对接，同西部开发、东北振兴、中部崛起、东部率先发展、沿边开发开放的结合，带动形成全方位开放、东中西部联动发展的局面。
建设面对的是本国和相关国家各领域的企业，因而建设管理涉及到的是大数据分析处理，为了深化金融领域合作，打造多层次金融平台，在建立建设长期、稳定、可持续、风险可控的金融保障体系时，考虑各相关企业对建设的全面深入了解是建设的基础。
综上所述，现有技术中，存在大数据系统不够实用化，不能使各企业全面深入了解建设的问题。
发明内容
本发明实施例提供的大数据综合分析处理服务系统，用以解决现有技术中存在大数据系统不够实用化，不能使各企业全面深入了解建设的问题。
本发明实施例提供的大数据综合分析处理服务系统，包括：服务器终端、云端数据库和用户终端；
所述服务器终端包括：用户编辑模块、数据收集模块、访问接收模块、数据整合模块、数据标准化处理模块、数据自定义处理模块、学习交流模块、信息提醒模块、网络监管模块和中央处理模块；
用户编辑模块，用于输入建设中涉及的数据；以及用于根据查询目标查询建设中涉及的数据；
所述数据收集模块，用于通过数据采集适配器对多种类型数据源的建设中涉及的数据进行收集，并按照领域将建设中涉及的数据分类存储至所述云端数据库中；其中，多种类型数据源的建设中涉及的数据来源于各企业和各级政府在网络上发布的信息；
所述访问接收模块，用于对各用户终端的等级进行权限验证；以及用于接收各用户终端发送的具有实时性或者非实时性响应时间要求的各种访问请求，并确定各种访问请求的优先级；其中，所述用户终端包括：各企业交互终端和各级政府交互终端；
所述数据整合模块，用于根据各用户终端发送的访问请求按照优先级从所述云端数据库中中调取相应的数据，并对调取的数据进行封装整合为与各访问请求对应的任务数据块；
所述数据标准化处理模块，用于将接收到的访问请求对应的任务数据块解析后做列表和图表处理；
所述数据自定义处理模块，用于将接收到的访问请求对应的任务数据块解析后通过自定义请求命令做所需要的统计分析处理；
所述学习交流模块，用于学习建设的理论学术研究和实际体现分析管理方法；以及用于各企业和各级政府之间的互动交流；
所述信息提醒模块，用于设定信息处理提醒命令，并通过手机网络短信的形式提醒设定信息处理时间到达；以及用于设定特定交流对象上线提醒命令，并通过手机网络短信的形式提醒在线学习交流的特定交流对象上线；
所述网络监管模块，用于根据建设体系的制度，对网络传输数据进行保密安全传输；以及用于各级政府对各企业事件的宏观监控；
所述中央处理模块，用于协调上述模块正常工作。
较佳地，所述建设中涉及的数据为参与建设的各国企业和各国政府编辑输入；所述建设中涉及的数据，包括：基础设施领域数据、能源资源开发利用领域数据、经贸产业合作区建设领域数据和产业核心技术研发领域数据；其中，基础设施领域、能源资源开发利用领域、经贸产业合作区建设领域和产业核心技术研发领域中的数据均包括：原始数据、统计数据和经验共享数据。
较佳地，所述数据采集适配器支持JMS、TibcoRV、EMS、SNMP、Socket、 SMTP、RSS和HTTP数据源。
较佳地，所述服务器还包括：数据清洗模块；所述数据清洗模块，用于剔除待清洗数据中的无用数据；所述无用数据包括：失效数据、业务范围外数据和特定隐私数据。
本发明实施例中，提供的大数据综合分析处理服务系统，与现有技术相比，其有益效果如下：本发明通过设置用户编辑模块、数据收集模块、访问接收模块、数据整合模块、数据标准化处理模块和数据自定义处理模块，使各企业和各级政府可以通过相应的用户终端对建设中涉及的大数据进行高效管理和深入了解，进而做深入分析研究，以便于企业和/或政府进行未来规划；同时，本发明通过设置学习交流模块、信息提醒模块和网络监管模块，使本系统具有服务功能、信息提醒功能和监管功能，即丰富了本系统的功能，建立了健全稳定的大数据综合分析处理服务系统。
附图说明
图1为本发明实施例提供的大数据综合分析处理服务系统总体图；
图2为本发明实施例提供的大数据综合分析处理服务系统中服务器终端内部原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的大数据综合分析处理服务系统总体图。如图1 所示，该系统包括：服务器终端1、云端数据库2和用户终端3。
需要说明的是，本发明中的服务器终端1分别与云端数据库2和多个用户终端3实现互联网通信。其中，用户终端3包括：各企业交互终端301和各级政府交互终端302。
图2为本发明实施例提供的大数据综合分析处理服务系统中服务器终端内部原理框图。如图2所示，该系统中的服务器终端1包括：用户编辑模块101、数据收集模块102、访问接收模块103、数据整合模块104、数据标准化处理模块105、数据自定义处理模块106、学习交流模块107、信息提醒模块108、网络监管模块109和中央处理模块110。
其中，用户编辑模块101，用于输入建设中涉及的数据；以及用于根据查询目标查询建设中涉及的数据。即用户编辑模块101实现的是数据的输入操作和查询操作，且用户编辑模块101还具有输出功能。
需要说明的是，建设中涉及的数据为参与建设的各国企业和各国政府编辑输入；建设中涉及的数据，包括：基础设施领域数据、能源资源开发利用领域数据、经贸产业合作区建设领域数据和产业核心技术研发领域数据；其中，基础设施领域、能源资源开发利用领域、经贸产业合作区建设领域和产业核心技术研发领域中的数据均包括：原始数据、统计数据和经验共享数据。
其中，数据收集模块102，用于通过数据采集适配器对多种类型数据源的建设中涉及的数据进行收集，并按照领域将建设中涉及的数据分类存储至云端数据库中2；其中，多种类型数据源的建设中涉及的数据来源于各企业和各级政府在网络上发布的信息。
需要说明的是，数据采集适配器支持JMS、TibcoRV、EMS、SNMP、Socket、 SMTP、RSS和HTTP数据源。
其中，访问接收模块103，用于对各用户终端3的等级进行权限验证；以及用于接收各用户终端3发送的具有实时性或者非实时性响应时间要求的各种访问请求，并确定各种访问请求的优先级。
其中，数据整合模块104，用于根据各用户终端3发送的访问请求按照优先级从云端数据库中2中调取相应的数据，并对调取的数据进行封装整合为与各访问请求对应的任务数据块。
需要说明的是，数据的分类存储、确定各种访问请求的优先级和对调取的数据进行封装整合为与各访问请求对应的任务数据块，实现了数据的高效管理和传输。
其中，数据标准化处理模块105，用于将接收到的访问请求对应的任务数据块解析后做列表和图表处理。
其中，数据自定义处理模块106，用于将接收到的访问请求对应的任务数据块解析后通过自定义请求命令做所需要的统计分析处理。
需要说明的是，本发明对数据进行标准化的列表和图表处理，便于用户终端获取较原始的数据以进行深入分析；以及对数据进行自定义处理，可以根据用户需要对数据进行统计分析处理，分析的数据结果具有针对性。
其中，学习交流模块107，用于学习建设的理论学术研究和实际体现分析管理方法；以及用于各企业和各级政府之间的互动交流。
需要说明的是，本发明设置学习交流模块，使大数据综合分析处理服务系统具有学习服务功能，丰富了系统的功能，增强了实用性。
其中，信息提醒模块108，用于设定信息处理提醒命令，并通过手机网络短信的形式提醒设定信息处理时间到达；以及用于设定特定交流对象上线提醒命令，并通过手机网络短信的形式提醒在线学习交流的特定交流对象上线。
需要说明的是，本发明中通过设定信息处理时间到达时刻进行信息处理提醒，以及通过设定在线学习交流的特定交流对象上线提醒，使大数据综合分析处理服务系统实现了高效管理，实用性强。
其中，网络监管模块109，用于根据建设体系的制度，对网络传输数据进行保密安全传输；以及用于各级政府对各企业事件的宏观监控。
需要说明的是，本发明通过设置网络监管模块对网络传输数据进行安全传输监管，以及各级政府对各企业事件的宏观监控，实现了大数据综合分析处理服务系统的安全管理功能。
其中，中央处理模块110，用于协调上述模块正常工作。
较佳地，服务器1还包括：数据清洗模块111；数据清洗模块111，用于剔除待清洗数据中的无用数据；无用数据包括：失效数据、业务范围外数据和特定隐私数据。
综上所述，本发明通过设置用户编辑模块、数据收集模块、访问接收模块、数据整合模块、数据标准化处理模块和数据自定义处理模块，使各企业和各级政府可以通过相应的用户终端对建设中涉及的大数据进行高效管理和深入了解，进而做深入分析研究，以便于企业和/或政府进行未来规划；同时，本发明通过设置学习交流模块、信息提醒模块和网络监管模块，使本系统具有服务功能、信息提醒功能和监管功能，即丰富了本系统的功能，建立了健全稳定的大数据综合分析处理服务系统。
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.大数据综合分析处理服务系统，其特征在于，包括：服务器终端(1)、云端数据库(2)和用户终端(3)；
所述服务器终端(1)包括：用户编辑模块(101)、数据收集模块(102)、访问接收模块(103)、数据整合模块(104)、数据标准化处理模块(105)、数据自定义处理模块(106)、学习交流模块(107)、信息提醒模块(108)、网络监管模块(109)和中央处理模块(110)；
用户编辑模块(101)，用于输入建设中涉及的数据；以及用于根据查询目标查询建设中涉及的数据；
所述数据收集模块(102)，用于通过数据采集适配器对多种类型数据源的建设中涉及的数据进行收集，并按照领域将建设中涉及的数据分类存储至所述云端数据库中(2)；其中，多种类型数据源的建设中涉及的数据来源于各企业和各级政府在网络上发布的信息；
所述访问接收模块(103)，用于对各用户终端(3)的等级进行权限验证；以及用于接收各用户终端(3)发送的具有实时性或者非实时性响应时间要求的各种访问请求，并确定各种访问请求的优先级；其中，所述用户终端(3)包括：各企业交互终端(301)和各级政府交互终端(302)；
所述数据整合模块(104)，用于根据各用户终端(3)发送的访问请求按照优先级从所述云端数据库中(2)中调取相应的数据，并对调取的数据进行封装整合为与各访问请求对应的任务数据块；
所述数据标准化处理模块(105)，用于将接收到的访问请求对应的任务数据块解析后做列表和图表处理；
所述数据自定义处理模块(106)，用于将接收到的访问请求对应的任务数据块解析后通过自定义请求命令做所需要的统计分析处理；
所述学习交流模块(107)，用于学习建设的理论学术研究和实际体现分析管理方法；以及用于各企业和各级政府之间的互动交流；
所述信息提醒模块(108)，用于设定信息处理提醒命令，并通过手机网络短信的形式提醒设定信息处理时间到达；以及用于设定特定交流对象上线提醒命令，并通过手机网络短信的形式提醒在线学习交流的特定交流对象上线；
所述网络监管模块(109)，用于根据建设体系的制度，对网络传输数据进行保密安全传输；以及用于各级政府对各企业事件的宏观监控；
所述中央处理模块(110)，用于协调上述模块正常工作。
2.如权利要求1所述的大数据综合分析处理服务系统，其特征在于，所述建设中涉及的数据为参与建设的各国企业和各国政府编辑输入；所述建设中涉及的数据，包括：基础设施领域数据、能源资源开发利用领域数据、经贸产业合作区建设领域数据和产业核心技术研发领域数据；其中，基础设施领域、能源资源开发利用领域、经贸产业合作区建设领域和产业核心技术研发领域中的数据均包括：原始数据、统计数据和经验共享数据。
3.如权利要求1所述的大数据综合分析处理服务系统，其特征在于，所述数据采集适配器支持JMS、TibcoRV、EMS、SNMP、Socket、SMTP、RSS和HTTP数据源。
4.如权利要求1所述的大数据综合分析处理服务系统，其特征在于，所述服务器(1)还包括：数据清洗模块(111)；所述数据清洗模块(111)，用于剔除待清洗数据中的无用数据；所述无用数据包括：失效数据、业务范围外数据和特定隐私数据。
CN201710832025.1A 2017-09-15 2017-09-15 大数据综合分析处理服务系统 Expired - Fee Related CN107819813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710832025.1A CN107819813B (zh) 2017-09-15 2017-09-15 大数据综合分析处理服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710832025.1A CN107819813B (zh) 2017-09-15 2017-09-15 大数据综合分析处理服务系统

Publications (2)

Publication Number Publication Date
CN107819813A true CN107819813A (zh) 2018-03-20
CN107819813B CN107819813B (zh) 2020-07-28

Family

ID=61607588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710832025.1A Expired - Fee Related CN107819813B (zh) 2017-09-15 2017-09-15 大数据综合分析处理服务系统

Country Status (1)

Country Link
CN (1) CN107819813B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965829A (zh) * 2018-08-29 2018-12-07 安徽医学高等专科学校 一种基于计算机网络的环境视频监控预警系统
CN109509009A (zh) * 2018-12-29 2019-03-22 天津卓朗科技发展有限公司 服务企业家创新管理系统及方法
CN110347655A (zh) * 2019-06-12 2019-10-18 江苏富山软件科技有限公司 一种分布式文件系统访问框架
CN111126717A (zh) * 2020-02-05 2020-05-08 江苏星月测绘科技股份有限公司 一种时空大数据共享和服务模型构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004679A (zh) * 2006-11-28 2007-07-25 北京龙阁创意数码科技有限公司 基于海量数据的多元动漫产品开发系统和开发方法
US20140280457A1 (en) * 2013-03-15 2014-09-18 State Farm Mutual Automobile Insurance Company Implementation of a web-scale data fabric
CN105704400A (zh) * 2016-04-26 2016-06-22 山东大学 一种基于多平台终端和云服务的学习系统及其运行方法
CN106649455A (zh) * 2016-09-24 2017-05-10 孙燕群 一种大数据开发的标准化系统归类、命令集系统
CN106897410A (zh) * 2017-02-17 2017-06-27 四川世纪物联科技有限公司 一种基于大数据的WiFi增值服务系统及实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004679A (zh) * 2006-11-28 2007-07-25 北京龙阁创意数码科技有限公司 基于海量数据的多元动漫产品开发系统和开发方法
US20140280457A1 (en) * 2013-03-15 2014-09-18 State Farm Mutual Automobile Insurance Company Implementation of a web-scale data fabric
CN105704400A (zh) * 2016-04-26 2016-06-22 山东大学 一种基于多平台终端和云服务的学习系统及其运行方法
CN106649455A (zh) * 2016-09-24 2017-05-10 孙燕群 一种大数据开发的标准化系统归类、命令集系统
CN106897410A (zh) * 2017-02-17 2017-06-27 四川世纪物联科技有限公司 一种基于大数据的WiFi增值服务系统及实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁超君: ""大数据背景下G政府舆情分析应用研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965829A (zh) * 2018-08-29 2018-12-07 安徽医学高等专科学校 一种基于计算机网络的环境视频监控预警系统
CN109509009A (zh) * 2018-12-29 2019-03-22 天津卓朗科技发展有限公司 服务企业家创新管理系统及方法
CN110347655A (zh) * 2019-06-12 2019-10-18 江苏富山软件科技有限公司 一种分布式文件系统访问框架
CN111126717A (zh) * 2020-02-05 2020-05-08 江苏星月测绘科技股份有限公司 一种时空大数据共享和服务模型构建方法
CN111126717B (zh) * 2020-02-05 2020-11-06 江苏星月测绘科技股份有限公司 一种时空大数据共享和服务模型构建方法

Also Published As

Publication number Publication date
CN107819813B (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN107819813A (zh) 大数据综合分析处理服务系统
CN104811433B (zh) 一种c/s架构的分布式物联网系统及实现方法
CN111131480A (zh) 一种面向智慧电厂的云边协同服务系统
CN111787090B (zh) 一种基于区块链技术的智慧法治平台
CN104463439A (zh) 一种公路工程项目管理系统及方法
CN111915143B (zh) 一种基于智能合约的复杂产品装配管控系统
CN103258027A (zh) 基于智能终端的情境感知服务平台
CN108804686A (zh) 一种物联网数据采集处理及分析应用的整体解决方法
CN104574557A (zh) 一种基于告警的站点巡检方法、操控装置和系统
CN105447631A (zh) 地铁工程三网智能管控系统及其方法
CN111343169A (zh) 一种工控环境下安全资源汇聚与情报共享的系统及方法
CN111143794A (zh) 一种用于企业网站的用户身份在线申请审核系统
CN103426041A (zh) 基于物联网的辐射源实时监控与管理系统和方法
CN109473945A (zh) 一种继电保护模型数据校验及自动配置方法
CN106100934B (zh) 一种基于ems故障告警的变电站信息监控系统及方法
CN105281432A (zh) 一种无线测试及数据传输系统的监控装置
CN103841595B (zh) 一种基站信息监管系统
Qing et al. Multi-agent risk identifier model of emergency management system engineering based on immunology
CN105430345A (zh) 一种针对综合视频培训平台远程监控的方法
Qing et al. Impact of big data on Electric-power industry
Fu et al. An edge computing framework for digital grid
CN111242509B (zh) 一种用于智慧社区的服务管理系统及其服务管理方法
CN103746994A (zh) 一种用于移动智能终端的数据获取方法及其高级应用系统
Miu et al. A Real-time Detection Framework for Abnormal Devices in the Power Internet of Things
CN111815260A (zh) 一种基于架设人工智能公共服务平台系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200728

Termination date: 20210915