CN112667740A - 一种基于问题导向的创新数据分析平台 - Google Patents
一种基于问题导向的创新数据分析平台 Download PDFInfo
- Publication number
- CN112667740A CN112667740A CN202110021614.8A CN202110021614A CN112667740A CN 112667740 A CN112667740 A CN 112667740A CN 202110021614 A CN202110021614 A CN 202110021614A CN 112667740 A CN112667740 A CN 112667740A
- Authority
- CN
- China
- Prior art keywords
- big data
- data
- mining
- technology
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 37
- 238000007418 data mining Methods 0.000 claims abstract description 101
- 238000005516 engineering process Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000013500 data storage Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 19
- 239000010410 layer Substances 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 11
- 238000005065 mining Methods 0.000 claims abstract description 11
- 238000013523 data management Methods 0.000 claims abstract description 8
- 239000002346 layers by function Substances 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000012550 audit Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012946 outsourcing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007655 standard test method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据分析技术领域，尤其为一种基于问题导向的创新数据分析平台，包括服务层、功能层和平台层，所述服务层包括大数据Web服务、大数据Open API服务，所述功能层包括大数据集成、大数据存储、大数据管理和大数据挖掘，通过为广大用户提供大数据处理和分析的服务功能，大数据分析平台要突破传统的基于软件和高端服务器的数据挖掘传统技术体系，采用基于云计算的大数据存储和处理架构、分布式数据挖掘算法和基于互联网的大数据存储、处理和挖掘服务模式，大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即服务(SaaS)应用模式，有助于形成以平台为核心的大数据分析产业生态环境。
Description
技术领域
本发明涉及大数据分析技术领域，具体为一种基于问题导向的创新数据分析平台。
背景技术
在大数据时代，个人、企业和机构都会面临大数据的问题。建设面向服务的大数据平台，可以为众多的中小企业和个人用户提供大数据处理和分析的能力。面向服务的大数据分析平台以区域性智能数据中心及高速互联网为基础设施，以互联网服务体系为架构，以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑，通过多样化移动智能终端及移动互联网为用户提供数据存储、管理及分析服务，现有的分析处理效率较低，因此提出一种基于问题导向的创新数据分析平台。
发明内容
本发明的目的在于提供一种基于问题导向的创新数据分析平台，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于问题导向的创新数据分析平台，包括服务层、功能层和平台层，所述服务层包括大数据Web服务、大数据Open API服务，所述功能层包括大数据集成、大数据存储、大数据管理和大数据挖掘，所述平台层包括大数据存储平台、大数据计算平台和多数据中心调度引擎，所述大数据集成包括高可扩展性大数据挖掘算法，所述大数据存储包括大数据安全与隐私保护技术，所述大数据管理包括分布式工作流引擎，所述大数据挖掘包括交互式可视化分析技术，所述大数据存储平台包括大数据分布式存储系统，所述大数据计算平台包括分布式数据挖掘运行时系统，所述多数据中心调度引擎包括智能数据中心联合调度技术。
优选的，所述大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术。
优选的，所述分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统。
优选的，所述智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台。
优选的，所述高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力；大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露；分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎；交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。
优选的，所述大数据Web服务基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境；大数据Open API服务基于Open API的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于Open API的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于Open API的大数据分析模式。
与现有技术相比，本发明的有益效果是：
本发明中，通过为广大用户提供大数据处理和分析的服务功能，大数据分析平台要突破传统的基于软件和高端服务器的数据挖掘传统技术体系，采用基于云计算的大数据存储和处理架构、分布式数据挖掘算法和基于互联网的大数据存储、处理和挖掘服务模式，大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即服务(SaaS)应用模式，符合当前国际大数据产业的发展趋势和产业化应用要求，一方面系统通过互联网服务方式向用户提供高可用、高易用和一站式的海量数据分析服务，可有效降低企业应用门槛和成本，通过专业化服，务外包满足企业个性化需求，另一方面，由于是开放架构的系统平台，商业用户和其他软件提供商可通过系统提供的互联网服务开发接口(Open API)开发面向行业商务智能应用的解决方案，孵化新型咨询公司、软件公司和信息服务公司，有助于形成以平台为核心的大数据分析产业生态环境。
附图说明
图1为本发明整体系统架构图；
图2为本发明整体系统结构图；
图3为本发明整体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：
一种基于问题导向的创新数据分析平台，包括服务层、功能层和平台层，所述服务层包括大数据Web服务、大数据Open API服务，所述功能层包括大数据集成、大数据存储、大数据管理和大数据挖掘，所述平台层包括大数据存储平台、大数据计算平台和多数据中心调度引擎，所述大数据集成包括高可扩展性大数据挖掘算法，所述大数据存储包括大数据安全与隐私保护技术，所述大数据管理包括分布式工作流引擎，所述大数据挖掘包括交互式可视化分析技术，所述大数据存储平台包括大数据分布式存储系统，所述大数据计算平台包括分布式数据挖掘运行时系统，所述多数据中心调度引擎包括智能数据中心联合调度技术。
所述大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术。
所述分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统。
所述智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台。
所述高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力；大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露；分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎；交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。
所述大数据Web服务基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境；大数据Open API服务基于Open API的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于Open API的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于Open API的大数据分析模式。
实施例：大数据分析系统测试评估平台是一个综合性试验测试平台，能够实现各种大数据分析方法和系统在多种数据对象、应用场景下的主客观质量测试和应用验证。大数据分析系统测试评估平台将建立标准测试方法和手段，并建立综合性的测试数据集合，能够提供多种情况下的测试评估能力，对其他平台的结果具有良好的支撑作用，大数据分析可视化展示平台将提供先进的可视化显示环境，提供对目标数据分析效果的高效可视化，提供高度沉浸式、高像素分辨率的大规模可视化设施，大数据分析的可视化通常需要同时展示大量、高精度、多角度的复杂图形信息，以便使用者进行观察与分析，大数据Web服务基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境；大数据Open API服务基于Open API的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于Open API的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于Open API的大数据分析模式，大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术；分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统；智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台；高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力；大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露；分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎；交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于问题导向的创新数据分析平台，包括服务层、功能层和平台层，其特征在于：所述服务层包括大数据Web服务、大数据Open API服务，所述功能层包括大数据集成、大数据存储、大数据管理和大数据挖掘，所述平台层包括大数据存储平台、大数据计算平台和多数据中心调度引擎，所述大数据集成包括高可扩展性大数据挖掘算法，所述大数据存储包括大数据安全与隐私保护技术，所述大数据管理包括分布式工作流引擎，所述大数据挖掘包括交互式可视化分析技术，所述大数据存储平台包括大数据分布式存储系统，所述大数据计算平台包括分布式数据挖掘运行时系统，所述多数据中心调度引擎包括智能数据中心联合调度技术。
2.根据权利要求1所述的一种基于问题导向的创新数据分析平台，其特征在于：所述大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术。
3.根据权利要求1所述的一种基于问题导向的创新数据分析平台，其特征在于：所述分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统。
4.根据权利要求1所述的一种基于问题导向的创新数据分析平台，其特征在于：所述智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台。
5.根据权利要求1所述的一种基于问题导向的创新数据分析平台，其特征在于：所述高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力；大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露；分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎；交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。
6.根据权利要求1所述的一种基于问题导向的创新数据分析平台，其特征在于：所述大数据Web服务基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境；大数据Open API服务基于Open API的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于Open API的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于Open API的大数据分析模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110021614.8A CN112667740A (zh) | 2021-01-08 | 2021-01-08 | 一种基于问题导向的创新数据分析平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110021614.8A CN112667740A (zh) | 2021-01-08 | 2021-01-08 | 一种基于问题导向的创新数据分析平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112667740A true CN112667740A (zh) | 2021-04-16 |
Family
ID=75413541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110021614.8A Pending CN112667740A (zh) | 2021-01-08 | 2021-01-08 | 一种基于问题导向的创新数据分析平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667740A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393179A (zh) * | 2021-08-18 | 2021-09-14 | 江苏中协智能科技有限公司 | 一种基于时序差分的数据集成系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809606A (zh) * | 2016-03-08 | 2016-07-27 | 贵州省邮电规划设计院有限公司 | 大数据应用平台系统 |
| CN105933461A (zh) * | 2016-07-18 | 2016-09-07 | 合肥赑歌数据科技有限公司 | 大数据平台系统及其运行方法 |
-
2021
- 2021-01-08 CN CN202110021614.8A patent/CN112667740A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809606A (zh) * | 2016-03-08 | 2016-07-27 | 贵州省邮电规划设计院有限公司 | 大数据应用平台系统 |
| CN105933461A (zh) * | 2016-07-18 | 2016-09-07 | 合肥赑歌数据科技有限公司 | 大数据平台系统及其运行方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393179A (zh) * | 2021-08-18 | 2021-09-14 | 江苏中协智能科技有限公司 | 一种基于时序差分的数据集成系统 |
| CN113393179B (zh) * | 2021-08-18 | 2022-06-28 | 江苏中协智能科技有限公司 | 一种基于时序差分的数据集成系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vera-Baquero et al. | Real-time business activity monitoring and analysis of process performance on big-data domains | |
| Khan et al. | The 10 Vs, issues and challenges of big data | |
| Böhm et al. | Towards a generic value network for cloud computing | |
| Mwilu et al. | Design science research contribution to business intelligence in the cloud—A systematic literature review | |
| Casale et al. | Current and future challenges of software engineering for services and applications | |
| US20150286693A1 (en) | Analyzing a query and provisioning data to analytics | |
| CN105933461A (zh) | 大数据平台系统及其运行方法 | |
| CN110991984A (zh) | 基于企业信息化异构系统的数字化经营分析平台及方法 | |
| US11880390B2 (en) | Cognitive impromptu interaction assistant | |
| Yang et al. | Design of enterprise management system based on edge computing architecture | |
| Ibtisum | A Comparative Study on Different Big Data Tools | |
| CN113326261B (zh) | 数据血缘关系提取方法、装置及电子设备 | |
| CN112667740A (zh) | 一种基于问题导向的创新数据分析平台 | |
| Molnár et al. | An architectural approach to cognitive information system | |
| Pei et al. | Bank customer loyalty under the background of internet finance and multimedia technology | |
| Yuan et al. | Collaborative construction industry integrated management service system framework based on big data | |
| CN110782116A (zh) | Bim数据处理平台、处理方法、装置和存储介质 | |
| Pereira et al. | A systematic review on the use of devops in internet of things software systems | |
| Goi et al. | The Impact of Digital Technologies on the Companies’ Strategic Management | |
| Sivadevuni et al. | Systematic Literature Review—IoT-Based Supply Chain Management in Industry 4.0 | |
| US20220122038A1 (en) | Process Version Control for Business Process Management | |
| Bajaj et al. | A comparative analysis of cloud based services platform | |
| Velepucha et al. | Migration of monolithic applications towards microservices under the vision of the information hiding principle: a systematic mapping study | |
| Li et al. | Aggregating heterogeneous services in the smart city: The practice in China | |
| Mahesh et al. | Visualizing technology mining results on life cycle axes: A study of server virtualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |
|
| RJ01 | Rejection of invention patent application after publication |