CN114020776A - 一种基于互联网技术的智能数据应用平台 - Google Patents
一种基于互联网技术的智能数据应用平台 Download PDFInfo
- Publication number
- CN114020776A CN114020776A CN202111322329.6A CN202111322329A CN114020776A CN 114020776 A CN114020776 A CN 114020776A CN 202111322329 A CN202111322329 A CN 202111322329A CN 114020776 A CN114020776 A CN 114020776A
- Authority
- CN
- China
- Prior art keywords
- data
- management
- application platform
- intelligent
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2452—Query translation
- G06F16/24528—Standardisation; Simplification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于互联网技术的智能数据应用平台，所述智能数据应用平台包括元数据管理、主数据管理、数据建模管理、数据可视化管理及系统管理。本发明的优点在于：采用互联网技术，统一数据标准和数据架构，持续完善数据管控体系，提升数据运用能力和数据价值创造能力。同时平台将目前手工汇总数据填报的方式转变成系统自动取数汇总形成分析模型，有效的减少人工统计的工作量，提高数据统计分析的效率，大大降低了公司的管理成本。同时，系统直接取数，减少人工干预，可有效的提升数据质量，加强企业对业务的监管，直接带来可观的经营效益和经济效益。
Description
技术领域
本发明涉及互联网技术领域，具体是指一种基于互联网技术的智能数据应用平台。
背景技术
为进一步突显高价值数据资源对现代经济和企业发展的重要作用，掌握丰富的高价值数据资源日益成为抢占未来发展主动权的前提和保障。因此需要从企业战略角度认识数据资产，从资产角度运营管理数据，建立一套标本兼治的数据管理体系和运行机制。
发明内容
本发明要解决的技术问题是以上所述的技术问题，提供一种功能丰富、使用方便的基于互联网技术的智能数据应用平台。
为解决上述技术问题，本发明提供的技术方案为：一种基于互联网技术的智能数据应用平台，所述智能数据应用平台包括元数据管理、主数据管理、数据建模管理、数据可视化管理及系统管理，所述的元数据管理包括元数据权限配置、主元配置、规则管理及数据质量检测，所述的主数据管理包含主数据标准管理、数据查询、数据编辑、数据审批及数据模型权限，所述的数据建模管理包含单表数据建模、多维数据建模、自主建模及模型标签，所述的数据可视化管理包括布局配置、大屏配置、图表自定义及数据源配置，所述的系统管理包括角色管理、用户管理、组织机构、数据授权及系统日志，所述的智能数据应用平台采用微服务的架构来进行设计和开发，所述的微服务的架构包括服务拆分、服务发现、服务熔断、服务降级、服务限流及服务监控，所述的智能数据应用平台的开发管理包括代码仓库、镜像仓库、滚动发布及开发框架。
作为改进，所述的开发框架的技术架构包括前端展示层、后端技术层、基础资源、数据层、支撑层及基础设施，所述的前端展示层包括HTML、Javascript、Vue及elementUI，所述的后台技术层包括Java、SpringCloud、SpringBoot及SpringMVC，所述的基础资源包括统一身份认证、配置中心、服务网关、日志中心及负载均衡，所述的数据层包括数据库和缓存，所述的支撑层包括Lubernetes及istio，所述的基础设施包括硬件资源、软件资源及网络资源。
作为改进，所述的数据建模管理面向多元化的数据接入服务，数据接入支持关系型数据库、文本文件、分布式数据引擎、MPP数据库、流数据、接口数据等多类型数据源接入，将导入的数据和逻辑组件进行自主建模，通过机器学习等数据分析手段实现数据深度挖掘分析。
作为改进，所述的数据深度挖掘分析包括抽样、转换、平衡、缺失值处理、异常值检测、孤立点分析等数据处理方法。
本发明与现有技术相比的优点在于：采用互联网技术，统一数据标准和数据架构，规范数据生成与使用过程，持续完善数据管控体系，企业各类数据准确、真实、及时、规范，更好满足统计分析、业务升级等工作要求，提升数据运用能力和数据价值创造能力。同时平台将目前手工汇总数据填报的方式转变成系统自动取数汇总形成分析模型，有效的减少人工统计的工作量，提高数据统计分析的效率，大大降低了公司的管理成本。同时，系统直接取数，减少人工干预，可有效的提升数据质量，加强企业对业务的监管，直接带来可观的经营效益和经济效益。
附图说明
图1是本发明一种基于互联网技术的智能数据应用平台的业务架构图。
图2是本发明一种基于互联网技术的智能数据应用平台的技术架构图。
具体实施方式
下面结合附图对本发明做进一步的详细说明。
结合附图1～2，一种基于互联网技术的智能数据应用平台，所述智能数据应用平台包括元数据管理、主数据管理、数据建模管理、数据可视化管理及系统管理，所述的元数据管理包括元数据权限配置、主元配置、规则管理及数据质量检测，所述的主数据管理包含主数据标准管理、数据查询、数据编辑、数据审批及数据模型权限，所述的数据建模管理包含单表数据建模、多维数据建模、自主建模及模型标签，所述的数据可视化管理包括布局配置、大屏配置、图表自定义及数据源配置，所述的系统管理包括角色管理、用户管理、组织机构、数据授权及系统日志，所述的智能数据应用平台采用微服务的架构来进行设计和开发，所述的微服务的架构包括服务拆分、服务发现、服务熔断、服务降级、服务限流及服务监控，所述的智能数据应用平台的开发管理包括代码仓库、镜像仓库、滚动发布及开发框架。
元数据管理：负责整个数据资源池的元数据，能连续的、及时的更新发生变化的元数据信息，满足各类数据应用要求的数据字典、数据标准、数据规则，作为行业元数据的构建基础。
主数据管理：包含主数据的模型标准维护、查询、申请、审批、分发、数据隔离等功能，将主数据管理规范固化到系统层面，提供统一、准确、一致、及时、权威的企业级主数据服务。
数据建模管理：包含数据建模和分析模块，面向多元化的数据接入服务，数据接入支持关系型数据库、文本文件、分布式数据引擎、MPP数据库、流数据、接口数据等多类型数据源接入，将导入的数据和逻辑组件进行自主建模，通过机器学习等数据分析手段实现数据深度挖掘分析，包含抽样、转换、平衡、缺失值处理、异常值检测、孤立点分析等数据处理方法，具备复杂数据处理需求。
数据可视化管理：支持灵活的布局配置，要求满足对列表、图表、文字的定义，能够按照组件的方式进行管理，能满足对应用组件的增加、删除、修改，支持以拖拽的方式来配置布局内容，需提供多套布局配置的模板，能快速配置相关页面。
系统管理：包含角色管理、用户管理、组织机构、数据授权、系统日志等功能，实现系统基础管理功能。
所述的开发框架的技术架构包括前端展示层、后端技术层、基础资源、数据层、支撑层及基础设施，所述的前端展示层包括HTML、Javascript、Vue及elementUI，所述的后台技术层包括Java、SpringCloud、SpringBoot及SpringMVC，所述的基础资源包括统一身份认证、配置中心、服务网关、日志中心及负载均衡，所述的数据层包括数据库和缓存，所述的支撑层包括Lubernetes及istio，所述的基础设施包括硬件资源、软件资源及网络资源。
前端展示层：web全面遵循H5技术标准，采用MVVM前端框架和主流前端开发流程，引入自研前端控件，在提高开发效率的同时保证界面交互及视觉体验的一致性。
后台技术层：主要采用SpringCloud全家桶，提供快捷、稳定的生产级微服务开发框架。践行微服务开发理念，合理拆分服务。采用Docker的容器编排技术，提供便捷的服务打包、发布功能。
基础资源层：提供统一的微服务和应用基础资源。
数据存储层：主要承接平台所有高可用、分布式数据存储需求，可以满足对结构化数据、缓存数据、实时数据的存取需要。
支撑层：是指支撑平台硬件资源和软件资源的技术层。通过Kubernetes容器编排和istio 网络通信技术，融合服务器、网络等硬件，形成容器云集群。提供满足多应用、多服务部署的多租户技术。
基础设施层：是指平台运行所依赖的物理资源，主要包括具体的服务器、系统、网络和存储。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (4)
1.一种基于互联网技术的智能数据应用平台，其特征在于：所述智能数据应用平台包括元数据管理、主数据管理、数据建模管理、数据可视化管理及系统管理，所述的元数据管理包括元数据权限配置、主元配置、规则管理及数据质量检测，所述的主数据管理包含主数据标准管理、数据查询、数据编辑、数据审批及数据模型权限，所述的数据建模管理包含单表数据建模、多维数据建模、自主建模及模型标签，所述的数据可视化管理包括布局配置、大屏配置、图表自定义及数据源配置，所述的系统管理包括角色管理、用户管理、组织机构、数据授权及系统日志，所述的智能数据应用平台采用微服务的架构来进行设计和开发，所述的微服务的架构包括服务拆分、服务发现、服务熔断、服务降级、服务限流及服务监控，所述的智能数据应用平台的开发管理包括代码仓库、镜像仓库、滚动发布及开发框架。
2.根据权利要求1所述的一种基于互联网技术的智能数据应用平台，其特征在于：所述的开发框架的技术架构包括前端展示层、后端技术层、基础资源、数据层、支撑层及基础设施，所述的前端展示层包括HTML、Javascript、Vue及elementUI，所述的后台技术层包括Java、SpringCloud、SpringBoot及SpringMVC，所述的基础资源包括统一身份认证、配置中心、服务网关、日志中心及负载均衡，所述的数据层包括数据库和缓存，所述的支撑层包括Lubernetes及istio，所述的基础设施包括硬件资源、软件资源及网络资源。
3.根据权利要求1所述的一种基于互联网技术的智能数据应用平台，其特征在于：所述的数据建模管理面向多元化的数据接入服务，数据接入支持关系型数据库、文本文件、分布式数据引擎、MPP数据库、流数据、接口数据等多类型数据源接入，将导入的数据和逻辑组件进行自主建模，通过机器学习等数据分析手段实现数据深度挖掘分析。
4.根据权利要求3所述的一种基于互联网技术的智能数据应用平台，其特征在于：所述的数据深度挖掘分析包括抽样、转换、平衡、缺失值处理、异常值检测、孤立点分析等数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111322329.6A CN114020776A (zh) | 2021-11-09 | 2021-11-09 | 一种基于互联网技术的智能数据应用平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111322329.6A CN114020776A (zh) | 2021-11-09 | 2021-11-09 | 一种基于互联网技术的智能数据应用平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114020776A true CN114020776A (zh) | 2022-02-08 |
Family
ID=80062767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111322329.6A Pending CN114020776A (zh) | 2021-11-09 | 2021-11-09 | 一种基于互联网技术的智能数据应用平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020776A (zh) |
-
2021
- 2021-11-09 CN CN202111322329.6A patent/CN114020776A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106096056B (zh) | 一种基于分布式的舆情数据实时采集方法和系统 | |
| CN110347719B (zh) | 一种基于大数据的企业外贸风险预警方法及系统 | |
| CN112600891B (zh) | 一种基于信息物理融合的边云协同系统及工作方法 | |
| CN108536778B (zh) | 一种数据应用共享平台及方法 | |
| Zhang et al. | A video cloud platform combing online and offline cloud computing technologies | |
| CN107315776A (zh) | 一种基于云计算的数据管理系统 | |
| CN107070890A (zh) | 一种通信网优系统中的流数据处理装置及通信网优系统 | |
| CN112988741B (zh) | 实时业务数据合并方法、装置及电子设备 | |
| CN113407617B (zh) | 基于大数据技术的实时与离线业务统一处理方法和装置 | |
| CN102880683A (zh) | 一种可行性研究报告的自动网络生成系统及其生成方法 | |
| CN112163017B (zh) | 一种知识挖掘系统及方法 | |
| CN113176948A (zh) | 边缘网关、边缘计算系统及其配置方法 | |
| US20160203224A1 (en) | System for analyzing social media data and method of analyzing social media data using the same | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN115391361A (zh) | 一种基于分布式数据库的实时数据处理方法及其装置 | |
| CN111126852A (zh) | 一种基于大数据建模的bi应用系统 | |
| CN112199363A (zh) | 一种农业多源异构数据的融合存储方法与系统 | |
| CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
| CN113516331A (zh) | 一种建筑数据处理方法及装置 | |
| Pelekh et al. | Design of a system for dynamic integration of weakly structured data based on mash-up technology | |
| CN116166191A (zh) | 湖仓一体系统 | |
| CN110109870A (zh) | 一种基于Solr的海量数据快速检索系统 | |
| CN112306992A (zh) | 一种基于互联网的大数据平台 | |
| CN114020776A (zh) | 一种基于互联网技术的智能数据应用平台 | |
| Wu et al. | Construction of a rural tourism information service management system for multi-source heterogeneous data processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |