CN107844571A - 一种智能化数据中心建设的实现装置 - Google Patents

一种智能化数据中心建设的实现装置 Download PDF

Info

Publication number
CN107844571A
CN107844571A CN201711072939.9A CN201711072939A CN107844571A CN 107844571 A CN107844571 A CN 107844571A CN 201711072939 A CN201711072939 A CN 201711072939A CN 107844571 A CN107844571 A CN 107844571A
Authority
CN
China
Prior art keywords
data
data center
built
realization device
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711072939.9A
Other languages
English (en)
Inventor
刘宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Kilometer (beijing) Network Technology Co Ltd
Original Assignee
One Kilometer (beijing) Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Kilometer (beijing) Network Technology Co Ltd filed Critical One Kilometer (beijing) Network Technology Co Ltd
Priority to CN201711072939.9A priority Critical patent/CN107844571A/zh
Publication of CN107844571A publication Critical patent/CN107844571A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种智能化数据中心建设的实现装置。该装置主要包括：A、元数据，B、数据存储，C、数据采集，D、数据分析，E、数据服务，F、Dashboard，G、数据执行代理。其中所述的A模块主要为数据业务的索引，描述数据中心数据存放位置，定义数据中心存储数据结构，根据业务，定义需要存储业务的数据结构，是数据中心的心脏。其中所述的B模块主要功能为数据源维护，数据库分库与分表设计与维护，主要存储结构化和非结构化两种数据类型。采用该装置，能够实现收集、分析提供公司发展战略可依据或可参考的有价值的数据，为公司决策使用，根据本发明实施例，能够管理和维护公司所有落盘的数据，为公司运营提供决策化的数据支撑，从而，实现提升公司运营效率，优化产品体验。

Description

一种智能化数据中心建设的实现装置
技术领域
本发明涉及计算机互联网领域，尤其涉及一种智能化数据中心建设的实现装置。
背景技术
目前，随着个人信息消费需求、大数据、云计算、物联网的兴起，使得数据中心正在经历着前所未有的改变，数据中心的复杂程度越来越高，任何领域的数据中心总有关键的基本要素是数据中心构建所必需的因素，伴随着大数据行业的发展，数据中心要有足够的扩展性，对数据中心的数据保存制定策略，以及数据存储备份，同时，保证系统稳定运行。
因此，数据中心的建设运营必须实现以高弹性、高效、高可靠及高度智能化自动化为特征的智慧数据中心。本发明提出一种智能化数据中心建设的实现装置，能够建立高效的数据指标体系，对数据交叉分析，从而，全面支撑公司数据分析需求，驱动业务决策。
发明内容
有鉴于此，本发明的主要目的在于提供一种智能化数据中心建设的实现装置，能够实现收集、分析提供公司发展战略可依据或可参考的有价值的数据，为公司决策使用。
为达到上述目的，本发明的技术方案是这样实现的：
一种智能化数据中心建设的实现装置包含以下几个流程：
A、元数据；
B、数据存储；
C、数据采集；
D、数据分析；
E、数据服务；
F、Dashboard；
G、数据执行代理。
进一步地，其中所述的元数据模块描述数据中心数据存放位置，定义数据中心存储数据结构，根据业务，定义需要存储业务的数据结构。
进一步地，其中所述的数据存储模块主要功能为数据源维护，数据库分库与分表设计与维护，数据镜像(slave只读)，存储结构化和非结构化两种数据类型。
进一步地，其中所述的数据采集模块主要为各种数据采集工具，以及API的实现。同步数据，基于master=>slave 从slave表中抽取有价值的数据。异步数据，基于消息机制，使用kafka，flume，基于AOP或者日志Log4j从各业务系统收集产品定义的关键业务数据。
进一步地，其中所述的数据分析模块数据分析主要包括离线分析和实时分析。
进一步地，其中所述的数据服务模块主要包括安全认证、服务管理、服务安全，对内与对外服务接口。
进一步地，其中所述的Dashboard模块主要负责数据中心的后台管理，其中所述的后台管理包括权限管理，服务管理以及基础配置信息等基础信息功能。
进一步地，其中所述的数据执行代理模块主要是数据分析描述引擎。
本发明所提供的一种智能化数据中心建设的实现装置，具有以下优点：
1）为公司的规划发展提供有价值或可参考的数据信息；
2）公司业务决策使用；
3）分析挖掘数据，满足公司多样化的业务需求。
附图说明
图1为本发明一种智能化数据中心建设的实现装置功能结构示意图；
图2为本发明一种智能化数据中心建设的实现装置流程示意图；
图3为本发明一种智能化数据中心建设的实现装置应用场景示意图；
图4为本发明一种智能化数据中心建设的实现装置数据中心交互示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图及本发明的实施例对本发明的一种智能化数据中心建设的实现装置作进一步详细的说明。
参考图4，该数据中心的数据交互，具体包含以下几个流程：
数据源管理三条线：
（1） 【1】只维护业务数据源，不收集数据，在需要分析数据时，根据【数据源维护】直接调用数据（结构化，非结构化数据）。
（2） 【1】=>【2】=>【3】=>【4】=>【5】=>（【6】=>【7】=>【8】）同步收集数据至数据中心集中存储，以及分析。
（3） 【A】=>【B】=>【C】=>（【6】=>【7】=>【8】）异步收集数据到数据中心。
其中所述的【1】代表维护业务数据源，【2】代表加载数据源，【3】代表读写数据库，【4】代表数据同步，【5】代表对数据进行采集，【6】代表对数据进行分析，【7】代表返回，【8】代表返回结果，【A】代表异步日志，【B】代表收集消息，【C】代表存储消息。
本发明为解决一种智能化数据中心建设的实现装置，主要采用了以下技术，下面对这些技术进行简单介绍。
1）Kafka技术。Kafka是一种高吞吐量的分布式发布-订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。本发明主要用在数据采集模块。
2）Storm技术。 Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。Storm主要分为两种组件Nimbus和Supervisor。这两种组件都是快速失败的，没有状态。任务状态和心跳信息等都保存在Zookeeper上的，提交的代码资源都在本地机器的硬盘上。Nimbus负责在集群里面发送代码，分配工作给机器，并且监控状态。全局只有一个，Supervisor会监听分配给它那台机器的工作，根据需要启动/关闭工作进程Worker。每一个要运行Storm的机器上都要部署一个，并且，按照机器的配置设定上面分配的槽位数。本发明主要用在数据分析模块。
3）Hive技术。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上，控制分隔符，也允许用户指定数据格式。本发明中主要用在数据分析模块。
4） Oracle和Mysql技术。Oracle 能在所有主流平台上运行（包括Windows），采用完全开放策略。可以使客户选择最适合的解决方案。Oracle的事务日志归档相当方便，Oracle的数据字典丰富，支持Mysql支持5000万条记录的数据仓库，适应于所有的平台是开源软件，版本更新较快，本发明中主要用来结构化数据存储。
5）Hdfs和Nosql技术。Hdfs是Hadoop分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统，Hdfs有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。Nosql非关系型数据库，数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构，本发明中主要用来非结构化数据存储。
下面介绍该装置的几个典型应用场景：
应用场景一：
本发明应用在互联网平台，智能化实现系统维护和管理，能够提供大平台的监测需求，提供数据分析能力，实现多指标，多维度交叉分析，并从多个数据库里，不管是结构化还是非结构化数据，将抓取有用的信息，变成一个有效的报表分析结果，同时还能从报表的历史数据中，预测未来的数据结果。
应用场景二：
参考图3，本发明的数据中心数据交互过程具体如下：
1）只维护数据源，不进行数据采集，在需要分析数据的时候，根据数据源维护直接调用数据；
2）同步采集数据到数据中心，支持多种埋点方式，为公司建立完整的数据仓库，同时进行多维交叉分析，深度挖掘数据价值；
3）根据消息中间件，异步收集数据到数据中心。
其中，参考图3，图中所述的后台管理具体包括以下几个模块：
权限管理模块；
元数据模块；
存储管理模块；
数据服务模块。
其中所述的权限管理模块主要包括用户、角色、资源；
其中所述的元数据模块包括数据源维护、元数据维护、分库分表维护
其中所述的数据服务模块包括接口管理、数据分析、报表。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
所述领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述到的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，可以采用软件功能单元的形式实现。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上对本发明所提供的一种智能化数据中心建设的实现装置进行了详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种智能化数据中心建设的实现装置，其特征在于，该装置主要包括：
A、元数据；
B、数据存储；
C、数据采集；
D、数据分析；
E、数据服务；
F、Dashboard；
G、数据执行代理。
2.根据权利要求1所述的一种智能化数据中心建设的实现装置，其特征在于，所述步骤A，具体为：描述数据中心数据存放位置，定义数据中心存储数据结构，根据业务，定义需要存储业务的数据结构。
3.根据权利要求1所述的一种智能化数据中心建设的实现装置，其特征在于，所述步骤B，具体为：数据源维护，数据库分库与分表设计与维护，数据镜像(slave只读)，存储结构化和非结构化两种数据类型。
4.根据权利要求1所述的一种智能化数据中心建设的实现装置，其特征在于，所述步骤C，具体为：各种数据采集工具，以及API的实现同步数据和异步数据，其中，所述的同步数据是基于master=>slave 从slave表中抽取有价值的数据，所述的异步数据是基于消息机制，使用kafka，flume，基于AOP或者日志Log4j从各业务系统收集产品定义的关键业务数据。
5.根据权利要求1所述的一种智能化数据中心建设的实现装置，其特征在于，所述步骤D，具体为：主要包括离线分析和实时分析。
6.根据权利要求1所述的一种智能化数据中心建设的实现装置，其特征在于，所述步骤E，具体为：安全认证、服务管理、服务安全，对内与对外服务接口。
7.根据权利要求1所述的一种智能化数据中心建设的实现装置，其特征在于，所述步骤F，具体为：负责数据中心的后台管理，其中所述的后台管理包括权限管理、服务管理以及基础配置信息等基础信息功能。
8.根据权利要求1所述的一种智能化数据中心建设的实现装置，其特征在于，所述步骤G，具体为：主要是数据分析描述引擎。
CN201711072939.9A 2017-11-03 2017-11-03 一种智能化数据中心建设的实现装置 Pending CN107844571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711072939.9A CN107844571A (zh) 2017-11-03 2017-11-03 一种智能化数据中心建设的实现装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711072939.9A CN107844571A (zh) 2017-11-03 2017-11-03 一种智能化数据中心建设的实现装置

Publications (1)

Publication Number Publication Date
CN107844571A true CN107844571A (zh) 2018-03-27

Family

ID=61681325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711072939.9A Pending CN107844571A (zh) 2017-11-03 2017-11-03 一种智能化数据中心建设的实现装置

Country Status (1)

Country Link
CN (1) CN107844571A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710550A (zh) * 2018-08-16 2018-10-26 北京易华录信息技术股份有限公司 一种用于公安交管稽查布控系统的双数据中心容灾系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
CN106713356A (zh) * 2017-01-24 2017-05-24 网宿科技股份有限公司 多数据中心管理方法和系统
CN106973028A (zh) * 2016-01-13 2017-07-21 云南标源科技有限公司 一种Android云终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
CN106973028A (zh) * 2016-01-13 2017-07-21 云南标源科技有限公司 一种Android云终端
CN106713356A (zh) * 2017-01-24 2017-05-24 网宿科技股份有限公司 多数据中心管理方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710550A (zh) * 2018-08-16 2018-10-26 北京易华录信息技术股份有限公司 一种用于公安交管稽查布控系统的双数据中心容灾系统
CN108710550B (zh) * 2018-08-16 2021-09-28 北京易华录信息技术股份有限公司 一种用于公安交管稽查布控系统的双数据中心容灾系统

Similar Documents

Publication Publication Date Title
El-Seoud et al. Big Data and Cloud Computing: Trends and Challenges.
EP3828693B1 (en) Distributed data set indexing
Kune et al. The anatomy of big data computing
CN107315776B (zh) 一种基于云计算的数据管理系统
Gil et al. Review of the complexity of managing big data of the internet of things
CN109272155A (zh) 一种基于大数据的企业行为分析系统
Sivaraman et al. High performance and fault tolerant distributed file system for big data storage and processing using hadoop
CN104363222A (zh) 一种基于Hadoop的网络安全事件分析方法
CN105554132B (zh) 一种Hadoop在线扩容的方法
Liu et al. On construction of an energy monitoring service using big data technology for smart campus
CN111951935A (zh) 面向医疗大数据处理的医疗云系统、方法、系统和介质
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN113177088B (zh) 一种材料辐照损伤多尺度模拟大数据管理系统
Lee et al. A big data management system for energy consumption prediction models
Roy et al. A proposal for optimization of horizontal scaling in big data environment
Seay et al. Using hadoop on the mainframe: A big solution for the challenges of big data
CN107844571A (zh) 一种智能化数据中心建设的实现装置
Bakshi Big data analytics approach for network core and edge applications
Chen et al. Related technologies
Yang et al. On construction of the air pollution monitoring service with a hybrid database converter
Bharany et al. A comprehensive review on big data challenges
Khosla et al. Big data technologies
Rana Integration of big data analytics and the cloud environment in harnessing valuable business insights
Zeng et al. Software architecture evolution and technology research
CN113377877A (zh) 多引擎大数据平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327

WD01 Invention patent application deemed withdrawn after publication