CN105117393A - 一种行业应用中基于大数据的一种应用方式 - Google Patents

一种行业应用中基于大数据的一种应用方式 Download PDF

Info

Publication number
CN105117393A
CN105117393A CN201410610861.1A CN201410610861A CN105117393A CN 105117393 A CN105117393 A CN 105117393A CN 201410610861 A CN201410610861 A CN 201410610861A CN 105117393 A CN105117393 A CN 105117393A
Authority
CN
China
Prior art keywords
data
application
platform
market demand
various
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410610861.1A
Other languages
English (en)
Inventor
马爱琳
方贤军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Xuanming Information Technology Co Ltd
Original Assignee
Hefei Xuanming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Xuanming Information Technology Co Ltd filed Critical Hefei Xuanming Information Technology Co Ltd
Priority to CN201410610861.1A priority Critical patent/CN105117393A/zh
Publication of CN105117393A publication Critical patent/CN105117393A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据技术领域，具体涉及一种行业应用中基于大数据的一种应用方式，建设大数据应用平台，通过此平台对外开放各个数据应用服务，支持各种协议接口，通过建立各个应用子系统与大数据应用平台的数据交互，获取应用产生的海量数据，并在此平台上，提供支持各种协议、高性能的数据应用服务接口,解决了海量数据的分析和梳理功能，并在此基础上，提供各项可定制的数据服务接口，对外屏蔽了复杂的数据处理过程，使得企业可以提供更加高效的信息服务。

Description

一种行业应用中基于大数据的一种应用方式
技术领域
本发明涉及大数据技术领域，具体涉及一种行业应用中基于大数据的一种应用方式。
背景技术
随着科学技术的快速发展，借助互联网的广泛应用，各种信息数据已经散落到社会的各个角落，一方面给我们的生活带来了知识、便捷，但一方面，面对这些海量的数据，如何从中获取我们需要的数据也成为了烦恼，特别是在大型行业软件开发过程中，对于海量数据的筛选、处理，常用的大型关系型数据库管理软件，例如Oracle、SyBase总是遇到性能问题，无法快速的识别出有效数据。
发明内容
本发明所要解决的技术问题是提供一种行业应用中基于大数据的一种应用方式。
为解决上述技术问题，本发明提供以下技术方案：一种行业应用中基于大数据的一种应用方式，建设大数据应用平台，通过此平台对外开放各个数据应用服务，支持各种协议接口，通过建立各个应用子系统与大数据应用平台的数据交互，获取应用产生的海量数据，并在此平台上，提供支持各种协议、高性能的数据应用服务接口。
在上述方案基础上优选，所述协议接口包括WebService、Http、Socket、FTP、消息等多种形式。
在上述方案基础上优选，软件都是采用ORACLE等主流关系型数据库，建立对应的应用系统及关系型数据库。
在上述方案基础上优选，通过数据采集或消息中间件的方式，实时或准实时采集数据，并同时写入基于Hadoop技术的的Hbase分布式数据库或HDFS分布式文件系统。
在上述方案基础上优选，基于Hbase分布式数据库和HDFS分布式文件系统，进行数据分析和封装，采用的技术主要是消息缓存、流处理、分布式计算，提供各种数据服务，包括数据查询、抽取、剔重、排序、过滤、转换等基础服务。
在上述方案基础上优选，在大数据应用平台提供的基础服务上，可进行能力的封装、整合，进一步提供各种数据应用服务接口，且可适配包括WebService、Http、Socket、FTP等各种协议。
本发明与现有技术相比具有的有益效果是：解决了海量数据的分析和梳理功能，并在此基础上，提供各项可定制的数据服务接口，对外屏蔽了复杂的数据处理过程，使得企业可以提供更加高效的信息服务。
具体实施方式
一种行业应用中基于大数据的一种应用方式，建设大数据应用平台，通过此平台对外开放各个数据应用服务，支持各种协议接口，包括WebService、Http、Socket、FTP、消息等多种形式，通过建立各个应用子系统与大数据应用平台的数据交互，获取应用产生的海量数据，并在此平台上，提供支持各种协议、高性能的数据应用服务接口，软件都是采用ORACLE等主流关系型数据库，建立对应的应用系统及关系型数据库，通过数据采集或消息中间件的方式，实时或准实时采集数据，并同时写入基于Hadoop技术的的Hbase分布式数据库或HDFS分布式文件系统，基于Hbase分布式数据库和HDFS分布式文件系统，进行数据分析和封装，采用的技术主要是消息缓存、流处理、分布式计算，提供各种数据服务，包括数据查询、抽取、剔重、排序、过滤、转换等基础服务，在大数据应用平台提供的基础服务上，可进行能力的封装、整合，进一步提供各种数据应用服务接口，且可适配包括WebService、Http、Socket、FTP等各种协议。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种行业应用中基于大数据的一种应用方式，其特征在于，建设大数据应用平台，通过此平台对外开放各个数据应用服务，支持各种协议接口，通过建立各个应用子系统与大数据应用平台的数据交互，获取应用产生的海量数据，并在此平台上，提供支持各种协议、高性能的数据应用服务接口。
2.根据权利要求1所述的一种行业应用中基于大数据的一种应用方式，其特征在于：所述协议接口包括WebService、Http、Socket、FTP、消息等多种形式。
3.根据权利要求1所述的一种行业应用中基于大数据的一种应用方式，其特征在于：软件都是采用ORACLE等主流关系型数据库，建立对应的应用系统及关系型数据库。
4.根据权利要求1所述的一种行业应用中基于大数据的一种应用方式，其特征在于：通过数据采集或消息中间件的方式，实时或准实时采集数据，并同时写入基于Hadoop技术的的Hbase分布式数据库或HDFS分布式文件系统。
5.根据权利要求1所述的一种行业应用中基于大数据的一种应用方式，其特征在于：基于Hbase分布式数据库和HDFS分布式文件系统，进行数据分析和封装，采用的技术主要是消息缓存、流处理、分布式计算，提供各种数据服务，包括数据查询、抽取、剔重、排序、过滤、转换等基础服务。
6.根据权利要求1所述的一种行业应用中基于大数据的一种应用方式，其特征在于，在大数据应用平台提供的基础服务上，可进行能力的封装、整合，进一步提供各种数据应用服务接口，且可适配包括WebService、Http、Socket、FTP等各种协议。
CN201410610861.1A 2014-11-04 2014-11-04 一种行业应用中基于大数据的一种应用方式 Pending CN105117393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410610861.1A CN105117393A (zh) 2014-11-04 2014-11-04 一种行业应用中基于大数据的一种应用方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410610861.1A CN105117393A (zh) 2014-11-04 2014-11-04 一种行业应用中基于大数据的一种应用方式

Publications (1)

Publication Number Publication Date
CN105117393A true CN105117393A (zh) 2015-12-02

Family

ID=54665386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410610861.1A Pending CN105117393A (zh) 2014-11-04 2014-11-04 一种行业应用中基于大数据的一种应用方式

Country Status (1)

Country Link
CN (1) CN105117393A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777142A (zh) * 2016-12-19 2017-05-31 武汉虹旭信息技术有限责任公司 基于移动互联网海量数据的服务层系统及其方法
CN108133062A (zh) * 2018-02-02 2018-06-08 北京火花日志科技有限公司 一种数据处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133504A1 (en) * 2000-10-27 2002-09-19 Harry Vlahos Integrating heterogeneous data and tools
CN103578257A (zh) * 2013-11-26 2014-02-12 湖北楚骥科技有限公司 基于大数据技术的冰箱智能控制系统
CN103607469A (zh) * 2013-11-28 2014-02-26 东莞中国科学院云计算产业技术创新与育成中心 一种实现分布式异构数据共享的云平台及其数据共享方法
CN103955509A (zh) * 2014-04-30 2014-07-30 广西电网公司电力科学研究院 一种海量电力计量数据的快速检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133504A1 (en) * 2000-10-27 2002-09-19 Harry Vlahos Integrating heterogeneous data and tools
CN103578257A (zh) * 2013-11-26 2014-02-12 湖北楚骥科技有限公司 基于大数据技术的冰箱智能控制系统
CN103607469A (zh) * 2013-11-28 2014-02-26 东莞中国科学院云计算产业技术创新与育成中心 一种实现分布式异构数据共享的云平台及其数据共享方法
CN103955509A (zh) * 2014-04-30 2014-07-30 广西电网公司电力科学研究院 一种海量电力计量数据的快速检索方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777142A (zh) * 2016-12-19 2017-05-31 武汉虹旭信息技术有限责任公司 基于移动互联网海量数据的服务层系统及其方法
CN108133062A (zh) * 2018-02-02 2018-06-08 北京火花日志科技有限公司 一种数据处理系统

Similar Documents

Publication Publication Date Title
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN103399887A (zh) 一种海量日志的查询与统计分析系统
CN107729399B (zh) 数据处理的方法和装置
GB2513753A (en) Consolidating disparate cloud service data and behavior based on trust relationships between cloud services
CN104850611A (zh) 一种使用kettle从关系型数据库向非关系型数据库定时增量更新数据的方法
CN102880709A (zh) 数据仓库管理系统和数据仓库管理方法
US20180181631A1 (en) Method and System for Big Data Exchange
CN104301442A (zh) 一种基于fuse的访问对象存储集群的客户端的实现方法
CN105554132B (zh) 一种Hadoop在线扩容的方法
CN104182465A (zh) 一种基于网络的大数据处理方法
CN111092901A (zh) 一种工业互联网平台中设备接入及数据存储的方法
CN105117393A (zh) 一种行业应用中基于大数据的一种应用方式
CN108280147A (zh) 一种数据管理方法和装置
CN108073705B (zh) 一种分布式海量数据聚合采集方法
Rammer et al. Atlas: A distributed file system for spatiotemporal data
CN103092767B (zh) 一种对云计算内部物理机信息内存池的管理方法
CN102637200B (zh) 一种使多级关联数据分配到集群相同节点的方法
CN104063456A (zh) 基于向量查询的自媒体传播图谱分析方法和装置
KR101600275B1 (ko) 실시간 빅 데이터 이벤트 처리 시스템
CN202524426U (zh) 一种企业云计算服务应用系统
CN110706141A (zh) 电子政务大数据服务系统
CN111723063A (zh) 一种离线日志数据处理的方法和装置
CN204652428U (zh) 一种分布式数据库管理系统
Yue et al. Sensor Web event detection and geoprocessing over Big data
CN104424309A (zh) 一种基于科技媒体云计算非结构化数据处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151202