CN112347073A - 多数据系统 - Google Patents

多数据系统 Download PDF

Info

Publication number
CN112347073A
CN112347073A CN202011165856.6A CN202011165856A CN112347073A CN 112347073 A CN112347073 A CN 112347073A CN 202011165856 A CN202011165856 A CN 202011165856A CN 112347073 A CN112347073 A CN 112347073A
Authority
CN
China
Prior art keywords
data
item
self
pool
settings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011165856.6A
Other languages
English (en)
Inventor
周伯虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Chuangqi Cloud Computing Co ltd
Original Assignee
Shandong Chuangqi Cloud Computing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Chuangqi Cloud Computing Co ltd filed Critical Shandong Chuangqi Cloud Computing Co ltd
Priority to CN202011165856.6A priority Critical patent/CN112347073A/zh
Publication of CN112347073A publication Critical patent/CN112347073A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

多数据系统，涉及计算机程序技术领域，包括一个主控服务器和多个分布式存储数据库，其特征在于，所述存储数据库采用异步写入方式保存。本申请可以提高数据库的写入速度，并将所有数据写入数据库中，保证数据的完整性。

Description

多数据系统
技术领域
本发明涉及计算机程序技术领域，尤其涉及多数据系统。
背景技术
随着全员生产维护的开展，设备综合效率(Overall Equipment Effectiveness，OEE)作为全员生产维护衡量设备效能的标准得到广泛应用，并取得显著成效。Factorytalk、OEE、Toolkit等OEE分析软件已经被广泛使用，另外在国内外的各种MES系统中也相应引入了OEE分析模块。
然而，不管是OEE分析专用软件还是带有OEE分析模块的 MES，都存在如下弊端：1)费用高昂；2)开发要求较高；3)在使用中会存在一定问题。 另外用常规通用的统计分析软件，虽然可以降低成本，但是对于海量的OEE数据，要高效准确得出结果却存在很大的难度。
另外在当前的数据分析领域中，多维数据分析作为一项新兴技术，受到广泛重视。利用多维数据分析以OLAP(联机分析处理)作为平台，并且延伸到数据挖掘领域的综合分析数据系统，在人口信息、石油生产、医院信息等多个方面的数据分析都起到了积极作用。然而，针对生产领域中具体对于OEE的数据分析上，还鲜见多维数据分应用的实例。
多数据系统由于需要对大量的数据进行处理分析、存储和输出，因此存在高并发的问题，影响数据传输的及时性。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的多数据系统，可以有效的解决多数据系统由于需要对大量的数据进行处理分析、存储和输出，因此存在高并发的问题，影响数据传输的及时性。
为了实现上述目的，本发明采用了如下技术方案：
多数据系统，包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元，其特征在于，所述存储单元采用异步写入方式保存；
所述主控服务器用于提供数据和业务对接服务；
所述数据采集平台，用于根据指令进行数据采集；
所述数据处理平台，对数据采集平台采集的数据进行处理，处理后的数据按照业务类型存储；
所述业务对接，根据使用者的指令进行业务匹配；
所述分布式存储单元，用于存储数据处理平台处理的数据，并将处理的数据进行分类储存。
所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
所述业务对接通过CDN内容分发。
异步写入具体代码为：
From twisted.enterprise import adbapi
From pymysql import cursors
Class TwistedMysqlPipeline(object)：
@classmethod
def from_settings (cls,stettings)
db_prams=dict(
host=settings[‘MYSQL_HOST’],
user=settings[‘MYSQL_USER’],
password= settings[‘MYSQL_PW’],
db= settings[‘MYSQL_DB’],
port=3306,
use_unicode=True,
charset= settings[‘MYSQL_CHARSET’],
cursorclass=cursors.DictCursor
）
db_pool=adbapi.ConnectionPool(‘pymysql’,**db_prams)
return cls(db_pool)
def_init_(self,db_pool):
self.db_pool=db_pool
def process_item(self,item,spider):
query=self.db_pool.runInteraction(self.insert_sql,item)
query.addErrback(self.handle_error,item,spider)
return item
def handle_error(self,failure,item,spider):
print(‘报错了。。。’)
print（‘failure’）
print(‘item’)
def insert_sql(self,cursor,item):
item.save(cursor,item)。
与现有技术相比，本发明的有益效果为：
本申请将数据分类储存，并通过异步写入的方式保存，业务对接采用CDN内容分发，可以有效解决高并发问题，确保数据传输的及时性。
具体实施方式
实施例1
多数据系统，包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元，所述存储单元采用异步写入方式保存；所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
所述主控服务器用于提供数据和业务对接服务；当使用者需要点击业务对接服务进行操作时，主控服务器根据指令进行业务匹配，并从分类存储的分布式存储单元中调取数据，提供相关的数据服务，业务对接数据通过CDN内容分发给使用者。
所述数据采集平台，根据指令进行数据采集；数据采集平台采集的数据经数据处理平台进行处理，处理后的数据按照业务类型分类存储于分布式存储单元中。
异步写入具体代码为：
From twisted.enterprise import adbapi
From pymysql import cursors
Class TwistedMysqlPipeline(object)：
@classmethod
def from_settings (cls,stettings)
db_prams=dict(
host=settings[‘MYSQL_HOST’],
user=settings[‘MYSQL_USER’],
password= settings[‘MYSQL_PW’],
db= settings[‘MYSQL_DB’],
port=3306,
use_unicode=True,
charset= settings[‘MYSQL_CHARSET’],
cursorclass=cursors.DictCursor
）
db_pool=adbapi.ConnectionPool(‘pymysql’,**db_prams)
return cls(db_pool)
def_init_(self,db_pool):
self.db_pool=db_pool
def process_item(self,item,spider):
query=self.db_pool.runInteraction(self.insert_sql,item)
query.addErrback(self.handle_error,item,spider)
return item
def handle_error(self,failure,item,spider):
print(‘报错了…’)
print（‘failure’）
print(‘item’)
def insert_sql(self,cursor,item):
item.save(cursor,item)。

Claims (5)

1.多数据系统，包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元，其特征在于，所述存储单元采用异步写入方式保存；
所述主控服务器用于提供数据和业务对接服务；
所述数据采集平台，用于根据指令进行数据采集；
所述数据处理平台，对数据采集平台采集的数据进行处理，处理后的数据按照业务类型存储；
所述业务对接，根据使用者的指令进行业务匹配；
所述分布式存储单元，用于存储数据处理平台处理的数据，并将处理的数据进行分类储存。
2.如权利要求1所述多数据系统，其特征在于：所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
3.如权利要求2所述多数据系统，其特征在于：所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
4.如权利要求1所述多数据系统，其特征在于：所述业务对接通过CDN内容分发。
5.如权利要求1至4任意一项所述多数据系统，其特征在于：异步写入具体代码为：
From twisted.enterprise import adbapi
From pymysql import cursors
Class TwistedMysqlPipeline(object)：
@classmethod
def from_settings (cls,stettings)
db_prams=dict(
host=settings[‘MYSQL_HOST’],
user=settings[‘MYSQL_USER’],
password= settings[‘MYSQL_PW’],
db= settings[‘MYSQL_DB’],
port=3306,
use_unicode=True,
charset= settings[‘MYSQL_CHARSET’],
cursorclass=cursors.DictCursor
）
db_pool=adbapi.ConnectionPool(‘pymysql’,**db_prams)
return cls(db_pool)
def_init_(self,db_pool):
self.db_pool=db_pool
def process_item(self,item,spider):
query=self.db_pool.runInteraction(self.insert_sql,item)
query.addErrback(self.handle_error,item,spider)
return item
def handle_error(self,failure,item,spider):
print(‘报错了’)
print（‘failure’）
print(‘item’)
def insert_sql(self,cursor,item):
item.save(cursor,item)。
CN202011165856.6A 2020-10-27 2020-10-27 多数据系统 Pending CN112347073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011165856.6A CN112347073A (zh) 2020-10-27 2020-10-27 多数据系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011165856.6A CN112347073A (zh) 2020-10-27 2020-10-27 多数据系统

Publications (1)

Publication Number Publication Date
CN112347073A true CN112347073A (zh) 2021-02-09

Family

ID=74359156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011165856.6A Pending CN112347073A (zh) 2020-10-27 2020-10-27 多数据系统

Country Status (1)

Country Link
CN (1) CN112347073A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607476A (zh) * 2013-12-05 2014-02-26 上海普坤信息科技有限公司 海量消息的分布式多阶段持久化的系统及方法
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN105786877A (zh) * 2014-12-23 2016-07-20 中国移动通信集团山东有限公司 一种数据存储方法、系统及查询方法
CN106170016A (zh) * 2016-07-28 2016-11-30 深圳市创梦天地科技有限公司 一种处理高并发数据请求的方法和系统
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质
US20190303487A1 (en) * 2018-03-27 2019-10-03 Paypal, Inc. System and platform for computing and analyzing big data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607476A (zh) * 2013-12-05 2014-02-26 上海普坤信息科技有限公司 海量消息的分布式多阶段持久化的系统及方法
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN105786877A (zh) * 2014-12-23 2016-07-20 中国移动通信集团山东有限公司 一种数据存储方法、系统及查询方法
CN106170016A (zh) * 2016-07-28 2016-11-30 深圳市创梦天地科技有限公司 一种处理高并发数据请求的方法和系统
US20190303487A1 (en) * 2018-03-27 2019-10-03 Paypal, Inc. System and platform for computing and analyzing big data
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110349639B (zh) 一种基于通用医疗术语库的多中心医疗术语标准化系统
Aboutorabiª et al. Performance evaluation of SQL and MongoDB databases for big e-commerce data
CN109388637B (zh) 数据仓库信息处理方法、装置、系统、介质
US6687693B2 (en) Architecture for distributed relational data mining systems
CN111984499A (zh) 一种大数据集群的故障检测方法和装置
AU2008300503B2 (en) ETL-less zero redundancy system and method for reporting OLTP data
US9542424B2 (en) Lifecycle-based horizontal partitioning
US7991804B2 (en) Method, system, and apparatus for exposing workbooks as data sources
US8572063B2 (en) Computer-implemented method for operating a database and corresponding computer-system
US20030177137A1 (en) Graphical query analyzer
US20020040639A1 (en) Analytical database system that models data to speed up and simplify data analysis
US20130013995A1 (en) Method, System, and Apparatus for Providing Access to Workbook Models Through Remote Function Calls
Scabora et al. Physical data warehouse design on NoSQL databases-OLAP query processing over HBase
CN114328688A (zh) 一种针对电力能源大数据的管控平台
CN111597174A (zh) 一种分布式数据统计处理系统、方法、存储介质、终端
CN111813847A (zh) 企业运营数据的处理方法
CN115168377A (zh) 一种报表数据处理方法、装置、设备及介质
CN112347073A (zh) 多数据系统
CN112633621B (zh) 一种基于paas平台的电网企业管理决策系统和方法
CN112487025A (zh) 数据查询方法、装置、电子设备及存储介质
CN112579632A (zh) 一种数据核验方法、装置、设备和介质
CN111046054A (zh) 一种电力营销业务数据分析的方法和系统
CN111198917A (zh) 数据处理方法、装置、设备及存储介质
CN116414917A (zh) 基于Myhouse数据库的数据传输方法、装置、设备及存储介质
CN113761739B (zh) 一种基于装备特征的标准化费用分解结构构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210209