CN112347073A - 多数据系统 - Google Patents
多数据系统 Download PDFInfo
- Publication number
- CN112347073A CN112347073A CN202011165856.6A CN202011165856A CN112347073A CN 112347073 A CN112347073 A CN 112347073A CN 202011165856 A CN202011165856 A CN 202011165856A CN 112347073 A CN112347073 A CN 112347073A
- Authority
- CN
- China
- Prior art keywords
- data
- item
- self
- pool
- settings
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 5
- 238000003032 molecular docking Methods 0.000 claims description 10
- 241000239290 Araneae Species 0.000 claims description 9
- 230000008676 import Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 abstract description 2
- 238000007405 data analysis Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
多数据系统,涉及计算机程序技术领域,包括一个主控服务器和多个分布式存储数据库,其特征在于,所述存储数据库采用异步写入方式保存。本申请可以提高数据库的写入速度,并将所有数据写入数据库中,保证数据的完整性。
Description
技术领域
本发明涉及计算机程序技术领域,尤其涉及多数据系统。
背景技术
随着全员生产维护的开展,设备综合效率(Overall Equipment Effectiveness,OEE)作为全员生产维护衡量设备效能的标准得到广泛应用,并取得显著成效。Factorytalk、OEE、Toolkit等OEE分析软件已经被广泛使用,另外在国内外的各种MES系统中也相应引入了OEE分析模块。
然而,不管是OEE分析专用软件还是带有OEE分析模块的 MES,都存在如下弊端:1)费用高昂;2)开发要求较高;3)在使用中会存在一定问题。 另外用常规通用的统计分析软件,虽然可以降低成本,但是对于海量的OEE数据,要高效准确得出结果却存在很大的难度。
另外在当前的数据分析领域中,多维数据分析作为一项新兴技术,受到广泛重视。利用多维数据分析以OLAP(联机分析处理)作为平台,并且延伸到数据挖掘领域的综合分析数据系统,在人口信息、石油生产、医院信息等多个方面的数据分析都起到了积极作用。然而,针对生产领域中具体对于OEE的数据分析上,还鲜见多维数据分应用的实例。
多数据系统由于需要对大量的数据进行处理分析、存储和输出,因此存在高并发的问题,影响数据传输的及时性。
发明内容
本发明的目的是为了解决现有技术中存在的缺点,而提出的多数据系统,可以有效的解决多数据系统由于需要对大量的数据进行处理分析、存储和输出,因此存在高并发的问题,影响数据传输的及时性。
为了实现上述目的,本发明采用了如下技术方案:
多数据系统,包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元,其特征在于,所述存储单元采用异步写入方式保存;
所述主控服务器用于提供数据和业务对接服务;
所述数据采集平台,用于根据指令进行数据采集;
所述数据处理平台,对数据采集平台采集的数据进行处理,处理后的数据按照业务类型存储;
所述业务对接,根据使用者的指令进行业务匹配;
所述分布式存储单元,用于存储数据处理平台处理的数据,并将处理的数据进行分类储存。
所述异步写入方式采用将数据放在缓存中,不立即存储数据库的数据,使用队列存储的方式实现。
所述异步写入方式采用将数据放在缓存中,不立即存储数据库的数据,使用队列存储的方式实现。
所述业务对接通过CDN内容分发。
异步写入具体代码为:
From twisted.enterprise import adbapi
From pymysql import cursors
Class TwistedMysqlPipeline(object):
@classmethod
def from_settings (cls,stettings)
db_prams=dict(
host=settings[‘MYSQL_HOST’],
user=settings[‘MYSQL_USER’],
password= settings[‘MYSQL_PW’],
db= settings[‘MYSQL_DB’],
port=3306,
use_unicode=True,
charset= settings[‘MYSQL_CHARSET’],
cursorclass=cursors.DictCursor
)
db_pool=adbapi.ConnectionPool(‘pymysql’,**db_prams)
return cls(db_pool)
def_init_(self,db_pool):
self.db_pool=db_pool
def process_item(self,item,spider):
query=self.db_pool.runInteraction(self.insert_sql,item)
query.addErrback(self.handle_error,item,spider)
return item
def handle_error(self,failure,item,spider):
print(‘报错了。。。’)
print(‘failure’)
print(‘item’)
def insert_sql(self,cursor,item):
item.save(cursor,item)。
与现有技术相比,本发明的有益效果为:
本申请将数据分类储存,并通过异步写入的方式保存,业务对接采用CDN内容分发,可以有效解决高并发问题,确保数据传输的及时性。
具体实施方式
实施例1
多数据系统,包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元,所述存储单元采用异步写入方式保存;所述异步写入方式采用将数据放在缓存中,不立即存储数据库的数据,使用队列存储的方式实现。
所述主控服务器用于提供数据和业务对接服务;当使用者需要点击业务对接服务进行操作时,主控服务器根据指令进行业务匹配,并从分类存储的分布式存储单元中调取数据,提供相关的数据服务,业务对接数据通过CDN内容分发给使用者。
所述数据采集平台,根据指令进行数据采集;数据采集平台采集的数据经数据处理平台进行处理,处理后的数据按照业务类型分类存储于分布式存储单元中。
异步写入具体代码为:
From twisted.enterprise import adbapi
From pymysql import cursors
Class TwistedMysqlPipeline(object):
@classmethod
def from_settings (cls,stettings)
db_prams=dict(
host=settings[‘MYSQL_HOST’],
user=settings[‘MYSQL_USER’],
password= settings[‘MYSQL_PW’],
db= settings[‘MYSQL_DB’],
port=3306,
use_unicode=True,
charset= settings[‘MYSQL_CHARSET’],
cursorclass=cursors.DictCursor
)
db_pool=adbapi.ConnectionPool(‘pymysql’,**db_prams)
return cls(db_pool)
def_init_(self,db_pool):
self.db_pool=db_pool
def process_item(self,item,spider):
query=self.db_pool.runInteraction(self.insert_sql,item)
query.addErrback(self.handle_error,item,spider)
return item
def handle_error(self,failure,item,spider):
print(‘报错了…’)
print(‘failure’)
print(‘item’)
def insert_sql(self,cursor,item):
item.save(cursor,item)。
Claims (5)
1.多数据系统,包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元,其特征在于,所述存储单元采用异步写入方式保存;
所述主控服务器用于提供数据和业务对接服务;
所述数据采集平台,用于根据指令进行数据采集;
所述数据处理平台,对数据采集平台采集的数据进行处理,处理后的数据按照业务类型存储;
所述业务对接,根据使用者的指令进行业务匹配;
所述分布式存储单元,用于存储数据处理平台处理的数据,并将处理的数据进行分类储存。
2.如权利要求1所述多数据系统,其特征在于:所述异步写入方式采用将数据放在缓存中,不立即存储数据库的数据,使用队列存储的方式实现。
3.如权利要求2所述多数据系统,其特征在于:所述异步写入方式采用将数据放在缓存中,不立即存储数据库的数据,使用队列存储的方式实现。
4.如权利要求1所述多数据系统,其特征在于:所述业务对接通过CDN内容分发。
5.如权利要求1至4任意一项所述多数据系统,其特征在于:异步写入具体代码为:
From twisted.enterprise import adbapi
From pymysql import cursors
Class TwistedMysqlPipeline(object):
@classmethod
def from_settings (cls,stettings)
db_prams=dict(
host=settings[‘MYSQL_HOST’],
user=settings[‘MYSQL_USER’],
password= settings[‘MYSQL_PW’],
db= settings[‘MYSQL_DB’],
port=3306,
use_unicode=True,
charset= settings[‘MYSQL_CHARSET’],
cursorclass=cursors.DictCursor
)
db_pool=adbapi.ConnectionPool(‘pymysql’,**db_prams)
return cls(db_pool)
def_init_(self,db_pool):
self.db_pool=db_pool
def process_item(self,item,spider):
query=self.db_pool.runInteraction(self.insert_sql,item)
query.addErrback(self.handle_error,item,spider)
return item
def handle_error(self,failure,item,spider):
print(‘报错了’)
print(‘failure’)
print(‘item’)
def insert_sql(self,cursor,item):
item.save(cursor,item)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011165856.6A CN112347073A (zh) | 2020-10-27 | 2020-10-27 | 多数据系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011165856.6A CN112347073A (zh) | 2020-10-27 | 2020-10-27 | 多数据系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112347073A true CN112347073A (zh) | 2021-02-09 |
Family
ID=74359156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011165856.6A Pending CN112347073A (zh) | 2020-10-27 | 2020-10-27 | 多数据系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112347073A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607476A (zh) * | 2013-12-05 | 2014-02-26 | 上海普坤信息科技有限公司 | 海量消息的分布式多阶段持久化的系统及方法 |
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
CN105786877A (zh) * | 2014-12-23 | 2016-07-20 | 中国移动通信集团山东有限公司 | 一种数据存储方法、系统及查询方法 |
CN106170016A (zh) * | 2016-07-28 | 2016-11-30 | 深圳市创梦天地科技有限公司 | 一种处理高并发数据请求的方法和系统 |
CN108920659A (zh) * | 2018-07-03 | 2018-11-30 | 广州唯品会信息科技有限公司 | 数据处理系统及其数据处理方法、计算机可读存储介质 |
US20190303487A1 (en) * | 2018-03-27 | 2019-10-03 | Paypal, Inc. | System and platform for computing and analyzing big data |
-
2020
- 2020-10-27 CN CN202011165856.6A patent/CN112347073A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607476A (zh) * | 2013-12-05 | 2014-02-26 | 上海普坤信息科技有限公司 | 海量消息的分布式多阶段持久化的系统及方法 |
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
CN105786877A (zh) * | 2014-12-23 | 2016-07-20 | 中国移动通信集团山东有限公司 | 一种数据存储方法、系统及查询方法 |
CN106170016A (zh) * | 2016-07-28 | 2016-11-30 | 深圳市创梦天地科技有限公司 | 一种处理高并发数据请求的方法和系统 |
US20190303487A1 (en) * | 2018-03-27 | 2019-10-03 | Paypal, Inc. | System and platform for computing and analyzing big data |
CN108920659A (zh) * | 2018-07-03 | 2018-11-30 | 广州唯品会信息科技有限公司 | 数据处理系统及其数据处理方法、计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110349639B (zh) | 一种基于通用医疗术语库的多中心医疗术语标准化系统 | |
Aboutorabiª et al. | Performance evaluation of SQL and MongoDB databases for big e-commerce data | |
CN109388637B (zh) | 数据仓库信息处理方法、装置、系统、介质 | |
US6687693B2 (en) | Architecture for distributed relational data mining systems | |
CN111984499A (zh) | 一种大数据集群的故障检测方法和装置 | |
AU2008300503B2 (en) | ETL-less zero redundancy system and method for reporting OLTP data | |
US9542424B2 (en) | Lifecycle-based horizontal partitioning | |
US7991804B2 (en) | Method, system, and apparatus for exposing workbooks as data sources | |
US8572063B2 (en) | Computer-implemented method for operating a database and corresponding computer-system | |
US20030177137A1 (en) | Graphical query analyzer | |
US20020040639A1 (en) | Analytical database system that models data to speed up and simplify data analysis | |
US20130013995A1 (en) | Method, System, and Apparatus for Providing Access to Workbook Models Through Remote Function Calls | |
Scabora et al. | Physical data warehouse design on NoSQL databases-OLAP query processing over HBase | |
CN114328688A (zh) | 一种针对电力能源大数据的管控平台 | |
CN111597174A (zh) | 一种分布式数据统计处理系统、方法、存储介质、终端 | |
CN111813847A (zh) | 企业运营数据的处理方法 | |
CN115168377A (zh) | 一种报表数据处理方法、装置、设备及介质 | |
CN112347073A (zh) | 多数据系统 | |
CN112633621B (zh) | 一种基于paas平台的电网企业管理决策系统和方法 | |
CN112487025A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
CN112579632A (zh) | 一种数据核验方法、装置、设备和介质 | |
CN111046054A (zh) | 一种电力营销业务数据分析的方法和系统 | |
CN111198917A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN116414917A (zh) | 基于Myhouse数据库的数据传输方法、装置、设备及存储介质 | |
CN113761739B (zh) | 一种基于装备特征的标准化费用分解结构构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210209 |