CN103226532A - 数据处理系统和方法 - Google Patents
数据处理系统和方法 Download PDFInfo
- Publication number
- CN103226532A CN103226532A CN201310103988XA CN201310103988A CN103226532A CN 103226532 A CN103226532 A CN 103226532A CN 201310103988X A CN201310103988X A CN 201310103988XA CN 201310103988 A CN201310103988 A CN 201310103988A CN 103226532 A CN103226532 A CN 103226532A
- Authority
- CN
- China
- Prior art keywords
- data
- described data
- data processing
- center
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据处理装置和方法。所述数据处理系统包括:多个数据处理单元,用于在数据处理时生成数据,所述数据处理单元均具有数据接口;数据中心,用于所述数据处理单元通过所述数据接口将所述数据进行封装后存储在所述数据中心,并且所述数据处理单元通过所述数据接口从所述数据中心调用所述数据。本发明的数据处理系统,利用了数据接口,使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据接口存储在数据中心里,当之后数据处理单元需要进行数据调用时,通过数据接口从数据中心里调用数据,避免了数据调用时会影响数据的处理,也避免了调用的数据出错。
Description
技术领域
本发明涉及一种数据处理系统和方法,尤其涉及一种利用内置数据接口进行数据存储和调用的数据处理系统和方法。
背景技术
数据处理是庞大而复杂的,对于现有技术来说,每个需要调用和数据的装置/系统都会具有自身的数据存储主体和方式,例如数据库或数据存储单元,当需要存储数据时,将数据存储该数据库,当需要调用自身产生的数据时,也从该数据库调用数据。
此时就会产生一个问题,因为在本装置进行数据处理的时候,由可能需要其他装置产生的数据,这时候本装置就必须从其他装置去调用这个数据。从其他装置调用数据是非常复杂和繁琐的,需要本装置和数据调用装置之间具有耦合性才可以,否则无法调用到数据,而且也会影响被调用数据装置的正常工作。
例如,A系统向B系统调用数据,而B系统的该数据正在进行数据更新,那A系统读数据的时候就可能导致B系统更新数据出错,而且A调用到的数据也可能出错。
所以现有的数据处理系统当需要进行系统间数据调用的时候不但要求系统间的耦合性,而且会影响调用数据和被调用数据系统的正常工作。
发明内容
本发明的目的是针对现有技术的缺陷,提供一种数据处理系统,可以将数据均存储在数据中心里,防止数据存储/调用和数据处理的干扰。
为实现上述目的,本发明提供了一种数据处理系统,所述数据处理系统包括:
多个数据处理单元,用于在数据处理时生成数据,所述数据处理单元均具有数据接口;
数据中心,用于所述数据处理单元通过所述数据接口将所述数据进行封装后存储在所述数据中心,并且所述数据处理单元通过所述数据接口从所述数据中心调用所述数据。
为实现上述目的,本发明还提供了一种数据处理方法,所述数据处理方法包括:
数据处理单元进行数据处理,生成数据;
通过所述数据处理单元的数据接口,将所述数据封装后存储在数据中心;
当所述数据处理单元需要调用所述数据时,通过所述数据接口从所述数据中心调用所述数据。
本发明的数据处理系统,利用了数据接口,使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据接口存储在数据中心里,当之后数据处理单元需要进行数据调用时,通过数据接口从数据中心里调用数据,避免了数据调用时会影响数据的处理,也避免了调用的数据出错。
附图说明
图1为本发明数据处理系统的示意图;
图2为本发明另一数据处理系统的示意图;
图3为本发明数据处理方法的流程图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
本发明是将各个数据处理单元或者程序共同使用一个数据中心,从而使得各个数据处理单元不需要单独设置存储单元来存储数据,而只需要从共同的数据中心存储和调用数据。
图1为本发明数据处理系统的示意图,如图所示,本实施例的数据处理系统具体包括:数据处理单元10和数据中心12,每一个数据处理单元10均具有、数据接口11。
数据处理单元10可以是任何具有数据处理功能的单元、模块、装置或者程序,只要具有数据处理能力即可。数据处理单元10在进行数据处理的时候,一定会调用数据也会产生数据,而所产生的数据一定是需要进行存储的,并且需要进行调用的数据一定也是存储的。
数据接口11每一个数据处理单元自身的接口,以供数据处理单元10通过数据接口11来存储数据,同理,数据处理单元10也通过数据接口11来调用数据。
数据中心12的作用就是用来存储数据的,而且是所有的数据处理单元10均可以将数据处理时产生的数据通过数据接口11进行封装后存储在数据中心12里。当数据处理单元10需要进行数据调用的时候,同样是通过数据接口11从数据中心12中调用。数据中心12中可以存储数据,所存储的数据可以被更新,也可以被调用,甚至可以被删除。
具体的,数据接口11将数据进行格式转换,转换为数据中心12统一的数据格式后存储在数据中心12。例如,数据接口11将数据进行拆分,拆分为数据中心12统一格式的字段后存储在数据中心12。
所以,数据接口11的作用,是传输、封装和拆分需要传输的数据。数据中心12的底层遵循数据接口的规范,即一定的要求和模式,不能随意处理,或者利用外挂模式,非包含底层处理。
数据接口11对应不同的编程语(开发环境),编程语言相同的情况下数据接口是相同的。数据接口可以是应用的一部分,数据处理以后就是对于数据中心数据格式的转换和翻译,从数据中心角度来看处理后的数据或者字段都是一样的了。数据接口把数据解析成数据中心的标准,传输的不在是数据,而是字段,所以通信是和现有技术有区别的,传输的是字段。
这样每一个数据处理单元10产生的数据可以不需要进行单独的存储单元来存储,而是可以将所有产生的数据都存储在数据中心12中,这样使得数据处理和数据存储/调用所分开,不会因为数据存储/调用而影响数据的处理,将数据处理和数据调用完全分开。
本实施例的数据处理系统,利用了数据接口,使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据接口存储在数据中心里,如果之后再次产生新的数据后可以将原数据进行更新处理,保持数据中心中的数据均是最新数据。当之后数据处理单元需要进行数据调用时,通过数据接口从数据中心里调用数据,避免了数据调用时会影响数据的处理,也避免了调用的数据出错。
图2为本发明另一数据处理系统的示意图,如图所示,本实施例的数据处理系统具体包括:数据处理单元10、数据接口11、数据中心12和数据存储单元13。
本实施例和上述实施例的区别就是本实施例比上一实施例增加了数据存储单元13,而数据存储单元13是单独为数据处理单元10服务的,用于存储数据处理单元10生成的仅用于自身调用的数据,和存储从数据中心12调用的用于数据处理单元进行数据处理的数据,当数据处理单元10在数据处理时产生的数据不希望存储在数据中心时,例如不希望被其他数据处理单元10调用的时候,数据处理单元10将该数据存储在数据存储单元13中。
由此可以看出,当数据处理单元10需要存储不被其他单元调用时,可以单独使用一个数据存储单元13,将数据存储在数据存储单元13中,这样数据存储单元13中存储的数据就只能被该数据处理单元10所调用,其他数据处理单元10将无法调用该数据存储单元13中处理的数据。
本实施例的数据处理系统因为具有数据存储单元13,这样,数据处理单元10在数据处理中产生的数据可以选择所存储的主体,如果只希望被自身所调用的数据,可以将数据存储在数据存储单元13中,如果数据处理单元10产生的数据不是只希望被自身所调用,则可以通过数据共享中心存储在数据中心里,供调用。
每一个数据处理单元可以通过数据接口从数据中心里调用数据,也可以从自身的数据存储单元去调用数据。利用数据存储单元来实现数据的私密性,防止数据外泄的可能性,同样也是将数据处理和数据调用分开,防止数据调用和数据处理的相互干扰。
图3为本发明数据处理方法的流程图,如图所示,本发明的数据处理方法具体包括:
步骤101,数据处理单元进行数据处理,生成数据;
步骤102,通过数据处理单元的数据接口,将数据封装后存储在数据中心;
具体的,数据接口将数据进行格式转换,转换为数据中心统一的数据格式后存储在所述数据中心,例如数据接口将数据进行拆分,拆分为数据中心统一格式的字段后存储在数据中心。
步骤103,当数据处理单元需要调用所述数据时,数据处理单元通过自身的数据接口从数据中心调用数据。
这样每一个数据处理单元产生的数据可以不需要进行单独的存储单元来存储,而是可以将所有产生的数据都存储在数据中心中,使得数据处理和数据存储/调用所分开,不会因为数据存储/调用而影响数据的处理,将数据处理和数据调用完全分开。
利用了数据接口,使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据接口存储在数据中心里,如果之后再次产生新的数据后可以将原数据进行更新处理,保持数据中心中的数据均是最新数据。当之后数据处理单元需要进行数据调用时,通过数据接口从数据中心里调用数据,避免了数据调用时会影响数据的处理,也避免了调用的数据出错。
另外,本发明数据处理方法还可以包括,数据处理单元将仅用于自身调用的数据存储在数据存储单元中,或者在数据存储单元存储从数据中心调用的用于数据处理单元进行数据处理的数据。
数据处理单元从数据存储单元中调用数据。
所以,数据接口传输、封装和拆分需要传输的数据。数据中心的底层遵循数据接口的规范,即一定的要求和模式,不能随意处理,或者利用外挂模式,非包含底层处理。
数据接口对应不同的编程语(开发环境),编程语言相同的情况下数据接口是相同的。数据接口可以是应用的一部分,数据处理以后就是对于数据中心数据格式的转换和翻译,从数据中心角度来看处理后的数据或者字段都是一样的了。数据接口把数据解析成数据中心的标准,传输的不在是数据,而是字段,所以通信是和现有技术有区别的,传输的是字段。
这样,数据处理单元在数据处理中产生的数据可以选择所存储的主体,如果只希望被自身所调用的数据,可以将数据存储在数据存储单元中,如果数据处理单元产生的数据不是只希望被自身所调用,则可以通过数据共享中心存储在数据中心里。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种数据处理系统,其特征在于,所述数据处理系统包括:
多个数据处理单元,用于在数据处理时生成数据,所述数据处理单元均具有数据接口;
数据中心,用于所述数据处理单元通过所述数据接口将所述数据进行封装后存储在所述数据中心,并且所述数据处理单元通过所述数据接口从所述数据中心调用所述数据。
2.根据权利要求1所述的数据处理系统,其特征在于所述数据接口具体用于将所述数据进行格式转换,转换为所述数据中心统一的数据格式后存储在所述数据中心。
3.根据权利要求2所述的数据处理系统,其特征在于所述数据接口具体用于将所述数据进行拆分,拆分为所述数据中心统一格式的字段后存储在所述数据中心。
4.根据权利要求3所述的数据处理系统,其特征在于所述系统还包括:
数据存储单元,用于存储所述数据处理单元生成的仅用于自身调用的数据,和存储从所述数据中心调用的用于所述数据处理单元进行数据处理的数据。
5.一种数据处理方法,其特征在于,所述数据处理方法包括:
数据处理单元进行数据处理,生成数据;
通过所述数据处理单元的数据接口,将所述数据封装后存储在数据中心;
当所述数据处理单元需要调用所述数据时,通过所述数据接口从所述数据中心调用所述数据。
6.根据权利要求5所述的数据处理方法,其特征在于,所述通过所述数据处理单元的数据接口,将所述数据封装后存储在数据中心具体为,所述数据接口将所述数据进行格式转换,转换为所述数据中心统一的数据格式后存储在所述数据中心。
7.根据权利要求6所述的数据处理方法,其特征在于,所述数据接口将所述数据进行格式转换,转换为所述数据中心统一的数据格式后存储在所述数据中心具体为,所述数据接口将所述数据进行拆分,拆分为所述数据中心统一格式的字段后存储在所述数据中心。
8.根据权利要求7所述的数据处理方法,其特征在于,所述方法还包括,所述数据处理单元将仅用于自身调用的数据存储在数据存储单元中,或者在数据存储单元存储从所述数据中心调用的用于所述数据处理单元进行数据处理的数据。
9.根据权利要求8所述的数据处理方法,其特征在于,所述方法还包括,所述数据处理单元从所述数据存储单元中调用数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310103988XA CN103226532A (zh) | 2013-03-28 | 2013-03-28 | 数据处理系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310103988XA CN103226532A (zh) | 2013-03-28 | 2013-03-28 | 数据处理系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103226532A true CN103226532A (zh) | 2013-07-31 |
Family
ID=48836988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310103988XA Pending CN103226532A (zh) | 2013-03-28 | 2013-03-28 | 数据处理系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103226532A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915769A (zh) * | 2015-06-01 | 2015-09-16 | 北京圆通慧达管理软件开发有限公司 | 业务协作方法和系统 |
CN108563645A (zh) * | 2018-04-24 | 2018-09-21 | 成都智信电子技术有限公司 | His系统的元数据翻译方法和装置 |
WO2021128776A1 (zh) * | 2019-12-27 | 2021-07-01 | 北京市商汤科技开发有限公司 | 数据处理方法、装置、设备、系统、存储介质和程序产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1648842A (zh) * | 2004-01-29 | 2005-08-03 | 株式会社日立制作所 | 具有多个接口的存储装置 |
CN102209087A (zh) * | 2010-03-31 | 2011-10-05 | 国际商业机器公司 | 在具有存储网络的数据中心进行MapReduce数据传输的方法和系统 |
CN102725753A (zh) * | 2011-11-28 | 2012-10-10 | 华为技术有限公司 | 优化数据访问的方法及装置、优化数据存储的方法及装置 |
CN102868739A (zh) * | 2012-09-05 | 2013-01-09 | 浪潮(北京)电子信息产业有限公司 | 应用于ip san集群存储系统的交换设备 |
-
2013
- 2013-03-28 CN CN201310103988XA patent/CN103226532A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1648842A (zh) * | 2004-01-29 | 2005-08-03 | 株式会社日立制作所 | 具有多个接口的存储装置 |
CN102209087A (zh) * | 2010-03-31 | 2011-10-05 | 国际商业机器公司 | 在具有存储网络的数据中心进行MapReduce数据传输的方法和系统 |
CN102725753A (zh) * | 2011-11-28 | 2012-10-10 | 华为技术有限公司 | 优化数据访问的方法及装置、优化数据存储的方法及装置 |
CN102868739A (zh) * | 2012-09-05 | 2013-01-09 | 浪潮(北京)电子信息产业有限公司 | 应用于ip san集群存储系统的交换设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915769A (zh) * | 2015-06-01 | 2015-09-16 | 北京圆通慧达管理软件开发有限公司 | 业务协作方法和系统 |
CN104915769B (zh) * | 2015-06-01 | 2018-10-19 | 明算科技(北京)股份有限公司 | 业务协作方法和系统 |
CN108563645A (zh) * | 2018-04-24 | 2018-09-21 | 成都智信电子技术有限公司 | His系统的元数据翻译方法和装置 |
WO2021128776A1 (zh) * | 2019-12-27 | 2021-07-01 | 北京市商汤科技开发有限公司 | 数据处理方法、装置、设备、系统、存储介质和程序产品 |
US11314457B2 (en) | 2019-12-27 | 2022-04-26 | Beijing Sensetime Technology Development Co., Ltd. | Data processing method for data format conversion, apparatus, device, and system, storage medium, and program product |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10048865B2 (en) | Disk partition stitching and rebalancing using a partition table | |
CN104021145B (zh) | 一种混合业务并发访问的方法和装置 | |
CN102915236B (zh) | 使用硬件抽象执行软件应用程序的方法和系统 | |
CN104350546A (zh) | 行锤击刷新命令 | |
CN103995854A (zh) | 一种设备跨版本升级方法和装置 | |
CN101984449B (zh) | 一种智能卡cos操作系统 | |
US10445260B2 (en) | Direct access to hardware queues of a storage device by software threads | |
CN106528893A (zh) | 数据同步方法及装置 | |
CN105849697A (zh) | 升级电子装置的操作系统的方法和设备 | |
CN108959122A (zh) | 一种升级包下载的保存方法、装置和终端 | |
CN103984574A (zh) | 一种网站升级方法及系统 | |
CN106250571A (zh) | 一种etl数据处理的方法及系统 | |
CN103226532A (zh) | 数据处理系统和方法 | |
CN103106260A (zh) | 一种面向角色的虚拟文件系统的建立方法 | |
CN107423291B (zh) | 一种数据翻译方法以及客户端设备 | |
CN103530165B (zh) | 一种应用于物联网行业的java解决方案 | |
CN103425761B (zh) | 一种对打包文件进行碎片整理的方法、系统及设备 | |
CN113254156B (zh) | 一种容器组部署方法、装置、电子设备及存储介质 | |
CN105260266A (zh) | 一种快照卷写方法及依赖快照系统 | |
CN103218228B (zh) | 一种安卓设备内置硬盘实现ntfs文件系统的方法及装置 | |
US20150347320A1 (en) | ENCRYPTION FOR SOLID STATE DRIVES (SSDs) | |
CN105138528A (zh) | 一种多值数据存储、读取的方法和装置及其存取的系统 | |
US9588918B2 (en) | Storage control devices and method therefor to invoke address thereof | |
CN104216707A (zh) | 一种支持多种管理模式的统一管理方法 | |
CN102663038A (zh) | 一种提供地理信息系统接口服务的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130731 |