CN103150403A - 数据处理系统和方法 - Google Patents

Abstract

本发明涉及一种数据处理装置和方法。所述数据处理系统包括：多个数据处理单元，用于在数据处理时生成数据；数据共享单元；数据中心，用于所述数据共享单元将所述数据处理单元生成的数据存储在所述数据中心，并且所述数据共享单元从所述数据中心调用所述数据发送给所述数据处理单元。本发明的数据处理系统，利用了数据共享单元，使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据共享单元存储在数据中心里，当之后数据处理单元需要进行数据调用时，通过数据共享单元从数据中心里调用数据，避免了数据调用时会影响数据的处理，也避免了调用的数据出错。

Description

数据处理系统和方法

技术领域

本发明涉及一种数据处理系统和方法，尤其涉及一种利用内置数据接口进行数据存储和调用的数据处理系统和方法。

背景技术

数据处理是庞大而复杂的，对于现有技术来说，每个需要调用和数据的装置/系统都会具有自身的数据存储主体和方式，例如数据库或数据存储单元，当需要存储数据时，将数据存储该数据库，当需要调用自身产生的数据时，也从该数据库调用数据。

此时就会产生一个问题，因为在本装置进行数据处理的时候，由可能需要其他装置产生的数据，这时候本装置就必须从其他装置去调用这个数据。从其他装置调用数据是非常复杂和繁琐的，需要本装置和数据调用装置之间具有耦合性才可以，否则无法调用到数据，而且也会影响被调用数据装置的正常工作。

例如，A系统向B系统调用数据，而B系统的该数据正在进行数据更新，那A系统读数据的时候就可能导致B系统更新数据出错，而且A调用到的数据也可能出错。

所以现有的数据处理系统当需要进行系统间数据调用的时候不但要求系统间的耦合性，而且会影响调用数据和被调用数据系统的正常工作。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种数据处理系统，可以将数据均存储在数据中心里，防止数据存储/调用和数据处理的干扰。

为实现上述目的，本发明提供了一种数据处理系统，所述数据处理系统包括：

多个数据处理单元，用于在数据处理时生成数据；

数据共享单元；

数据中心，用于所述数据共享单元将所述数据处理单元生成的数据存储在所述数据中心，并且所述数据共享单元从所述数据中心调用所述数据发送给所述数据处理单元。。

为实现上述目的，本发明还提供了一种数据处理方法，所述数据处理方法包括：

数据处理单元进行数据处理，生成数据；

所述数据共享单元将所述数据存储在数据中心；

当所述数据处理单元需要调用所述数据时，所述数据共享单元从所述数据中心调用所述数据发送给所述数据处理单元。。

本发明的数据处理系统，利用了数据共享单元，使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据共享单元存储在数据中心里，当之后数据处理单元需要进行数据调用时，通过数据共享单元从数据中心里调用数据，避免了数据调用时会影响数据的处理，也避免了调用的数据出错。

附图说明

图1为本发明数据处理系统的示意图；

图2为本发明另一数据处理系统的示意图；

图3为本发明数据处理方法的流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明是将各个数据处理单元或者程序共同使用一个数据中心，从而使得各个数据处理单元不需要单独设置存储单元来存储数据，而只需要从共同的数据中心存储和调用数据。

图1为本发明数据处理系统的示意图，如图所示，本实施例的数据处理系统具体包括：数据处理单元10、数据共享单元11和数据中心12。

数据处理单元10可以是任何具有数据处理功能的单元、模块、装置或者程序，只要具有数据处理能力即可。数据处理单元10在进行数据处理的时候，一定会调用数据也会产生数据，而所产生的数据一定是需要进行存储的，并且需要进行调用的数据一定也是存储的。

数据共享单元11可以利用共享埠来实现，数据共享单元11的作用就是一个外部接口提供给所有的数据处理单元10，以供数据处理单元10通过数据共享单元来存储数据，同理，数据处理单元10也通过数据共享单元11来调用数据。

数据中心12的作用就是用来存储数据的，数据共享单元11将数据处理单元10生成的数据存储在数据中心12，并且数据共享单元11从数据中心12调用数据发送给数据处理单元。

由此所有的数据处理单元10均可以将数据处理时产生的数据通过数据共享单元11存储在数据中心12里。当数据处理单元10需要进行数据调用的时候，同样是通过数据共享单元11从数据中心12中调用。数据中心12中可以存储数据，所存储的数据可以被更新，也可以被调用，甚至可以被删除。

具体的，数据共享单元11将数据处理单元10产生的数据拆分为离散的字段后存储在数据中心12，以及从数据中心12调用字段并重组为数据后发送给数据处理单元10。

例如，一个数据处理单元B存储数据的时候是按照自身字段间的标准定义和构架的，存储的时候共享埠先将数据字段拆开存储在数据中心，字段间没有关系了。

当另一个数据处理单元A调用数据的时候，需要告知共享埠需求数据(字段)之间的关系，由共享埠将数据处理单元B的离散化的字段按照A的标准重新构架以后调用给数据处理单元A。由此数据处理单元A得到了需要的字段之间关系的数据，不需要A去重组，而是由共享埠来处理。

这样每一个数据处理单元10产生的数据可以不需要进行单独的存储单元来存储，而是可以将所有产生的数据都存储在数据中心12中，使得数据处理和数据存储/调用所分开，不会因为数据存储/调用而影响数据的处理，将数据处理和数据调用完全分开。

所以数据中心结构有变化，数据中心可以不用得知数据的提供应用是由哪个数据处理单元，而都由共享埠去管理。

并且数据中心的数据处理效率很高，不是以表的形式存储，而是离散化的，最小的单位是字段而非数据。而且也是用表来实现字段，每一张表对应一个字段。

本实施例的数据处理系统，利用了数据共享单元，使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据共享单元存储在数据中心里，如果之后再次产生新的数据后可以将原数据进行更新处理，保持数据中心中的数据均是最新数据。当之后数据处理单元需要进行数据调用时，通过数据共享单元从数据中心里调用数据，避免了数据调用时会影响数据的处理，也避免了调用的数据出错。

图2为本发明另一数据处理系统的示意图，如图所示，本实施例的数据处理系统具体包括：数据处理单元10、数据共享单元11、数据中心12和数据存储单元13。

本实施例和上述实施例的区别就是本实施例比上一实施例增加了数据存储单元13，而数据存储单元13是单独为数据处理单元10服务的，用于存储数据处理单元生13生成的仅用于自身调用的数据，和存储数据共享单元11调用的用于数据处理单元10进行数据处理的数据。当数据处理单元10在数据处理时产生的数据不希望存储在数据中心时，例如不希望被其他数据处理单元10调用的时候，数据处理单元10将该数据存储在数据存储单元13中。

由此可以看出，当数据处理单元10需要存储不被其他单元调用时，可以单独使用一个数据存储单元13，将数据存储在数据存储单元13中，这样数据存储单元13中存储的数据就只能被该数据处理单元10所调用，其他数据处理单元10将无法调用该数据存储单元13中处理的数据。

数据共享单元11具体的可以定时将数据中心存储的字段重组为数据后推送给数据处理单元10，数据处理单元可以将这些推送的数据存储在数据存储单元13中。定时的机制可以设置，例如每隔一定的阈值时间，例如5秒，数据共享单元11就会自动推送一次数据。

另外一种机制不是定时推送，而是符合某些条件的时候推送，例如当数据中心存储有数据处理单元B的新产生的数据拆分的字段时，数据共享单元11得知该数据是数据处理单元A进行数据处理时所需要的数据，则数据贡献单元从数据中心调用字段并重组为数据后发送给数据处理单元A，所述数据处理单元A将数据存储在所述数据存储单元13中。

关于数据共享单元的数据推送机制，具体如下：

1、主动推送机制下，当数据处理单元A需要数据处理单元B产生的数据的情况下，只要数据处理单元B产生了新的数据，并且通过数据共享单元存储在数据中心，此时，数据共享单元会主动将数据处理单元B产生的新的数据推送给数据处理单元A，而数据处理单元A会利用该数据进行数据处理，也可以存储在数据存储单元；

2、另一种主动推送机制，当数据处理单元A需要数据处理单元B产生的数据的情况下，可以按照一定的轮训时间，每当到达轮训时间就推送当前最新数据，例如每当中午12时推送，也可以是一个阈值时间，没到达一次阈值时间就推送当前最新数据，例如每隔1分钟推送一次当前最新数据；

3、被动推送机制，当数据处理单元A需要数据处理单元B产生的数据的情况下，只有当数据处理单元A向数据共享单元发送数据调用指令的时候，数据共享单元会从数据中心调用数据处理单元B生成的数据发送给数据处理单元A。

本实施例的数据处理系统因为具有数据存储单元13，这样，数据处理单元10在数据处理中产生的数据可以选择所存储的主体，如果只希望被自身所调用的数据，可以将数据存储在数据存储单元13中，如果数据处理单元10产生的数据不是只希望被自身所调用，则可以通过数据共享中心存储在数据中心里，供调用。

图3为本发明数据处理方法的流程图，如图所示，本发明的数据处理方法具体包括：

步骤101，数据处理单元进行数据处理，生成数据；

步骤102，数据共享单元将所述数据存储在数据中心；

具体的，数据共享单元将数据处理单元产生的数据拆分为离散的字段后存储在所述数据中心；

步骤103，当所述数据处理单元需要调用所述数据时，所述数据共享单元从所述数据中心调用所述数据发送给所述数据处理单元。

具体的，数据共享单元从数据中心调用字段并重组为数据后发送给数据处理单元。

这样每一个数据处理单元产生的数据可以不需要进行单独的存储单元来存储，而是可以将所有产生的数据都存储在数据中心中，使得数据处理和数据存储/调用所分开，不会因为数据存储/调用而影响数据的处理，将数据处理和数据调用完全分开。

利用了数据共享单元，使得数据处理单元在进行数据处理时所产生的所有数据均可以通过数据共享单元存储在数据中心里，如果之后再次产生新的数据后可以将原数据进行更新处理，保持数据中心中的数据均是最新数据。当之后数据处理单元需要进行数据调用时，通过数据共享单元从数据中心里调用数据，避免了数据调用时会影响数据的处理，也避免了调用的数据出错。

另外，本发明数据处理方法还可以包括，数据处理单元将仅用于自身调用的数据存储在数据存储单元，以及将数据共享单元调用的用于进行数据处理的数据存储在数据存储单元。

具体的，数据共享单元将数据处理单元产生的数据拆分为离散的字段后存储在数据中心，以及从数据中心调用字段并重组为数据后发送给数据处理单元。

例如，一个数据处理单元B存储数据的时候是按照自身字段间的标准定义和构架的，存储的时候共享埠先将数据字段拆开存储在数据中心，字段间没有关系了。

当另一个数据处理单元A调用数据的时候，需要告知共享埠需求数据(字段)之间的关系，由共享埠将数据处理单元B的离散化的字段按照A的标准重新构架以后调用给数据处理单元A。由此数据处理单元A得到了需要的字段之间关系的数据，不需要A去重组，而是由共享埠来处理。

数据共享单元定时或者当所述数据中心存储有新的数据拆分的字段时，从所述数据中心调用所述字段并重组为所述数据后发送给所述数据处理单元。

数据共享单元具体的可以定时将数据中心存储的字段重组为数据后推送给数据处理单元，数据处理单元可以将这些推送的数据存储在数据存储单元中。定时的机制可以设置，例如每隔一定的阈值时间，例如5秒，数据共享单元11就会自动推送一次数据。

另外一种机制不是定时推送，而是符合某些条件的时候推送，例如当数据中心存储有数据处理单元B的新产生的数据拆分的字段时，数据共享单元11得知该数据是数据处理单元A进行数据处理时所需要的数据，则数据贡献单元从数据中心调用字段并重组为数据后发送给数据处理单元A，所述数据处理单元A将数据存储在所述数据存储单元13中。

关于数据共享单元的数据推送机制，具体如下：

1、主动推送机制下，当数据处理单元A需要数据处理单元B产生的数据的情况下，只要数据处理单元B产生了新的数据，并且通过数据共享单元存储在数据中心，此时，数据共享单元会主动将数据处理单元B产生的新的数据推送给数据处理单元A，而数据处理单元A会利用该数据进行数据处理，也可以存储在数据存储单元；

2、另一种主动推送机制，当数据处理单元A需要数据处理单元B产生的数据的情况下，可以按照一定的轮训时间，每当到达轮训时间就推送当前最新数据，例如每当中午12时推送，也可以是一个阈值时间，没到达一次阈值时间就推送当前最新数据，例如每隔1分钟推送一次当前最新数据；

3、被动推送机制，当数据处理单元A需要数据处理单元B产生的数据的情况下，只有当数据处理单元A向数据共享单元发送数据调用指令的时候，数据共享单元会从数据中心调用数据处理单元B生成的数据发送给数据处理单元A。

这样，数据处理单元在数据处理中产生的数据可以选择所存储的主体，如果只希望被自身所调用的数据，可以将数据存储在数据存储单元中，如果数据处理单元产生的数据不是只希望被自身所调用，则可以通过数据共享中心存储在数据中心里。

每一个数据处理单元可以通过数据共享单元从数据中心里调用数据，也可以从自身的数据存储单元去调用数据。利用数据存储单元来实现数据的私密性，防止数据外泄的可能性，同样也是将数据处理和数据调用分开，防止数据调用和数据处理的相互干扰。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理系统，其特征在于，所述数据处理系统包括：

多个数据处理单元，用于在数据处理时生成数据；

数据共享单元；

数据中心，用于所述数据共享单元将所述数据处理单元生成的数据存储在所述数据中心，并且所述数据共享单元从所述数据中心调用所述数据发送给所述数据处理单元。

2.根据权利要求1所述的数据处理系统，其特征在于，所述数据共享单元具体用于将所述数据处理单元产生的数据拆分为离散的字段后存储在所述数据中心，以及从所述数据中心调用所述字段并重组为所述数据后发送给所述数据处理单元。

3.根据权利要求2所述的数据处理系统，其特征在于，所述系统还包括：

数据存储单元，用于存储所述数据处理单元生成的仅用于自身调用的数据，和存储所述数据共享单元调用的用于所述数据处理单元进行数据处理的数据。

4.根据权利要求3所述的数据处理系统，其特征在于，所述数据共享单元具体用于定时或者当所述数据中心存储有新的数据拆分的字段时，从所述数据中心调用所述字段并重组为所述数据后发送给所述数据处理单元；所述数据处理单元具体用于将所述数据存储在所述数据存储单元。

5.根据权利要求1所述的数据处理系统，其特征在于，所述数据共享中心具体为共享埠。

6.一种数据处理方法，其特征在于，所述数据处理方法包括：

数据处理单元进行数据处理，生成数据；

所述数据共享单元将所述数据存储在数据中心；

当所述数据处理单元需要调用所述数据时，所述数据共享单元从所述数据中心调用所述数据发送给所述数据处理单元。

7.根据权利要求6所述的数据处理方法，其特征在于：所述数据共享单元将所述数据存储在数据中心具体为，所述数据共享单元将所述数据处理单元产生的数据拆分为离散的字段后存储在所述数据中心。

8.根据权利要求6所述的数据处理方法，其特征在于：所述通过所述数据共享单元从所述数据中心调用所述数据具体为，所述数据共享单元从所述数据中心调用所述字段并重组为所述数据后发送给所述数据处理单元。

9.根据权利要求7或8所述的数据处理方法，其特征在于，所述方法还包括，所述数据处理单元将仅用于自身调用的数据存储在数据存储单元，以及将所述数据共享单元调用的用于进行数据处理的数据存储在所述数据存储单元。

10.根据权利要求9所述的数据处理方法，其特征在于，所述数据共享单元从所述数据中心调用所述字段并重组为所述数据后发送给所述数据处理单元具体为，所述数据共享单元定时或者当所述数据中心存储有新的数据拆分的字段时，从所述数据中心调用所述字段并重组为所述数据后发送给所述数据处理单元。

Images