CN103149982A

CN103149982A - 数据处理方法及系统

Info

Publication number: CN103149982A
Application number: CN2013100730828A
Authority: CN
Inventors: 佟小龙
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-03-07
Filing date: 2013-03-07
Publication date: 2013-06-12

Abstract

本发明公开了一种数据处理方法及系统。其中，数据处理系统包括：数据获取模块，配置为获取需要处理的数据；数据存储模块，配置为存储所述数据获取模块获取的数据；数据处理模块，配置为对所述数据存储模块中存储的数据进行处理。采用本发明能够加速数据处理过程。

Description

数据处理方法及系统

技术领域

本发明涉及计算机领域，具体涉及一种数据处理方法及相应的系统。

背景技术

在服务器领域，大型机一直是关键业务的代名词，也代表了高稳定性安全性。

近几年，随着应用类型的不断扩展以及新型技术的不断完善，大型机逐渐开始走下神坛，暴露出越来越多的安全问题。

并且，大型机虽然有着不错的计算能力，但是大型机占地面积极大，通常需要为大型机设置专用的机房，并需要为大型机控制室内温度、温度等因素，以便大型机能够保证正常运行。

由此可见，大型机存在占地面积大、费用高以及安全性不足的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理系统和相应的数据处理方法。

依据本发明的一个方面，提供了一种数据处理系统，包括：

数据获取模块，配置为获取需要处理的数据；

数据存储模块，配置为存储所述数据获取模块获取的数据；

数据处理模块，配置为对所述数据存储模块中存储的数据进行处理。

可选地，所述数据处理模块包括中央处理器CPU和/或图形处理器GPU，其中，所述CPU和/或GPU能够对数据进行协同并行处理。

可选地，所述数据存储模块包括固态硬盘和/或机械硬盘。

可选地，所述固态硬盘的体积小于所述机械硬盘的体积；以及

所述固态硬盘对于数据的存取速度比所述机械硬盘快。

可选地，所述系统应用于野外现场及室内处理情况。

可选地，在所述系统上运行数据处理软件。

依据本发明的另一个方面，提供了一种利用上述任一项数据处理系统进行数据处理的方法，包括：

获取需要处理的数据；

存储获取的数据；

对已存储的数据进行处理。

可选地，所述对已存储的数据进行处理，包括：利用中央处理器CPU和/或图形处理器GPU对数据进行协同并行处理。

可选地，所述存储获取的数据，包括：采用固态硬盘和/或机械硬盘存储所述获取的数据，其中，所述固态硬盘的体积小于所述机械硬盘的体积；以及，所述固态硬盘对于数据的存取速度比所述机械硬盘快。

可选地，所述方法应用于野外现场及室内处理情况。

本发明采用固态硬盘存储和读取数据。固态硬盘相对于机械硬盘而言体积大大减少，并且，其对数据的存储或读取速度也大大提高，大大增加了数据处理系统的存储能力以及计算能力，能够极好的适应野外现场或室内大规模数据收集并处理的需求。

并且，CPU和/或GPU能够对数据进行协同并行处理。GPU/CPU协同并行处理可以把超级计算机（大型机）要做的事浓缩到一个普通的台式工作站或机架服务器中去！或者说能够将相同体积的机器运算速度成数量级的提高！GPU/CPU协同并行计算技术的商业化为海量数据的快速处理提供了有效途径。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的数据处理系统的结构示意图；

图2示出了根据本发明一个实施例的新型设备与现有技术中的大型机的体积的比较示意图；以及

图3示出了根据本发明一个实施例的数据处理方法的处理流程图。

具体实施方式

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

为解决上述技术问题，本发明实施例提供了一种数据处理系统。图1示出了根据本发明一个实施例的数据处理系统的结构示意图。参见图1，数据处理系统至少包括数据获取模块110、数据存储模块120以及数据处理模块130。现对各模块之间的关系以及各模块的作用进行具体说明。

首先，介绍数据获取模块110。参见图1，数据获取模块110可以与外界沟通，获取需要处理的数据。此处获取的数据根据实际情况而定，例如，当将数据处理系统应用到野外勘探的情况下，则勘探的任何资料都是需要处理的数据，数据收集范围较广数据量极大。若是简单的某一幅图像处理的情况下，则数据量较低。

其次，介绍数据存储模块120。数据存储模块120与数据获取模块110相耦合，当数据获取模块110获取到数据后，数据存储模块120存储这些数据，保证数据不会被丢失，以备后续处理。

相应的，数据处理系统中存储数据处理模块130，与数据存储模块120相耦合，对数据存储模块120中存储的数据进行处理。

数据存储模块120可以使用任何有存储功能的介质，例如硬盘、软盘、闪存、内存等等，考虑到数据存储量较大时，通常还是使用硬盘。目前采用较多的是机械硬盘。但是，机械硬盘容量虽然大，且体积较大，若出现数据极大的情况，仅仅采用机械硬盘明显是不满足数据用GPU高速计算的需求。因此，本数据处理系统中采用了固态硬盘作为数据存储模块对数据进行存储。固态硬盘相对于机械硬盘而言体积大大减少，并且，其对数据的存储或读取速度也大大提高，已有的测试证明固态硬盘的存储速度至少是机械硬盘的八倍以上。随着技术发展，该数据必然还会提升，固态硬盘会提到进一步优化。

当然，可以选择的一种优选方式是，在使用部分机械硬盘的基础上，结合固态硬盘，达到一个逐步适应改进的过程，直至将全部机械硬盘替换为固态硬盘，从而大大增加了数据处理系统的存储能力以及计算能力，能够极好的适应野外大规模数据收集并处理的需求。若室内存在大规模数据收集的情况，本发明实施例提供的数据处理系统同样适用。

现有技术中，若进行野外现场或室内大规模数据收集，则需要先收集，再进行处理，由于数据的巨量化，通常需要两到三个月才能够处理完，这也是为什么之前需要大型机来做这份工作。而采用了固态硬盘后，数据存储能力和读取速度都大大提高，完全可以同步进行数据存储和处理两大功能。图2示出了根据本发明一个实施例的新型设备与现有技术中的大型机的体积的比较示意图。由图2可以看出，新型设备的体积大大减少，完全解决了现有技术中的大型机体积臃肿的问题。

进一步，数据处理模块130包括中央处理器（CPU）和/或图形处理器（GPU），其中，CPU和/或GPU能够对数据进行协同并行处理。GPU/CPU协同并行处理可以把超级计算机（大型机）要做的事浓缩到一个普通的台式工作站或机架服务器中去！或说将相同体积的机器运算速度成数量级的提高！GPU/CPU协同并行计算技术的商业化为海量数据的快速处理提供了有效途径。

并且，采用了GPU/CPU协同并行计算技术会大大提升了数据的处理速度，因此，传统机械硬盘较慢的读取速度必然成为提升速率的瓶颈。基于适应高速数据运算，以及提升数据处理速率的目的，固态硬盘的使用也必然成为趋势。

为方便用户理解两者的差异性，现对现有设备以及采用本发明实施例的数据处理系统的新型设备的各项参数进行对比，具体参数请参见表一。

表一

	现有设备	新型设备
			浮点性能	3x18T	48T
功耗	4800w	15000w
			硬件价格	50万	150万
占地空间	3x4=12U	46U

本发明实施例提供的数据处理系统上可以运行任何的数据处理软件，利用数据处理软件可以加速或优化数据处理过程。由于数据处理软件数量极大，在此不一一列举。

综上可知，本发明采用固态硬盘存储和读取数据。固态硬盘相对于机械硬盘而言体积大大减少，并且，其对数据的存储或读取速度也大大提高，大大增加了数据处理系统的存储能力以及计算能力，能够极好的适应野外现场或室内大规模数据收集并处理的需求。

并且，采用本发明提供的数据处理系统在较短的时间内将大量数据处理完，就能够在一定程度上避免因数据长期存储导致的数据丢失问题。并且，使用该系统的设备自身简化，数据间传递节点减少，也在一定程度上避免了数据的外泄，提高了系统的安全性。

采用上述任意一个优选实施例中的数据处理系统，基于同一发明构思，本发明实施例提供了一种数据处理方法。图3示出了根据本发明实施例的数据处理方法的处理流程图。参见图3，该流程包括步骤S302至步骤S306。

步骤S302、获取需要处理的数据；

步骤S304、存储步骤S302获取的数据；

步骤S306、对步骤S304已存储的数据进行处理。

步骤S304采用一定的手段对步骤S302中获取的数据进行获取。例如，可以采用固态硬盘存储获取的数据，也可以选择机械硬盘存储获取的数据，还可以选择固态硬盘和机械硬盘结合使用存储获取的数据。优选固态硬盘存储数据的方式，其原因为：固态硬盘的体积小于机械硬盘的体积；以及，固态硬盘对于数据的存取速度比机械硬盘快，目前检测结果是至少八倍以上。

实施时，使用CPU和/或GPU对数据进行协同并行处理。其中，CPU和/或GPU能够对数据进行协同并行处理。GPU/CPU协同并行处理可以把超级计算机（大型机）要做的事浓缩到一个普通的台式工作站或机架服务器中去！或说将相同体积的机器运算速度成数量级的提高！GPU/CPU协同并行计算技术的商业化为海量数据的快速处理提供了有效途径。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的数据处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种数据处理系统，包括：

数据获取模块，配置为获取需要处理的数据；

数据存储模块，配置为存储所述数据获取模块获取的数据；

2.根据权利要求1所述的系统，其特征在于，所述数据处理模块包括中央处理器CPU和/或图形处理器GPU，其中，所述CPU和/或GPU能够对数据进行协同并行处理。

3.根据权利要求1或2所述的系统，其特征在于，所述数据存储模块包括固态硬盘和/或机械硬盘。

4.根据权利要求3所述的系统，其特征在于，所述固态硬盘的体积小于所述机械硬盘的体积；以及

所述固态硬盘对于数据的存取速度比所述机械硬盘快。

5.根据权利要求1至4任一项所述的系统，其特征在于，所述系统应用于野外现场及室内处理情况。

6.根据权利要求1至4任一项所述的系统，其特征在于，在所述系统上运行数据处理软件。

7.一种利用权利要求1至6任一项所述的数据处理系统进行数据处理的方法，包括：

获取需要处理的数据；

存储获取的数据；

对已存储的数据进行处理。

8.根据权利要求7所述的方法，其特征在于，所述对已存储的数据进行处理，包括：利用中央处理器CPU和/或图形处理器GPU对数据进行协同并行处理。

9.根据权利要求7或8所述的方法，其特征在于，所述存储获取的数据，包括：采用固态硬盘和/或机械硬盘存储所述获取的数据，其中，所述固态硬盘的体积小于所述机械硬盘的体积；以及，所述固态硬盘对于数据的存取速度比所述机械硬盘快。

10.根据权利要求7至9任一项所述的方法，其特征在于，所述方法应用于野外现场及室内处理情况。