CN105068770A - 数据整合方法及装置 - Google Patents

Abstract

本发明提供一种数据整合方法，包括：对计算设备中的输入输出(I/O)设备的读写请求进行监听，等待目标用户或目标程序的操作；当监听到所述目标用户或目标程序进行I/O操作时，对所述输入输出设备进行接管，将输入输出设备传来的数据暂存在受控内存中；按照需求对数据进行处理；按照需求构成处理后的数据，将处理后的数据导出。其中，受控内存是从计算机物理内存中划出的预定大小的一块内存区域，此内存区域对运行于支持虚拟化技术的CPU的VMX？non-root？operation模式下的Ring0环上的客户操作系统不可见并且不受其管理。上述方法保证了不同类型数据进行整合的准确性以及便捷性。本发明另一个方面，提供一种数据整合装置，包括：监听模块，接管模块，显示管理模块，系统管理模块。

Description

数据整合方法及装置

技术领域

本发明涉及数据信息处理领域，尤其涉及一种对数据特征分析的基础上对数据进行快速整理的方法。

背景技术

随着信息技术在多种领域中的运用，各种数据的数量已迅速提高。目前对数据处理的方式，是在认可数据多样化的基础上，使用数据分析等方式对数据进行整合，以另一种统一格式呈现数据处理结果。上述的数据整合方式通常都是手工操作，各种数据存在数据冗余、数据量庞大等问题，给数据处理带来的不便，带来了数据出错、处理数据工作量加大和处理数据周期加长等问题。

发明内容

本发明要解决的技术问题是，针对现有信息量庞大且类型多样的大数据能保证业务数据的快速准确分析整合，提供一种数据整合方法及装置。

为达到上述目的，本发明提供了一种数据整合方法。该方法包括：对计算设备中的输入输出(I/O)设备的读写请求进行监听，等待目标用户或目标程序的操作；当监听到所述目标用户或目标程序进行I/O操作时，对所述输入输出设备进行接管，将输入输出设备传来的数据暂存在在受控内存中；按照用户需求对数据进行处理；按照用户需求构成处理后的数据，将处理后的数据导出。

其中，受控内存是从计算机物理内存中划出的预定大小的一块内存区域，此内存区域对运行于支持虚拟化技术的CPU的VMXnon-rootoperation模式下的Ring0环上的客户操作系统不可见并且不受其管理。

数据以键值形式存储在受控内存中，当满足设定键值变更数量条件时，将数据写入到硬盘中。这种方式既保证了处理数据的速度，又保证了数据的存储非易失性，还非常适合处理数组类型的数据。

可选的，当用户用处理已有的数据时，通过将需处理的数据输入到一个非关系型分布式数据库中，按照既定规则以字段形式进行无结构存储，并以字段形式展现出来。用户在可视化界面中对数据进行操作，提取出相应字段的数据并进行显示和/或导出。

可选的，当用户用处理导入数据时，会将已有数据暂存在受控数据池中。同时将数据文档中导入的数据按照字段形式进行标记，并罗列所标记的字段，通过按照既定规则以可视化的形式将数据展现出来。通过结合操作系统内置资源配置库及kettle组件，在系统内部建立起一个数据分析转移的平台。对数据进行处理后进行显示和/或导出。

当用户导出数据时，会将已存储的数据以字段形式进行可视化，在操作系统内部建立起的数据平台中进行处理，形成用户所需的格式模板，并对数据加以导出。

监听输入输出设备读写请求进行的监听程序常驻受控内存中。

本方法通过不限格式存储数据，将数据以字段形式展现，向用户提供了一个平台模型。用户可用现有的平台模型为基础，构建数据的样式，也可以自定义平台模型，构建数据表的样式。

本发明另一个方面，提供一种数据整合装置，包括：

数据导入导出模块：当有数据进入整合系统、从整合系统中导出业务数据或从整合系统显示数据到显示器上时，数据导入导出模块将对进入受内存管理模块管理的内存区域中的业务数据进行分析，并进行控制显示等处理；

内存管理模块：负责管理直接从计算机物理内存中划出的一块内存区域，此内存区域将对操作系统不可见也不再受操作系统管理，数据整合的相关操作都将在这块内存区域中进行。

磁盘管理模块：有业务需要时负责接管U盘、光盘、移动硬盘和硬盘等磁盘存储设备，保证从磁盘存储设备上读取的明文形式的业务数据直接进入受内存管理模块管理的内存区域中接受进一步处理；

显示管理模块：有业务需要时负责接管显示输出设备，保证数据以安全可控的方式显示输出(明文显示、密文存储，或可选择性的显示部分明文)；

系统管理模块：现有操作系统没有的模块。负责数据整合系统的内部管理，包括：系统访问管理、用户和密码管理、系统权限管理、数字证书管理、密钥管理、加密算法管理、系统日志管理、系统守护进程管理等，

其特征在于，装置中还具有：

监听模块，适于对计算设备中的输入输出设备的读写请求进行监听，等待目标用户或目标程序的操作；

接管模块，适于当监听到所述目标用户或目标程序进行I/O操作时，通过将数据存放在受控内存来对所述输入输出设备进行接管；

其中，受控内存是从计算机物理内存中划出的预定大小的一块内存区域，此内存区域对运行于支持虚拟化技术的CPU的VMXnon-rootoperation模式下的Ring0环上的客户操作系统不可见并且不受其管理。

附图说明

图1是数据整合方法的流程图；

图2是实施例中的装置模块连接图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下对本发明进一步详细说明。应当理解，此处所描述的实例仅用以解释本发明，并不用于限定本发明。

根据本发明一个实施例，提供一种数据整合系统，在数据整合系统中使用本发明的数据整合方法，对数据进行整合。数据整合系统包括：

数据导入导出模块、内存管理模块、磁盘管理模块、显示管理模块及系统管理模块。

上述各个模块并非操作系统原有模块，而是本发明提供的数据整合系统内部的新开发的软件功能模块，仅当有业务需要时，上述模块接替操作系统原有模块进行工作，即通过绕过操作系统中相应的原有模块直接管理键盘、显示器、网卡、内外部存储等系统设备，将数据导入到用户个人计算机的内外部存储及显示器上、导入到目标程序服务器的内外部存储上。

数据导入导出模块：当有数据进入整合系统、从整合系统中导出业务数据或从整合系统显示数据到显示器上时，内存管理模块将对进入受内存管理模块管理的内存区域中的业务数据进行分析，并进行控制显示等处理；

内存管理模块：负责管理直接从计算机物理内存中划出的一块内存区域，此内存区域将对操作系统不可见也不再受操作系统管理，数据整合的相关操作都将在这块内存区域中进行。

磁盘管理模块：有业务需要时负责接管U盘、光盘、移动硬盘和硬盘等磁盘存储设备，保证从磁盘存储设备上读取的明文形式的业务数据直接进入受内存管理模块管理的内存区域中接受进一步处理；

显示管理模块：有业务需要时负责接管显示输出设备，保证数据以安全可控的方式显示输出(明文显示、密文存储，或可选择性的显示部分明文)；

系统管理模块：现有操作系统没有的模块。负责数据整合系统的内部管理，包括：系统访问管理、用户和密码管理、系统权限管理、数字证书管理、密钥管理、加密算法管理、系统日志管理、系统守护进程管理等。

另外，需要说明的是：

(1)数据整合系统的启用条件：当目标用户进行业务操作或目标程序启动时启用。

(2)如何接管键盘、磁盘、显卡等设备：数据整合系统运行于支持虚拟化技术的CPU的VMXrootoperation模式下的Ring0环上，可以优先且直接操作I/O设备。当数据整合系统启用后会在受控内存中常驻一个监听程序，监听键盘、磁盘、显卡的读写请求，当读写请求的发起人是目标用户或目标数据整合系统(即目标程序)时，将对这些设备进行接管。

除上述区别外，以上各个模块的工作模式与其所替代的相应的操作系统原有模块的工作模式相同，在此不再赘述。

其中，对于接管键盘、磁盘、显卡等设备的内容，此处进一步进行说明。本领域技术人员可以理解：CPU厂商已支持虚拟化，例如X86CPU引入了Intel-VT技术，支持Intel-VT的CPU有VMXrootoperation和VMXnon-rootoperation两种模式，两种模式都支持Ring0～Ring3这4个运行级别。所以，数据整合系统可以运行在VMXrootoperation模式下，客户操作系统(OS)运行在VMXnon-rootoperation模式下。也就说，硬件这层做了些区分，在全虚拟化条件下，不需要某些靠“捕获异常-翻译-模拟”的实现。

上述系统的工作过程描述如下，包括：

步骤1、数据整合系统部署运行于支持虚拟化技术的CPU的VMXrootoperation模式下的Ring0环上，能够优先且直接操作I/O设备；

数据整合系统将优先从计算机物理内存中直接划出预定大小一块内存区域，此内存区域将对运行于支持虚拟化技术的CPU的VMXnon-rootoperation模式下的Ring0环上的客户操作系统不可见并且不受其管理。这样，涉及数据的相关操作都将在数据整合系统控制的这块内存区域中进行；

步骤2、当目标用户进行业务操作或目标程序启动时(例如目标程序客户端工作时)启用业务数据整合系统；

步骤3、常驻数据整合系统受控内存中的监听程序对硬件输入输出设备(包括但不限于键盘、磁盘、显卡)的读写请求进行监听，等待目标用户或目标程序的操作；

步骤4、当监听程序监听到所述目标用户或目标程序进行I/O操作时，对输入输出设备进行接管；

其中，对于输入数据(即I操作、输入操作)：

(1)对于用户键盘输入数据：

i.数据整合系统的键盘管理模块将目标用户输入的数据直接放入数据整合系统受控内存中；

ii.数据整合系统的内存管理模块对业务数据进行分析，按照数据整合系统的系统存储模块既定的存处方式进行存储；

iii.数据整合系统的内存管理模块调用数据整合系统的显示管理模块，通过系统设定的数据平台模板，客户通过拖拽字段等操作完成特定格式的数据样式。

iv.数据整合系统的内存管理模块将业务数据发送到可视化界面中。

(2)对于磁盘输入/导入数据：

i.数据整合系统的磁盘管理模块将目标用户导入的数据直接放入数据整合系统受控内存中；

ii.数据整合系统的内存管理模块对业务数据进行分析，按照数据整合系统中设定的数据平台的数据模型生成需要的数据样式；

对于输出数据：(即O操作、输出操作)

(1)对于目标程序输出数据到显示器：

i.当目标用户要在目标程序中查询数据并显示到显示器时，数据整合系统的显示管理模块将要显示的业务数据直接放入数据整合系统受控内存中；

ii.数据整合系统的内存管理模块对业务数据进行分析，数据整合系统的内存管理模块调用数据整合系统的显示管理模块并按照字段方式将数据以明文的形式发送到显卡，继而在显示器上的特定位置显示。

(2)对于磁盘输出/导出数据：

i.数据整合系统的磁盘管理模块将目标用户要导出的数据直接放入数据整合系统受控内存中；

ii.数据整合系统的内存管理模块对业务数据进行分析，按照数以系统中的数据平台模板为基础，通过操作得到客户想要的数据表结构；

iii.数据整合系统的磁盘管理模块将业务数据以要导出的文件格式存储到磁盘上。

需要说明的是，上述对各种I/O设备接管的方法，可以分别对某个I/O设备单独进行，也可以同时对上述各种I/O设备一起进行。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (8)

1.一种数据整合方法，其特征在于，包括：

使用监听程序对计算设备中的输入输出设备的读写请求进行监听，等待目标用户或目标程序的操作；

当监听到所述目标用户或目标程序进行I/O操作时，对所述输入输出设备进行接管，将输入输出设备传来的数据暂存在在受控内存中；

按照用户需求对数据进行处理；

按照用户需求构成处理后的数据，将处理后的数据导出。

2.根据权利要求1所述的数据整合方法，其特征在于：

在进行输入数据的I/O操作时，所述对输入输出设备进行接管步骤进一步包括：

将目标用户输入的数据直接放入受控内存中；

按照无结构的存储形式将数据存储，并以字段形式展现。

3.根据权利要求1所述的数据整合方法，其特征在于：

在进行磁盘输入/导入数据的I/O操作时，所述对输入输出设备进行接管步骤进一步包括：

将目标用户导入的数据直接放入受控内存中；

用户对数据进行处理后，以字段形式展现。

4.根据权利要求1所述的数据整合方法，其特征在于：

在进行输出数据到显示器的I/O操作时，所述对输入输出设备进行接管步骤进一步包括：

将待显示的数据放入受控内存中；

按照既定的存储方式存储数据；

分析数据的字段形式，将待显示的数据发送给显卡，从而在显示器上进行显示。

5.根据权利要求1所述的数据整合方法，其特征在于：

在进行磁盘输出/导出数据的I/O操作时，所述对输入输出设备进行接管步骤进一步包括：

将目标用户要导出的数据放入受控内存中；

按照整合数据时确定的存储方式将数据加以存储，并以字段方式进行分析；

通过操作后将结果以要导出的文件格式存储到磁盘上。

6.根据权利要求1所述的数据整合方法，其特征在于：

所述监听程序常驻受控内存中。

7.一种数据整合装置，包括：

数据导入导出模块：当有数据进入整合系统、从整合系统中导出业务数据或从整合系统显示数据到显示器上时，数据导入导出模块将对出入受内存管理模块管理的内存区域中的业务数据进行分析，并进行控制显示等处理；

内存管理模块：负责管理直接从计算机物理内存中划出的一块内存区域，此内存区域将对操作系统不可见也不再受操作系统管理，数据整合的相关操作都将在这块内存区域中进行；

磁盘管理模块：有业务需要时负责接管U盘、光盘、移动硬盘和硬盘等磁盘存储设备，保证从磁盘存储设备上读取的明文形式的业务数据直接进入受内存管理模块管理的内存区域中接受进一步处理；

显示管理模块：有业务需要时负责接管显示输出设备，保证数据以安全可控的方式显示输出(明文显示、密文存储，或可选择性的显示部分明文)；

系统管理模块：现有操作系统没有的模块。负责数据整合系统的内部管理，包括：系统访问管理、用户和密码管理、系统权限管理、数字证书管理、密钥管理、加密算法管理、系统日志管理、系统守护进程管理等，

其特征在于，装置中还具有：

监听模块，适于对计算设备中的输入输出设备的读写请求进行监听，等待目标用户或目标程序的操作；

接管模块，适于当监听到所述目标用户或目标程序进行I/O操作时，通过将数据存放在受控内存来对所述输入输出设备进行接管。

8.根据权利要求7所述的数据整合装置，其特征在于：

所述受控内存是从计算机物理内存中划出的预定大小的一块内存区域，此内存区域对运行于支持虚拟化技术的CPU的VMXnon-rootoperation模式下的Ring0环上的客户操作系统不可见并且不受其管理。