CN102323889A - Matlab与数据库应用中基于内存的文件加载方法 - Google Patents

Abstract

本发明公开了一种Matlab与数据库应用中基于内存的文件加载方法，从数据库中检索需要加载的数据文件FILE，并导入Matlab的内存缓冲区，内存缓冲区中的数据文件记为FILE_buffer；以FILE_buffer作为数据源，映射出数据文件中蕴含的数据对象集。映射过程中数据对象集的提取格式应与数据对象集的保存格式相一致；遍历数据对象集DS，将数据对象载入Matlab工作空间。本发明消除了文件系统参与数据对象集的映射过程的必要性，为Matlab加载数据库中的数据文件提供了另一种可选的加载途径。

Description

Matlab与数据库应用中基于内存的文件加载方法

技术领域

本发明涉及一种Matlab与数据库应用中的文件快速加载方法。

背景技术

MATLAB是矩阵实验室(Matrix Laboratory)的简称，它提供了强大的科学计算能力及丰富的工具箱和函数库，被认为是工程应用系统中理想的计算引擎。

面对工程应用系统中大量的数据文件及数据之间的复杂关系，简单的基于文件系统的数据组织与存储方式已经不能满足应用需求。数据库技术有效解决了计算机信息处理过程中大量数据的组织、存储、共享和冗余消除等问题，因此，在工程应用系统中，广泛采用数据库技术存储数据文件。

在Matlab和数据库的工程应用系统中，工程数据文件以特定格式存储于数据库中，以便采用Matlab对其进行计算分析。基于现有的技术手段，在Matlab需要加载存放在数据库中的数据文件时，须先将数据文件从数据库下载到本地文件系统中，经由本地文件系统加载到Matlab中。文件数据的每次加载均须以文件系统作为数据文件交换介质，都会附带两次文件IO操作，给应用系统的性能带来较大影响。

在现有的基于文件系统的数据文件加载过程中，从数据文件到数据对象集的映射过程都是以文件系统中的数据文件作为映射过程的数据源。这就决定了在现有的数据文件的加载过程中，文件系统是一个绕不过去的环节。而文件IO是计算机中速度较慢的操作。

综上所述，现有的基于文件系统的数据文件加载方法中，文件系统作为临时数据中转介质使得应用系统的数据文件加载性能大幅下降。如果在数据文件加载过程中，能避开文件系统，以更为快速的方法完成从数据文件到数据对象集的映射过程，那么应用系统的数据加载性能就会得到很大的提升。

发明内容

为了克服现有技术导致加载性能损失的不足，本发明提供一种Matlab与数据库应用中基于内存的文件加载方法，在内存中完成从数据文件到数据对象集的映射过程，以内存缓冲区中的数据文件作为映射过程的数据源，消除了文件系统介入数据文件加载过程，显著提升了数据文件加载性能。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一：从数据库中检索需要加载的数据文件FILE_db，并导入Matlab的内存缓冲区，内存缓冲区中的数据文件记为FILE_buffer；

现有的数据文件加载方法中，数据文件到数据对象集的映射过程须以文件系统中的数据文件作为数据源。因此，数据源的获取过程为FILE_db-＞FILE_buffer-＞FILE。本发明中基于内存的数据文件加载方法，以内存缓冲区中的数据文件作为数据源，数据源的获取过程简化为FILE_db-＞FILE_buffer。

步骤二：以FILE_buffer作为数据源，映射出数据文件中蕴含的数据对象集DS。映射过程中数据对象集的提取格式应与数据对象集的保存格式相一致。

设数据对象集DS，以文件格式f保存为数据文件FILE，即f(DS)-＞FILE，现有的从数据文件到数据对象集的映射过程以文件系统中数据文件为数据源，记为f^-1(FILE)-＞DS。本发明中的映射过程以内存缓冲区中的数据文件作为数据源，记为f₁ ^-1(FILE_buffer)-＞DS。而f^-1(FILE)-＞DS须由两步完成，R(FILE)-＞FILE_buffer，f₁ ^-1(FILE_buffer)-＞DS，即f^-1(FILE)＝＝f₁ ^-1(FILE_buffer)＝＝f₁ ^-1(R(FILE))，其中R过程将数据文件从文件系统读入内存缓冲区。本发明的映射过程f₁ ^-1比现有的f^-1比少了R过程。

步骤三：遍历数据对象集DS，将数据对象载入Matlab工作空间。

本发明的有益效果是：在内存中完成从数据文件到数据对象集合的映射过程，消除了文件系统参与数据对象集的映射过程的必要性，为Matlab加载数据库中的数据文件提供了另一种可选的加载途径。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1为现有的基于文件系统的数据文件加载方法示意图。

图2为本发明提出的基于内存的数据文件加载方法示意图。

具体实施方式

图1所示的现有的基于文件系统的数据加载方法中，到数据对象集的映射过程的数据源必须是文件系统中的文件，因此，数据文件的加载过程必须经由文件系统作为数据中转介质。

本发明的数据加载过程如图2所示，数据文件到数据对象集的映射过程可以直接在内存中完成，因此，消除了文件系统介入数据加载过程的必要性。简化了数据加载过程处理流程，显著提升了应用系统的数据加载性能。

基于内存的数据加载步骤具体如下：

步骤一：在Matlab中建立与数据库的连接，如conn＝database(′testdb′，′scott′，′tiger′)；设置检索结果返回值类型，如setdbprefs(′DataReturnFormat′，′dataset′)；检索数据文件，返回检索结果，如result＝fetch(conn，′SELECTALL OBLOB FROM OTEST′)。数据集result中包含了OBLOB数据成员，即为data.mat对应的文件字节流。

步骤二：以result.OBLOB为映射过程的数据源，映射出result.OBLOB中蕴含的数据对象集，一个包含了矩阵数据对象(a＝[1 2 3])的数据对象集。图2中的数据对象集存储格式为mat格式，就应该以mat格式从数据文件提取数据对象集。其他数据对象集存储格式同理。

步骤三：遍历数据对象集，将数据对象载入Matlab工作空间，即完成了基于内存的数据文件加载过程。

本发明提出的基于内存的数据文件加载方法，与现有的基于文件系统的数据加载方法效果完全一致，所有步骤均在内存中完成，完全消除了文件系统介入数据加载过程，不仅有效克服了现有数据加载方法中文IO引发性能损失的缺陷，而且使得数据文件加载过程更为简洁。

Claims (1)

1.一种Matlab与数据库应用中基于内存的文件加载方法，其特征在于包括下述步骤：

步骤一：从数据库中检索需要加载的数据文件FILE，并导入Matlab的内存缓冲区，内存缓冲区中的数据文件记为FILE_buffer；

步骤二：以FILE_buffer作为数据源，映射出数据文件中蕴含的数据对象集。映射过程中数据对象集的提取格式应与数据对象集的保存格式相一致；

步骤三：遍历数据对象集DS，将数据对象载入Matlab工作空间。

Images