CN110321374A - 基于分布式网络的标准文件io操作系统及方法 - Google Patents

Abstract

本发明涉及计算机编程领域，本发明解决的技术问题在于提供一种对程序员工程师的专业需求低，读取效率高的基于分布式网络的标准文件IO操作系统，包括：用户端、传输部、数据库和接口模块；用户端，用于用户输入文件访问命令，接受文件数据；传输部，用于传输用户端的文件访问命令；接口模块内存储有API接口文件，接口模块用于根据文件访问命令调用对应的API接口文件对数据库进行访问；数据库，数据库包括至少两个存储单元，存储单元内分别存储有若干文件，存储单元之间按照分片顺序进行相连，所述分片顺序构成指针链表，数据库上形成若干供接口模块访问的API接口。本发明还提供了一种基于分布式网络的标准文件IO操作方法。

Description

基于分布式网络的标准文件IO操作系统及方法

技术领域

本发明涉及计算机编程领域，具体涉及一种基于分布式网络的标准文件IO 操作方法。

背景技术

1945年，冯·诺依曼首先提出了“存储程序”的概念和二进制原理，后来，人们把利用这种概念和原理设计的电子计算机系统统称为“冯·诺依曼型结构”计算机。冯·诺依曼结构的处理器使用同一个存储器，经由同一个总线传输。

现在通用计算机相关操作系统的管理，针对各类信息在存储设备上按照磁盘分区、文件夹、文件等进行逻辑化组织管理。在用户需要访问时，通过操作系统底层编程接口链接到磁盘上的不同信息块上，CPU通过指针地址映射协同存储设备底层驱动，共同将存储设备上的信息读入至计算机内存中而供应用程序使用，而写入操作也是如此，现在的计算机，依然沿用着冯·诺依曼型结构。

但是随着技术的发展，和人们需求的提升，CPU和磁盘之间的读取速度，严重影响着人们的用户体验。基于这样的需求，在本地化计算机中，存储容量、读写速度、安全性、地理位置分布性以及网络化均有了极大的发展。但是网络化的分布式存储环境中，现有的解决方案往往基于专业的编程解决方案开发包 (Software Development Kit，SDK)进行功能实现，对程序员工程师提出了更高的专业需求，他们需要去学习新的知识体系与计算架构，对分布式存储类程序的开发效率产生了大幅影响，此外新的计算架构也影响了传统本地应用程序的整体分布式移植，更可能会因为不必要或者不够效率的算法降低网络存储的性能和计算效率。

因此，需要一种对程序员工程师的专业需求低，移植效率高的针对分布式存储文件的IO操作系统及方法。

发明内容

本发明解决的技术问题在于提供一种对程序员工程师的专业需求低，读取效率高的基于分布式网络的标准文件IO操作系统及方法。

本发明提供的基础方案为：基于分布式网络的标准文件IO操作系统，包括：用户端、传输部、数据库和接口模块；

用户端，用于用户输入文件访问命令，接受文件数据；

传输部，用于传输用户端的文件访问命令；

接口模块内存储有API接口文件，接口模块用于根据文件访问命令调用对应的API接口文件对数据库进行访问；

数据库，数据库包括至少两个存储单元，存储单元内分别存储有若干文件，存储单元之间按照分片顺序进行相连，所述分片顺序构成指针链表，数据库上形成若干供接口模块访问的API接口。

本发明的工作原理及优点在于：在现有技术的分布式网络中，如果要实现分布式存储，需要使用SQL语言、PHP语言等。但是现在的程序员工程师通常是对 C语言或者C++语言比较熟悉，如果要开发分布式存储系统，程序员工程师只有学习新的语言，这无疑增加了成本。本发明，在C语言或者C++的环境下，程序员工程师只需要建立API接口文件和在数据库上建立相应的API接口，即可实现了分布式存储，极大程度上降低了开发成本和周期，降低了对程序员工程师的需求。

同时，由于现在的开发工作，多是本地存储进行网络化移植，移植效率是非常关键的，虽然SQL语言、PHP语言对于数据库的处理在一定程度上，开发效率更高。但是由于C语言和C++语言的市场占有率高，在进行移植时，本方案仅需要进行开发API接口文件和API接口，即可完成移植，提高了本地存储网络化移植的效率。

本发明基于分布式网络的标准文件IO操作系统，通过配置接口模块和数据库，实现API接口文件和API接口的对应，降低了程序员工程师的专业需求，提高了本地存储网络化移植的效率，具备极大的市场前景和商业价值。

进一步，传输部包括双向通信模块和读写模块，双向通信模块用于传输用户端的访问命令，读写模块用于根据访问命令实现对数据库的读写。

进一步，所述双向通信模块通过基于TCP/IP协议的SOCKET进行工作。

进一步，所述读写模块通过传输命令缓存的读写握手协议进行工作。

进一步，所述API接口文件与数据库的API接口唯一映射。

进一步，所述数据库内的文件句柄以FILE标识。

进一步，所述API接口文件包括头文件、静态数据连接库文件和动态链接库文件。

基于分布式网络的标准文件IO操作方法，包括如下步骤：

命令输入步骤：用户输入文件访问命令；

命令传递步骤：传输用户端的文件访问命令；

接口确认步骤：用于根据文件访问命令调用对应的API接口文件对数据库进行访问；

信息调用步骤：通过API接口文件访问数据库的API接口，数据库根据指针链表调用存储单元的若干文件，并通过传输部反馈至用户。

这样的方式，能够在C语言和C++语言的环境下完成开发，且用户在使用时，能够有极高的访问效率。

进一步，所述API接口文件与数据库的API接口唯一映射，数据库内存储有 API接口文件与数据库的API接口的映射关系。

本发明还提供了一种本地程序网络化移植的方法，将命令字符fopen整体替换为kfopen，fread命令字符整体替换为kfread。

这样的方案，申请人的开发团队具体使用的方式，经过实际验证，几乎不存在BUG，而且开发效率极高。

附图说明

图1为本发明实施例1基于分布式网络的标准文件IO操作系统的逻辑框图；

图2为实施例2中文件网络映射及虚拟分布式文件结构图；

图3为实施例2中命令传输及结果返回流程图；

图4为实施例2中文件镜像的原理图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例1

基本如附图1所示：

基于分布式网络的标准文件IO操作系统，包括：用户端、传输部、数据库和接口模块；

用户端，用于用户输入文件访问命令，接受文件数据；

传输部，用于传输用户端的文件访问命令，传输部包括双向通信模块和读写模块，双向通信模块用于传输用户端的访问命令，读写模块用于根据访问命令实现对数据库的读写，所述双向通信模块通过基于TCP/IP协议的SOCKET进行工作，所述读写模块通过传输命令缓存的读写握手协议进行工作；

接口模块内存储有API接口文件，所述API接口文件包括头文件、静态数据连接库文件和动态链接库文件，接口模块用于根据文件访问命令调用对应的API 接口文件对数据库进行访问；

数据库，数据库包括两个存储单元，存储单元内分别存储有若干文件，所述数据库内的文件句柄以FILE标识，存储单元之间按照分片顺序进行相连，所述分片顺序构成指针链表，数据库上形成若干供接口模块访问的API接口；

其中，所述API接口文件与数据库的API接口唯一映射，若干API接口构成 API接口库。

具体的，用户端调用接口模块，获取API接口文件，其中，所述API接口文件的地址参数为网络地址，用于访问分布式存储(即数据库内不同存储模块内的文件)的文件；

用户端向服务器发送包含所述API接口文件的访问命令；

服务器响应于接收到所述访问命令，根据API接口文件寻找到相应的API 接口，调用所述API接口，获取目标文件；

服务器将所述获取的目标文件发送至所述用户端；

其中，所述API接口文件是类本地API库，所述API接口库是已有的本地API库，所述API接口文件中各个函数与所述API接口库中的各个函数一一对应，且所述API接口文件中各个函数的名字不同于所述API接口库中各个函数的名字。

为了使新开发网络存储应用或者迁移传统程序变得更为简单，在API接口库中各个函数的名字前面加上统一的前缀得到API接口文件中各个函数的名字。

在服务器与用户端之间进行通信的时候，建立基于TCP/IP协议的网络 SOCKET。

所述服务器为服务器集群，当采用分布式存储时，使用相应指针链表，将多个服务器按照分片顺序进行相连。

所述API接口文件是在用户端提供面向开发人员的.h或.lib或.dll文件。

该实施例构造与已有的API库对应的类本地API库用来进行分布式网络存储文件的IO操作，用户端在调用类本地API库的函数时将本地地址改编为网络地址，服务端将其翻译成已有的API函数，从而调用已有的API库来获取目标文件，实现了类本地的分布式网络存储及读取方法，提供给用户端类似于本地访问的开发场景，简单、高效开发的效果。

基于分布式网络的标准文件IO操作方法，包括如下步骤：

命令输入步骤：用户输入文件访问命令；

命令传递步骤：传输用户端的文件访问命令；

接口确认步骤：用于根据文件访问命令调用对应的API接口文件对数据库进行访问；

信息调用步骤：通过API接口文件访问数据库的API接口，数据库根据指针链表调用存储单元的若干文件，并通过传输部反馈至用户；

其中，所述API接口文件与数据库的API接口唯一映射，数据库内存储有 API接口文件与数据库的API接口的映射关系。

具体的，用户端调用接口模块，通过API接口文件进行访问，其中，所述 API接口文件的地址参数为网络地址，用于访问分布式存储的文件；向服务器发送包含所述API接口文件的访问命令；接收服务器基于访问命令而获取的目标文件；

服务器接收到包含所述API接口文件的访问命令；响应于接收到所述访问命令，根据API接口文件寻找到相应的API接口，调用所述API接口，获取目标文件；将所述目标文件发送至所述用户端；

其中，所述API接口文件是类本地API库，所述API接口库是已有的本地 API库，所述API接口文件中各个函数与所述API接口库中的各个函数一一对应，且所述API接口文件中各个函数的名字不同于所述API接口库中各个函数的名字。

为了使新开发网络存储应用或者迁移传统程序变得更为简单，在API接口库中各个函数的名字前面加上统一的前缀得到API接口文件中各个函数的名字。

在服务器与用户端之间进行通信的时候，建立基于TCP/IP协议的网络 SOCKET。

所述服务器为服务器集群，当采用分布式存储时，使用相应指针链表，将多个服务器按照分片顺序进行相连。

所述API接口文件是在用户端提供面向开发人员的.h或.lib或.dll文件。

该实施例构造与已有的API库对应的类本地API库用来进行分布式网络存储文件的IO操作，用户端在调用类本地API库的函数时将本地地址改编为网络地址，服务端将其翻译成已有的API函数，从而调用已有的API库来获取目标文件，实现了类本地的分布式网络存储及读取方法，提供给用户端类似于本地访问的开发场景，达到简单、高效开发的效果。

实施例2

本发明包含网络命令传输、服务器集群逻辑文件镜像以及代码访问API接口三部分组成，实现了基于分布式网络的标准文件IO操作(如图2所示)。

网络命令传输部分主要包含基于TCP/IP协议的SOCKET开发以及传输命令缓存的读写握手协议开发。主要实现针对文件访问接口命令的传输与接收。(如图 3所示)

服务器集群逻辑文件镜像主要包含本地文件管理以及服务嵌套的开发，并且保障每一个服务的输出接口都为标准的文件句柄FILE形式，当采用分布式存储时，则应使用相应指针链表，将多个服务器按照分片顺序进行相连，并根据用户端的访问命令进行相关的翻译处理，并通过与用户端建立的网络SOCKET返回结果。(如图4所示)

代码访问API接口指在用户端提供面向开发人员的.h/.lib/.dll等文件，相关功能函数按照本发明指向的风格提供。

当以上三部分开发并部署完成后，首先配置服务器本地环境，如果有集群需要，则配置集群。在用户端软件端调用相关.h/.lib开发包中的API，进行编译，即可实现本发明提供的分布式云访问功能。

当原有本地程序进行网络化移植时，则整体替换fopen为kfopen，fread 为kfread等即可实现一步迁移，并且不影响原有程序。

本发明涉及分布式云存储与访问技术，适用于不同地域、不同设备间进行并行存储，以及提供给用户端类似于本地访问的开发场景。通过本发明实现多设备间文件切片存储以及逻辑镜像还原等功能，可有效应用于云计算、雾计算、区块链、数据中心、智慧城市、公有云及私有云等领域。

实施例3

本发明还提供了一种本地程序网络化移植的方法，将fopen整体替换为 kfopen，fread整体替换为kfread。本实施例给出了从已有的本地API库构造类本地API库的示例，基于通过操作系统都支持的C/C++语言在系统层实现。

C/C++语言在最基本的本地文件I/O操作接口上，提供了FILE、fopen、fclose、ftell、fseek、fread、fwrite、fflush等应用程序访问接口(Application ProgramInterface，API)，其各自函数原型及功能如下：

FILE*fopen(const char*path,const char*mode)；

int fclose(FILE*fp)；

long ftell(FILE*stream)；

int fseek(FILE*stream,long offset,int fromwhere)；

size_t fread(void*buffer,size_t size,size_t count,FILE *stream)；

size_t fwrite(const void*buffer,size_t size,size_t count,FILE*stream)；

int fflush(FILE*stream)

本发明基于传统调用风格，在函数名前附加关键字k(代表KCharf)来实现基于网络的类本地访问方式。而相比本地方式，kfopen打开的文件路径由本地路径改编为网络地址(如：kfs:://192.168.0.100/files/test.dat)从而实现网络调用，具体函数原型如下：

KFILE*kfopen(const char*path,const char*mode)；

int kfclose(KFILE*fp)；

long kftell(KFILE*stream)；

int kfseek(KFILE*stream,long offset,int fromwhere)；

size_t kfread(void*buffer,size_t size,size_t count,KFILE *stream)；

size_t kfwrite(const void*buffer,size_t size,size_t count,KFILE *stream)；

int kfflush(KFILE*stream)；

同时，为了对应存储端的具体实现，服务端提供了KFileServer工具，并且实现了可并行以及可分布式的管理方法。可以使具体分布式文件需求脱离分布式逻辑进行管理。极大的降低了开发的难度和成本，并且提供了更加可靠和便捷的管理手段。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于分布式网络的标准文件IO操作系统，包括：用户端、传输部、数据库和接口模块；其特征在于：

用户端，用于用户输入文件访问命令，接受文件数据；

传输部，用于传输用户端的文件访问命令；

接口模块内存储有API接口文件，接口模块用于根据文件访问命令调用对应的API接口文件对数据库进行访问；

数据库，数据库包括至少两个存储单元，存储单元内分别存储有若干文件，存储单元之间按照分片顺序进行相连，所述分片顺序构成指针链表，数据库上形成若干供接口模块访问的API接口。

2.根据权利要求1所述的基于分布式网络的标准文件IO操作系统，其特征在于，传输部包括双向通信模块和读写模块，双向通信模块用于传输用户端的访问命令，读写模块用于根据访问命令实现对数据库的读写。

3.根据权利要求2所述的基于分布式网络的标准文件IO操作系统，其特征在于，所述双向通信模块通过基于TCP/IP协议的SOCKET进行工作。

4.根据权利要求3所述的基于分布式网络的标准文件IO操作系统，其特征在于，所述读写模块通过传输命令缓存的读写握手协议进行工作。

5.根据权利要求4所述的基于分布式网络的标准文件IO操作系统，其特征在于，所述API接口文件与数据库的API接口唯一映射。

6.根据权利要求5所述的基于分布式网络的标准文件IO操作系统，其特征在于，所述数据库内的文件句柄以FILE标识。

7.根据权利要求1-6任一项所述的基于分布式网络的标准文件IO操作系统，其特征在于，所述API接口文件包括头文件、静态数据连接库文件和动态链接库文件。

8.基于分布式网络的标准文件IO操作方法，包括如下步骤：

命令输入步骤：用户输入文件访问命令；

命令传递步骤：传输用户端的文件访问命令；

其特征在于，还包括：

接口确认步骤：用于根据文件访问命令调用对应的API接口文件对数据库进行访问；

信息调用步骤：通过API接口文件访问数据库的API接口，数据库根据指针链表调用存储单元的若干文件，并通过传输部反馈至用户。

9.根据权利要求8所述的基于分布式网络的标准文件IO操作方法，其特征在于，所述API接口文件与数据库的API接口唯一映射，数据库内存储有API接口文件与数据库的API接口的映射关系。

10.一种本地程序网络化移植的方法，其特征在于，将fopen命令字符整体替换为kfopen，fread命令字符整体替换为kfread。