CN101853287B - 数据压缩快速检索文件系统及其方法 - Google Patents

Abstract

本发明公开了一种数据压缩快速检索文件系统及其方法，该系统包括：数据生成系统，用于将其他系统定义的数据文件或者其他类型数据库中的表数据转进行压缩生成压缩数据文件，同时生成系统索引文件和数据结构信息文件；请求连接处理系统，用于建立与客户端的连接；数据查询系统，用于收取客户端的连接，并分析客户端具体查询语句，并分析数据结构信息文件和索引文件，然后检索数据文件并将检索的数据返回；权限管理系统，用于建立用户并分配用户权限；数据恢复系统，用于将指定的数据文件恢复为其他类型数据库表或者其他系统定义的数据文件；数据实体系统，包括有数据结构信息文件，数据检索索引文件，数据文件。

Description

数据压缩快速检索文件系统及其方法

技术领域

本发明属于数据检索系统领域。尤其涉及需要进行数据压缩同时又要求支持快速查询的应用系统。

背景技术

在数据检索系统领域，目前普遍的做法是基于普通数据库技术实现的数据检索技术。普通数据库方式由于数据库采用了封装后特定的数据文件，外界无法对其数据进行直接压缩，如将多个表数据保存在同一个数据库中，外界无法直接分析其表数据，同时数据查询效率由于数据修改及事物处理等功能以及当前存储数据为海量数据等的影响无法保证快速的查询速度。

随着社会和经济的快速发展，社会生产和消费活动增长迅速，社会各个领域的需要保存的数据量大大增加。特别是在线事务处理系统随着用户量的增长和营业时间的积累，一些事件记录的数据正在膨胀，如通信领域运营商历史帐单数据，历史服务记录，通话详细记录数据等。它们的共同特点是数据量大，数据为静态，因为都是对一些已经发生并且确认的业务的原始记录，并不允许对这些数据做修改；远期数据访问频率低，近期数据频繁访问。为了降低系统建设成本，仅在线保存最近一段时间的数据。为了在有限的资源中提供更长、更及时的数据服务，需要提供更节约、更有效的数据服务系统。

因此，对历史和实时数据进行统一压缩存储管理和统计、查询，引入数据压缩存储快速检索文件系统，借以减小数据的在线查询时间、提高查询速度、减少数据保存和备份空间。这是提高服务质量、提高服务效率、节约成本的一种手段，也是统一管理，加强管控，方便用户使用的必然趋势。目前存在对历史和实时数据进行统一压缩存储管理的需求，可以给客户提高服务质量、提高服务效率、节约成本。

发明内容

为了概括本发明的目的，在这里描述了本发明的某些方面、优点和新颖特征。应了解，无需所有这些方面、优点和特征包含在任一特殊的实施例中。

为解决现有技术存在的问题和不足之处，本发明提供了一种数据压缩存储快速检索文件系统，从根本上改变传统数据库数据检索的实现方式，使对海量数据的检索不再是进行从大数据量中检索数据，而是对在线高比例压缩数据进行检索，同时提供快速的数据检索速度。

为了达到上述目的，本发明提供了一种数据压缩存储快速检索文件系统的方法：原始数据迁移，系统分析数据源并将数据源数据迁移到本系统中，以本系统自定义格式的临时文件保存；数据压缩生成，将临时保存的数据进行压缩处理生成压缩数据文件，同时生成指定数量的索引，然后将生成的数据录入到本文件系统中；数据检索，当客户端连接本服务器并进行数据检索请求时，服务器首先验证用户权限，然后分析请求的SQL语句，最后将请求的具体消息发送到数据引擎模块；数据恢复，将指定的数据文件恢复为其他系统定义的数据文件或者其他类型数据库表，提供特定的恢复工具。

本发明提供了一种数据压缩快速检索文件系统，该系统包括：数据生成系统，请求连接处理系统，数据查询系统，权限管理系统，数据恢复系统，数据实体系统。

本发明提供，数据生成系统，包括：数据迁移模块，用于将其他系统定义的数据文件或者其他类型数据库中的表数据转为系统自定义格式的临时文件，生成临时文件时需预定义数据记录结构信息；数据压缩模块，用于读取数据生成模块生成的临时文件并进行压缩生成压缩数据文件，同时生成数据检索索引文件和数据结构信息文件。

本发明还提供，请求连接处理系统，包括：连接请求管理部分，用于建立与客户端的连接，并将连接信息提交给权限管理系统，同时保证连接的稳定性；连接分发部分，用于生成查询请求对应的新的操作系统线程并将生成新的线程并将连接交给新线程，同时在任务完成后负责线程的回收工作。

本发明还提供，数据查询系统，包括：数据库外壳模块，用于收取客户端的连接，并分析客户端具体查询语句，最终将请求消息发送至数据搜索引擎获取查询数据，并将查询数据发送到查询客户端；数据搜索引擎，用于响应查询语句消息并分析数据结构信息文件和索引文件，根据索引文件定位数据记录位置，然后检索数据文件并将检索的数据返回到数据库外壳部分。

本发明还提供，权限管理系统，包括：查询用户权限处理部分，用于建立用户并分配用户权限，同时根据查询请求用户信息分配权限；查询信息控制部分，当客户端以某用户身份登录系统服务时，根据其权限处理SQL语句并返回相应权限的查询数据；

本发明还提供，数据恢复系统，包括：数据库方式恢复部分，用于将指定的数据文件恢复为其他类型数据库表；文件方式恢复部分，用于将指定的数据文件恢复为其他系统定义的数据文件。

本发明还提供，数据实体系统，包括：数据结构信息文件，数据检索索引文件，压缩数据文件。

附图说明

图1为本发明基于移动运营商的系统网络结构图；

图2为本发明的系统结构框图；

图3为本发明数据迁移的流程图；

图4为本发明数据压缩流程图；

图5为本发明数据检索流程图；

图6为本发明数据恢复流程图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明作进一步的描述。

图1是本发明基于移动运营商的系统网络结构图。图1所示的数据压缩快速检索文件系统网络包括：生产系统1，生产系统实时产生用户话单；计费中心2，处理生成的详细话单最终产生确定的业务话单数据；数据检索服务器3，数据检索服务器包括数据生成工具用于从数据源导入数据到本系统中，数据检索模块用于从数据库数据文件中检索出相应的数据并返回到客户端；接口平台4，接口平台根据不同用户的请求访问数据检索服务器并获取特定的检索数据，然后返回到请求的用户；数据恢复中心5，数据恢复中心为系统需要备份或者恢复时的数据解压恢复服务器；自助打印机6，自助打印机为营业厅提供自助打印服务的打印设备，用户可以打印话单，数据从数据检索服务器经接口平台转发而来；客户服务中心7，客户服务中心为运营商提供客服服务的机构，用户可以请求话单查询服务，数据从数据检索服务器经接口平台转发而来；网上营业厅8，网上营业厅为运营商提供查询等服务的网络平台，用户可以进行话单查询，数据从数据检索服务器经接口平台转发而来。

图2是本发明的系统结构框图。本系统包括：数据生成工具1-1，数据迁移部分将系统定义的数据文件或者其他数据库中的表数据转为系统自定义格式的临时文件，数据压缩部分读取数据生成模块生成的临时文件并进行压缩生成压缩数据文件，同时生成系统索引文件和数据结构信息文件。数据查询语句分析1-4，查询系统外壳收取客户端的连接，并分析客户端具体查询语句，最终将请求消息发送至数据搜索引擎获取查询数据。数据检索引擎1-5，响应查询语句消息并分析数据结构信息文件和索引文件然后检索数据文件并将检索的数据返回到查询系统外壳。数据文件系统1-6，包括数据结构信息文件、数据检索索引文件、数据文件。数据恢复工具1-7，数据库方式恢复工具将指定的数据文件恢复为其他类型数据库表，文件方式恢复工具将指定的数据文件恢复为其他系统定义的数据文件。

下面结合图3到图6说明本发明的系统实现方法。

图3是本发明数据迁移流程图。在步骤S102中数据迁移工具首先分析数据源并根据配置文件读取数据源，如果出现异常则迁移系统退出，步骤S104读取正确则将数据源数据迁移到本系统中，在步骤S105中并生成特定格式的临时文件，同时生成数据格式信息文件，最终以本系统自定义格式的临时文件保存。临时文件是非压缩的数据文件，供下一步的数据压缩工具使用，数据压缩完毕后可将临时文件删除或者保留用作复用。

图4是本发明数据压缩流程图。在步骤S202中数据压缩工具分析迁移过来的临时数据，如果出现异常则迁移系统退出，在步骤S204中读取配置信息设置索引等信息，在步骤S205中进行压缩处理生成压缩数据文件，在步骤S206中分析数据信息生成索引文件，在步骤S207中进行数据的压缩处理生成压缩数据文件，至此数据压缩过程完成。数据压缩过程符合国际压缩标准，索引具有B+Tree功能。

图5是本发明数据检索流程图。在步骤S302中解析配置文件设置系统运行环境，在步骤S303中初始化服务器模块，包括内存申请辅助线程创建等，在步骤S304中循环等待连接并接受命令，当有命令时则接收连接并继续执行，否则继续循环等待，在步骤S306中当客户端连接本服务器并进行数据检索请求时，服务器首先验证用户权限，在步骤S307中分析请求的SQL语句并创建查询线程，在步骤S308中查询线程最后将请求的具体消息发送到数据引擎模块，数据搜索引擎部分，响应查询语句消息并分析数据结构信息文件和索引文件，根据索引文件定位数据记录位置，然后检索数据文件并将检索的数据返回到查询线程。一次SQL执行完毕后如果没有收到服务停止信号则继续等待连接请求。

图6是本发明数据压缩流程图。在步骤S402中数据恢复工具读取压缩文件系统中的数据文件，如果出现异常则恢复工具退出，正常情况程序继续执行，在步骤S404中读取配置信息获取恢复中心地址表结构以及恢复参数等信息，在步骤S405中将压缩后的数据文件解压并保存到特定的数据结构中，在步骤S406中将解压后的数据结构发送到恢复中心，在步骤S407中将解压过程的日志写入到日志系统。

虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，但同样在本发明创造的保护范围之内。因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (2)

1.一种数据压缩存储快速检索文件的系统，该系统包括：

原始数据迁移单元，用于系统分析数据源并将数据源数据迁移到本单元中，以本单元自定义格式的临时文件保存；具体为：数据迁移工具首先分析数据源并根据配置文件读取数据源，如果出现异常则原始数据迁移单元退出，否则读取正确则将数据源数据迁移到本系统中，生成特定格式的临时文件，同时生成数据格式信息文件，最终以本系统自定义格式的临时文件保存；

数据压缩生成单元，用于将临时保存的数据进行压缩处理生成压缩数据文件，同时生成指定数量的索引，然后将生成的数据录入到本系统中；具体为：数据压缩工具分析迁移过来的临时数据，如果出现异常则原始数据迁移单元退出，否则读取配置信息设置索引信息，进行压缩处理生成压缩数据文件，分析数据信息生成索引文件，进行数据的压缩处理生成压缩数据文件，至此数据压缩过程完成；

数据检索单元，用于当客户端连接本服务器并进行数据检索请求时，服务器首先验证用户权限，然后分析请求的SQL语句，最后将请求的具体消息发送到数据引擎模块；具体为：解析配置文件设置系统运行环境，初始化服务器模块，包括内存申请辅助线程创建，循环等待连接并接受命令，当有命令时则接收连接并继续执行，否则继续循环等待，当客户端连接本服务器并进行数据检索请求时，服务器首先验证用户权限，分析请求的SQL语句并创建查询线程，查询线程最后将请求的具体消息发送到数据引擎模块，数据搜索引擎部分，响应查询语句消息并分析数据结构信息文件和索引文件，根据索引文件定位数据记录位置，然后检索数据文件并将检索的数据返回到查询线程；

数据恢复单元，用于将指定的数据文件恢复为其他系统定义的数据文件或者其他类型数据库表，提供特定的恢复工具；具体为：数据恢复工具读取压缩文件系统中的数据文件，如果出现异常则恢复工具退出，正常情况程序继续执行，读取配置信息获取恢复中心地址表结构以及恢复参数信息，将压缩后的数据文件解压并保存到特定的数据结构中，将解压后的数据结构发送到恢复中心，将解压过程的日志写入到日志系统。

2.一种数据压缩存储快速检索文件的方法，其特征在于：

原始数据迁移，系统分析数据源并将数据源数据迁移到本系统中，以本系统自定义格式的临时文件保存；

具体步骤为，步骤S102：数据迁移工具首先分析数据源并根据配置文件读取数据源，步骤S103：如果出现异常则迁移系统退出，否则执行下一步，步骤S104：读取正确则将数据源数据迁移到本系统中，步骤S105：生成特定格式的临时文件，同时生成数据格式信息文件，最终以本系统自定义格式的临时文件保存；

数据压缩生成，将临时保存的数据进行压缩处理生成压缩数据文件，同时生成指定数量的索引，然后将生成的数据录入到本系统中；

具体步骤为，步骤S202：数据压缩工具分析迁移过来的临时数据，步骤S203：如果出现异常则迁移系统退出，否则执行下一步，步骤S204：读取配置信息设置索引信息，步骤S205：进行压缩处理生成压缩数据文件，步骤S206：分析数据信息生成索引文件，步骤S207：进行数据的压缩处理生成压缩数据文件，至此数据压缩过程完成；

数据检索，当客户端连接本服务器并进行数据检索请求时，服务器首先验证用户权限，然后分析请求的SQL语句，最后将请求的具体消息发送到数据引擎模块；

具体步骤为，步骤S302：解析配置文件设置系统运行环境，步骤S303：初始化服务器模块，包括内存申请辅助线程创建，步骤S304：循环等待连接并接受命令，步骤S305：当有命令时则接收连接并继续执行，否则继续循环等待，步骤S306：当客户端连接本服务器并进行数据检索请求时，服务器首先验证用户权限，步骤S307：分析请求的SQL语句并创建查询线程，步骤S308：查询线程最后将请求的具体消息发送到数据引擎模块，数据搜索引擎部分，响应查询语句消息并分析数据结构信息文件和索引文件，根据索引文件定位数据记录位置，然后检索数据文件并将检索的数据返回到查询线程；

数据恢复，将指定的数据文件恢复为其他系统定义的数据文件或者其他类型数据库表，提供特定的恢复工具；

具体步骤为，步骤S402：数据恢复工具读取压缩文件系统中的数据文件，步骤S403：如果出现异常则恢复工具退出，正常情况程序继续执行，步骤S404：读取配置信息获取恢复中心地址表结构以及恢复参数信息，步骤S405：将压缩后的数据文件解压并保存到特定的数据结构中，步骤S406：将解压后的数据结构发送到恢复中心，步骤S407：将解压过程的日志写入到日志系统。

Images