CN104077355A

CN104077355A - 一种非结构化数据存储和查询的方法、装置及系统

Info

Publication number: CN104077355A
Application number: CN201410234903.6A
Authority: CN
Inventors: 何方敏
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2014-05-29
Filing date: 2014-05-29
Publication date: 2014-10-01
Anticipated expiration: 2034-05-29
Also published as: CN104077355B

Abstract

本发明提供了一种非结构化数据存储和查询的方法、装置及系统，非结构化数据存储时，分布式系统的Master接收所述业务元数据信息和电子影像票据进行压缩处理获得压缩数据包，所述Master将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，采用分布式系统实现非结构化数据的存储，由于每个数据节点的存储空间有限，不会导致存储效率的下降；非结构化数据查询时，分布式系统中的Master接收查询模块发送的查询请求，根据查询请求中所携带的查询信息在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包，采用分布式系统实现非结构化数据的查询，由于分布在Master中的每个数据节点所存储的数据信息有限，所有数据节点并行查询，不会导致查询效率下降。

Description

一种非结构化数据存储和查询的方法、装置及系统

技术领域

本发明涉及计算机技术领域，特别是一种非结构化数据存储和查询的方法、装置及系统。

背景技术

银行实施前台业务和后台业务处理分离的工作模式，对于一项业务操作来说，前台生成此业务操作的实体业务票据以及业务元数据信息，并将实体业务票据扫描得到电子影像票据，将电子影像票据存储在磁盘中，并将业务元数据信息以及电子影像票据在磁盘中的位置信息对应存储在关系数据库。

后台在进行上述业务操作的核查的过程中，先根据业务元数据信息从关系数据库中查询电子影像票据在磁盘中的位置信息，再根据位置信息从磁盘中查询电子影像票据信息进行核查。

但是采用上述方法存储和查询业务操作的电子影像票据信息时，随着业务操作的不断增加，关系数据库中所存储的业务元数据信息与电子影像票据在磁盘中的位置信息的对应关系越来越多，导致关系数据库中的存储效率会越来越低；并且，关系数据库中的存储的数据越多，在根据位置信息从磁盘中查询电子影像票据信息的效率就越低。采用关系数据库实现业务操作的电子影像票据的存储和查询，当关系数据库中存储大量的数据信息时，会降低数据信息的存储和查询效率。

发明内容

本发明解决的技术问题在于提供一种非结构化数据存储和查询的方法、装置及系统，从而能够利用分布式系统实现对非结构化数据的存储和查询。

为此，本发明解决技术问题的技术方案是：

一种非结构化数据存储的方法，所述方法包括：

数据整合模块将业务系统提供的业务操作的业务元数据信息和电子影像票据进行压缩处理获得压缩数据包；

所述数据整合模块将所述压缩数据包发送至分布式系统的主控机Master；

分布式系统的Master将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，所述压缩数据包存储的关键字包括电子影像票据ID或业务交易信息。

可选的，所述数据整合模块将所述压缩数据包发送至分布式数据库的Master包括：

数据整合模块将所述压缩数据包按照分布式文件系统HDFS协议发送至分布式数据库的Master。

可选的，所述业务交易信息包括：

交易号码、文档类型以及系统编号。

一种非结构化数据查询的方法，所述方法包括：

查询模块接收用户输入的查询信息，所述查询信息包括电子影像票据ID或业务交易信息；

查询模块向分布式系统中的主控机Master发送查询请求，所述查询请求携带有所述查询信息；

所述Master查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包。

可选的，所述Master查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包包括：

所述Master向分布在所述Master的所有数据节点发送查询命令，所述查询命令携带有所述查询信息；

分布在所述Master的每个数据节点接收到所述查询命令后，查询与所述查询信息匹配的压缩数据包；

分布在所述Master的节点向所述Master返回与所述查询信息匹配的压缩数据包。

可选的，所述方法还包括：

所述Master将所述压缩数据包发送至展示模块进行展示。

可选的，所述查询模块向分布式系统中的Master发送查询请求包括：

查询模块按照分布式文件系统HDFS协议向分布式系统中的Master发送查询请求。

一种非结构化数据存储的装置，所述装置包括：

数据整合模块与分布式系统中的主控机Master相连，分布式系统中的Master与多个数据节点相连；

数据整合模块，用于将业务系统提供的业务操作的业务元数据信息和电子影像票据进行压缩处理获得压缩数据包，将所述压缩数据包发送至分布式系统的Master；

分布式系统的Master，用于将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，所述压缩数据包存储的关键字包括电子影像票据ID或业务交易信息；

数据节点，用于存储所述压缩数据包。

可选的，

所述数据整合模块，用于将所述压缩数据包按照分布式文件系统HDFS协议发送至分布式数据库的Master。

一种非结构化数据查询的装置，所述装置包括：

查询模块与分布式系统中的主控机Master相连，分布式系统中的Master与多个数据节点相连；

查询模块，用于接收用户输入的查询信息，所述查询信息包括电子影像票据ID或业务交易信息，向分布式系统中的Master发送查询请求，所述查询请求携带有所述查询信息；

分布式系统中的Master，用于查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包；

数据节点，用于存储所述压缩数据包。

可选的，所述分布式系统中的Master包括：

发送单元，用于向分布在所述Master的所有数据节点发送查询命令，所述查询命令携带有所述查询信息；

则所述数据节点包括：

查询单元，用于接收到所述查询命令后，查询与所述查询信息匹配的压缩数据包；

返回单元，用于向所述Master返回与所述查询信息匹配的压缩数据包。

可选的，所述装置还包括：

展示模块，用于接收所述Master发送的压缩数据包进行展示。

可选的，

所述查询模块，用于按照分布式文件系统HDFS协议向分布式系统中的Master发送查询请求。

一种非结构化数据存储和查询系统，所述系统包括：

本申请所述的非结构化数据存储装置及本申请所述的非结构化数据查询装置。

通过上述技术方案可知，本发明有如下有益效果：

本发明提供了一种非结构化数据存储和查询的方法、装置及系统非结构化数据存储时，所述业务元数据信息和电子影像票据进行压缩处理获得压缩数据包进行压缩处理获得压缩数据包后，发送至分布式系统的Master，分布式系统的Master将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，采用分布式系统以及分布式处理技术实现非结构化数据的存储，即使所存储大量的数据信息，由于每个数据节点的存储空间有限，多个数据节点并行存储，不会导致数据信息的存储效率下降；

非结构化数据查询时，分布式系统中的Master接收查询模块发送的查询请求，根据查询请求中所携带的查询信息在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包。采用分布式系统实现非结构化数据的查询，即使存储有大量的数据信息，由于分布在Master中的每个数据节点所存储的数据信息有限，所有数据节点并行查询，不会导致查询效率下降。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种非结构化数据存储的方法实施例一流程图；

图2为本发明一种非结构化数据查询的方法实施例二流程图；

图3为本发明一种非结构化数据存储的装置实施例三结构示意图；

图4为本发明一种非结构化数据查询的装置实施例四结构示意图；

图5为本发明一种非结构化数据存储和查询系统实施例五结构示意图。

具体实施方式

本发明提供了一种非结构化数据存储和查询的方法、装置及系统，利用分布式系统实现对非结构化数据的存储和查询，避免存储大量的数据信息时降低存储和查询的效率。

下面结合附图对本发明实施例进行详细说明。

图1为本发明一种非结构化数据存储的方法实施例一流程图，所述方法包括：

步骤101：数据整合模块将业务系统提供的业务操作的业务元数据信息和电子影像票据进行压缩处理获得压缩数据包。

数据整合模块将同一个业务操作的业务元数据信息以及非结构化的电子影像票据通过XML技术以及压缩工具进行压缩处理获得压缩数据包，所述压缩数据包中包括：业务元数据信息及其所对应的非结构化的电子影像票。

将同一个业务操作的业务元数据信息以及电子影像票据压缩在一个压缩数据包中，无需将两种数据信息分开放置。查询到一个业务操作的压缩数据包后，即可获得此业务操作的业务元数据信息以及电子影像票据。

步骤102：所述数据整合模块将所述压缩数据包发送至分布式系统的Master。

将压缩数据包发送至分布式系统，利用分布式系统存储所述压缩数据包。数据整合模块可以通过分布式文件系统HDFS协议将压缩数据包发送至分布式系统，还可以采用GFS(Google File System)协议等其他协议将压缩数据包发送至分布式系统，这里不再一一赘述。

步骤103：分布式系统的Master将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，所述压缩数据包存储的关键字包括电子影像票据ID或业务交易信息。

分布式系统中的一个Master与多个数据节点相连，Master接收到数据整合模块发送的压缩数据包时，将压缩数据包发送至分布在所述Master的任意一个数据节点进行存储。存储所述压缩数据包时，将业务操作电子影像票据ID或业务交易信息作为存储的关键字，便于以后对所述压缩数据包进行查询。其中，所述交易信息包括交易号码、文档类型以及系统编号。

本发明中基于BFW框架建立Hadoop分布式系统，具有分布式架构以及分布式处理能力。BFW框架是中国银行基于spring的web开发框架，随着存储数据信息的数量增加，只需要添加PC Master以及对应的存储硬盘即可，具有良好的扩展性能。

由于采用分布式系统存储压缩数据包，当所存储大量的业务操作的数据信息时，将不同的业务操作的数据信息采用分布式处理技术存储至不同的数据节点中，即使存储大量的数据信息也不会导致存储效率降低。

由上述内容可知，本发明有如下有益效果：

非结构化数据存储时，所述业务元数据信息和电子影像票据进行压缩处理获得压缩数据包进行压缩处理获得压缩数据包后，发送至分布式系统的Master，分布式系统的Master将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，采用分布式系统以及分布式处理技术实现非结构化数据的存储，即使所存储大量的数据信息，由于每个数据节点的存储空间有限，多个数据节点并行存储，不会导致数据信息的存储效率下降。

实施例二

图2为本发明一种非结构化数据查询的方法实施例二流程图，所述方法包括：

步骤201：查询模块接收用户输入的查询信息，所述查询信息包括电子影像票据ID或业务交易信息。

本发明基于BFW框架构建了一个web查询模块，用于可以向查询模块中输入查询信息。查询模块会根据用户输入的查询信息构建查询请求发送至分布式系统中的Master。其中，用户输入的查询信息包括电子影像票据ID或业务交易信息，与压缩数据包在数据节点中所存储的关键字相同。

步骤202：查询模块向分布式系统中的Master发送查询请求，所述查询请求携带有所述查询信息。

查询模块按照分布式文件系统HDFS协议向分布式系统中的Master发送查询请求，当然，查询模块还可以采用GFS协议或其他可用的协议向分布式系统中的Master发送查询请求，这里不再一一赘述。

步骤203：所述Master查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包。

所述Master查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包包括：

分布式系统中的Master与多个数据节点相连，所述Master接收到查询模块发送的查询请求时，向分布在所述Master的所有数据节点发送查询命令，查询与所述查询信息匹配的压缩数据包。由于所有数据节点采用分布式处理技术，多个数据节点并行查询，所以即使存储大量的数据信息，也不会降低查询的效率。

压缩数据包在存储时，以电子影像票据ID或业务交易信息为关键字进行存储，用户输入的查询信息也是电子影像票据ID或业务交易信息为关键字进行存储。也就是说，查找与所述查询信息匹配的压缩数据包，就是查找以用户输入的查询信息作为关键字进行存储的压缩数据包。

由上述内容可知，本发明有如下有益效果：

实施例三

图3为本发明一种非结构化数据存储的装置实施例三结构示意图，所述装置包括：

数据整合模块301与分布式系统中的Master302相连，分布式系统中的Master302与多个数据节点A1～An相连。

这里需要说明的是，所述数据整合模块，用于将所述压缩数据包按照分布式文件系统HDFS协议发送至分布式数据库的Master。

数据整合模块301，用于将业务系统提供的业务操作的业务元数据信息和电子影像票据进行压缩处理获得压缩数据包，将所述压缩数据包发送至分布式系统的Master。

分布式系统的Master302，用于将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，所述压缩数据包存储的关键字包括电子影像票据ID或业务交易信息。

数据节点A1～An，用于存储所述压缩数据包。

此处与实施例一类似，参考实施例一的描述，这里不再赘述。

实施例四

图4为本发明一种非结构化数据查询的装置实施例四结构示意图，所述装置包括：

查询模块401与分布式系统中的Master302相连，分布式系统中的Master302与多个数据节点A1～An相连。

查询模块401，用于接收用户输入的查询信息，所述查询信息包括电子影像票据ID或业务交易信息，向分布式系统中的Master发送查询请求，所述查询请求携带有所述查询信息。

在具体实现时，所述查询模块，用于按照分布式文件系统HDFS协议向分布式系统中的Master发送查询请求。

分布式系统中的Master302，用于查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包。

数据节点A1～An，用于存储所述压缩数据包。

这里需要说明的是，所述分布式系统中的Master包括：

则所述数据节点包括：

并且，可选的，所述装置还包括：

展示模块，用于接收所述Master发送的压缩数据包进行展示。

此处与实施例二类似，参考实施例二的描述，这里不再赘述。

实施例五

图5为本发明一种非结构化数据存储和查询系统实施例五结构示意图，所述系统包括：

本发明实施例三所述的非结构化数据存储装置501及本发明实施例四所述的非结构化数据查询装置502。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种非结构化数据存储的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述数据整合模块将所述压缩数据包发送至分布式数据库的Master包括：

3.根据权利要求1-2任意一项所述的方法，其特征在于，所述业务交易信息包括：

交易号码、文档类型以及系统编号。

4.一种非结构化数据查询的方法，其特征在于，所述方法包括：

5.根据权利要求4所述的方法，其特征在于，所述Master查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包包括：

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述Master将所述压缩数据包发送至展示模块进行展示。

7.根据权利要求4-6任意一项所述的方法，其特征在于，所述查询模块向分布式系统中的Master发送查询请求包括：

8.一种非结构化数据存储的装置，其特征在于，所述装置包括：

数据节点，用于存储所述压缩数据包。

9.根据权利要求8所述的装置，其特征在于，

10.一种非结构化数据查询的装置，其特征在于，所述装置包括：

数据节点，用于存储所述压缩数据包。

11.根据权利要求10所述的装置，其特征在于，所述分布式系统中的Master包括：

则所述数据节点包括：

12.根据权利要求10所述的装置，其特征在于，所述装置还包括：

展示模块，用于接收所述Master发送的压缩数据包进行展示。

13.根据权利要求10-12任意一项所述的装置，其特征在于，

14.一种非结构化数据存储和查询系统，其特征在于，所述系统包括：

权利要求8-9任意一项所述的非结构化数据存储装置及权利要求10-13任意一项所述的非结构化数据查询装置。