CN103793531A - 非结构化数据管理系统 - Google Patents

Abstract

本发明公开了一种非结构化数据管理系统，包括：前端控件模块，其安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现；协议封装模块，其封装了用户终端与消息服务模块、文件传输模块的通信协议；消息服务模块，其用于多线程并发处理，实现消息的接收、处理和反馈；文件传输模块，其用于内容传输；批处理模块，其读取外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将内容文件和元数据文件直接存储到数据库模块中；数据库模块，其存储非结构化数据本发明实现了非结构化数据的全生命周期管理，制定统一接口和数据规范，建立稳定有效的数据管理架构，实时共享，可扩展性强，保证高可靠、及时以及高吞吐量。

Description

非结构化数据管理系统

技术领域

本发明涉及一种数据管理系统，特别涉及一种非结构化数据的管理系统。

背景技术

随着经济全球化的发展趋势，出现了一大批跨地区、跨国界的大型企业集团。这些企业集团的分支机构分布于世界各地，而各地分支机构需要共享信息以联合作业。因此，如何对其信息进行管控，以实现企业资源的共享，已成为该类企业营运的一个重要组成部分。而信息技术的发展，使得跨机构、跨地域的数据访问与协作成为可能。目前，为了提高数据访问的效率以及减小故障的损失，企业一般采用分布式数据管理系统。分布式数据管理系统是指物理空间分散、逻辑上通过网络连接在一起的数据存储、管理系统，在该系统中，用户能像访问本地存储区的数据一样使用远程存储区的数据。

而在企业信息化建设中，除了结构数据之外，还出现了大量的非结构化数据。Web环境中出现的海量HTML与XML等格式数据，多媒体数据如声音、影片、图形等，企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等，都是没有明确结构约束的非结构化数据。据研究报告显示，非结构化数据占全部数据总量的80％以上。非结构化数据在政府、企业决策中的重大应用需求中日趋重要。

面对如此纷繁复杂的分布式结构，面对形式各异、信息量庞大的非结构化数据，如何能对分散的非结构化数据进行统一的集中管理，结束分散管理局面，如何能实现新增业务快速接入统一管理系统，以及如何满足行业企业系统的高并发、实时性和异地共享等需求，这些都是各个行业企业急需解决的技术问题。

此外，非结构化数据隶属于外围系统业务，这些数据随业务生命周期的发展，利用频率会逐渐下降；为了合理利用资源，同时保证在线业务数据的访问效率，需要将非结构化数据定义全生命周期：在线、近线、离线。对于不同生命周期的非结构化数据采用不同的数据访问以及数据备份策略。

发明内容

本发明的目的在于克服现有技术中的不足，提出一种非结构化数据管理系统，按照统一的接口和规范，统一管理分布式结构中的非结构化数据，使得正确的数据在正确的时间到达正确的地点，并打破地域界限，实现异地数据资源实时共享和非结构化数据的全生命周期管理。

为了实现上述发明目的，本发明提出了一种非结构化数据管理系统，其包括：

前端控件模块，安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现；

协议封装模块，封装了所述用户终端与消息服务模块、文件传输模块的通信协议；

消息服务模块，用于多线程并发处理消息的接收、处理和反馈，具有消息线程数量及协议的动态配置与集群部署功能；

文件传输模块，用于内容传输；

批处理模块，读取所述外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将所述内容文件和元数据文件存储到数据库模块中；

数据库模块，存储所述非结构化数据，其中包括所述批处理模块传输的所述内容文件和元数据文件，并为所述消息服务模块提供内容操作。

优选地，所述各个模块之间的接口规范以及数据规范被预先规定。

优选地，所述前端控件模块具有影像扫描，影像补录，影像修改，影像质检，批注，图像编辑，打印，导出，元数据编辑，同/异步上传下载功能。

优选地，所述前端控件模块是使用C#所实现的ActiveX标准控件。

优选地，所述协议封装模块使用SDK工具实施，通过调用所述SDK，执行影像内容的入库出库操作；所述SDK有java版和.net版，支持安装部署在AIX、Windows、Linux、HP四种操作系统。

优选地，所述消息服务模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。

优选地，所述消息服务模块使用java实现多个socket接口，所述多个socket接口是并发的。

优选地，所述文件传输模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作；所述文件传输模块通过C语言实现。

优选地，所述批处理模块使用FTP工具将所述内容文件和元数据文件放置在指定目录下。

优选地，所述前端控件模块还具有条形码识别功能，可在文件扫描时同步识别文件上的条形码，自动将影像挂在条形码所对应的交易编号目录下，从而对影像自动归类。

优选地，所述文件传输模块支持断点续传功能。

优选地，所述文件传输模块具有参数化配置传输数据包大小功能，根据网络带宽的情况，改变传输数据包大小，从而增加传输成功的概率。

优选地，非结构化数据管理系统还包括：归档模块，将业务办理结束的非结构化数据迁移到历史库中供外围系统查询，减轻对在线系统的压力。

优选地，所述归档模块从所述外围系统获知业务已办理结束的非结构化数据，将非结构化数据从数据库模块迁移至历史库，外围系统再经由前端控件模块、消息服务模块访问所述归档模块。

根据上述技术方案的分析可知，使用本发明中的非结构化数据管理系统及方法与现有技术相比较，具有如下有益的技术效果：

1、对非结构化数据管理系统实施统一的接口，制定统一的非结构内容数据及元数据存储格式规范；

2、对分布式结构中的非结构化数据建立稳定有效的数据管理架构，打破地域界限，实时共享，保证高可靠、及时以及高吞吐量；

3、对新增业务实现快速接入，增强系统的灵活性和可扩展性；

4、实现非结构化数据的全生命周期管理。

附图说明

图1是根据本发明的一个实施例的非结构化数据管理系统的结构框图。

图2是根据图1所示实施例的影像内容管理系统架构图。

图3是根据本发明的另一个实施例的非结构化数据管理系统的结构框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

参见图1，表示根据本发明的一个实施例的非结构化数据管理系统的结构框图。本发明的非结构化数据管理系统需要与分布式安装于各个地点的外围系统相交互，尤其与外围系统中的用户终端相交互。这些用户终端可以分布在不同的办公地点，不同的城市，甚至可以分布于不同的国家。用户终端的用户对非结构化数据要采取一系列操作，这些非结构化数据例如HTML与XML等格式的数据，多媒体数据如声音、影片、图形等，企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等，其格式各异，种类繁杂。外围系统中还具有一服务器终端，用于存储和备份大量的数据信息，可以为非结构化数据的批量处理提供数据支持。

针对外围系统用户终端上用户操作多样性，以及服务器终端上数据的分散性、复杂性和实时性，设计了本发明的非结构化数据管理系统，其主要具有以下几个模块：

a)前端控件模块，其安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现。该模块可以根据用户终端的交互指令，对所需要处理的非结构化数据进行影像扫描，影像补录，影像修改，影像质检，批注，图像编辑，打印，导出，元数据编辑，同/异步上传下载等操作。由于非结构化数据的特殊性，使用影像扫描等操作能最大的保证数据的真实有效性。通过上述一系列对非结构化数据的操作，能够最真实有效的展现非结构化数据，并且可以实现非结构化数据管理系统与用户之间的交互。该前端控件模块是使用C#而实现的ActiveX标准控件。

b)协议封装模块，其封装了所述用户终端与消息服务模块、文件传输模块的通信协议。任何通信都需要协议的支持，协议中规定了通信的各种规则，而分布式结构中的通信既要保证各个终端之间通信的准确及时，又要保证通信数据的完整有效，因此，这里所提到的通信协议相当的复杂。

该协议封装模块是使用java或者.net来实现的一种SDK工具，因此，该SDK有java版本和.net版本之分。该SDK工具可以被各个企业中业务系统中的应用程序所调用，实现非结构化数据内容文件的上传下载和其它管理操作，能轻松的实现非结构化数据的入库出库操作。

以上前端控件模块和协议封装模块都属于本发明非结构化数据管理系统的前端应用部分，其位于分布式结构中的前端应用处，为用户终端和非结构化数据管理系统之间的指令交互和信息交互提供了支持。

c)消息服务模块，其用于多线程并发处理消息的接收、处理和反馈，具有消息线程数量及协议的动态配置与集群部署功能。

由于分布式结构中，分散于各个地点的终端或者服务器会发送各种各样的消息，来对非结构化数据进行各种不同的实时操作，因此在消息服务模块中需要进行大量的消息处理。本发明的非结构化数据管理系统在apache mina基础上，使用java把消息处理模块开发成能处理大量并发的socket接口程序，控制消息流。MINA是一个网络应用程序框架，利用它可以容易地开发高性能和高伸缩性的网络应用程序。本发明的非结构化数据管理系统实现decode（解码）和encode（编码）方法，完成字节和消息POJO的相互转换，再为每个接口实现handler方法，调用非结构化数据管理API，以此来实现大量消息命令的接收、处理和反馈。另外，消息服务模块将mina和Spring框架结合，可以实现消息线程数量、协议安装的动态配置、集群部署等功能，从而实现非结构化数据消息服务易扩展松耦合特性。

所述消息服务模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作；

d)文件传输模块，其用于内容传输，这里的内容包括非结构化数据文件内容。该文件传输模块通过C语言实现，其接收用户终端发出的指令消息，按照指令所示，进行文件内容的传输。所述文件传输模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。

e)批处理模块，其读取所述外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将所述内容文件和元数据文件存储到数据库模块中。所述批处理模块要求分布式结构中的各个业务系统按照批量接口来生成内容文件和元数据文件，它使用FTP工具将所述内容文件和元数据文件放置在指定目录下。它通过多线程轮询的方式，调用综合上传接口来实现将内容文件存储到数据库中的操作，在非结构化数据存储完毕后，生成结果文件。

上述消息服务模块、文件传输模块和批处理模块都属于本发明非结构化数据管理系统中的系统平台部分，其用于接收外围系统中用户终端或服务器终端所发指令消息，在后台对非结构化数据进行上传、下载及管理操作。

f)数据库模块，其存储所述非结构化数据，其中包括所述批处理模块传输的所述内容文件和元数据文件，并为所述消息服务模块提供内容操作。

其中所述各个模块之间的接口规范以及数据规范都是预先规定好的。这样，外围系统可以通过前端控件模块、协议封装模块的SDK工具、外围系统与系统平台直连、批处理模块批量上传等四种接入方式，实现非结构化数据内容的上传、下载、版本管理等操作。本发明的非结构化数据管理系统便于数据接口和规范的统一，便于系统新增业务的扩展，从而能够实现对非结构化数据的统一管理，建立了稳定有效的数据架构，保证了高可靠性和及时性。

下面参考图2，根据一个实施例，表示一个影像内容管理系统架构图。上述已经提到非结构化数据包括例如HTML与XML等格式的数据，多媒体数据如声音、影片、图形等，企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等，其格式各异，种类繁杂。而在该实施例中，使用用户终端采集的影像内容作为典型的非结构化数据，对这类影像内容数据进行管理，进而设计了如图2所示的影像内容管理架构图，它主要包括两大部分：外围系统和影像内容管理系统。

1)外围系统中包括多个用户终端以及多个服务器终端。同样的，外围系统中的用户终端也是分布式的设置于不同的办公地点，不同城市，甚至不同的国家。外围系统还包括服务器终端，其也是分布式的设置于不同办公地点，它用于存储和备份大量的数据信息，可以为诸如影像内容的非结构化数据的批量处理提供数据支持。

2)影像内容管理系统主要包括前端应用模块和平台应用模块。

2.1)前端应用模块为用户终端和数据管理系统平台之间的指令交互和信息交互提供了支持，它包括：

2.1.1)前端控件模块，它安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现。该模块可以根据用户终端的交互指令，对所需要处理的非结构化数据进行影像扫描，影像补录，影像修改，影像质检，批注，图像编辑，打印，导出，元数据编辑，同/异步上传下载等操作。该实施例中非结构化数据具体化为影像内容。由于这些非结构化数据的特殊性，使用影像扫描等操作能最大的保证数据的真实有效性。通过上述一系列对影像内容的操作，可以实现影像内容数据与用户之间的交互，以及能够最真实有效的展现影像内容。该前端控件是使用C#而实现的一种ActiveX标准控件。

所述前端控件模块包含丰富的接口，具有很强的兼容性，外围系统可传入不同的接口参数，达到不同的展现和控制目的，包括：自定义操作方式（上传/查阅/修改），自定义控件各区域显示，自定义菜单按钮显示，自定义文件层级目录结构，自定义影像属性名称，自定义扫描默认参数，自定义影像展示方式，自定义同步或异步模式，自定义日志保存路径等。

所述前端控件模块还具有条码识别功能，可在文件扫描时同步识别文件上的条形码，条形码代表交易编号，自动将影像挂在对应的交易编号目录下，实现影像自动归类。

2.1.2)协议封装模块，其封装了所述用户终端与消息服务模块、文件传输模块的通信协议。任何通信都需要协议的支持，协议中规定了通信的各种规则，而分布式结构中的通信既要保证各个终端之间通信的准确及时，又要保证通信数据的完整有效，因此，这里所提到的通信协议相当的复杂。

该协议封装是使用java或者.net来实现的一种SDK工具，因此，该SDK有java版本和.net版本之分。该SDK工具可以被各个企业中业务系统中的应用程序所调用，实现非结构化数据内容文件的上传下载和其它管理操作，能轻松的实现非结构化数据的入库出库操作。

如图2所示，协议封装模块里包含文件传输客户端,文件传输客户端负责与文件传输模块进行文件传输，其封装了文件传输的通信协议。关于图2，需要指出的是，前端应用模块属于影像内容管理系统为外围系统提供的标准接入工具。逻辑上属于影像内容管理系统产品的一部分，由影像内容管理系统开发并提供给外围系统使用。但是物理部署时，前端应用模块部署在外围系统的终端上。由于物理部署图不容易清晰地体现整个影像内容管理系统产品的各个模块之间的逻辑关系，因此，图2中把前端应用模块划分在影像内容管理系统中，外围系统可通过前端应用模块接入影像内容管理系统，体现了各个模块之间的逻辑关系而不是物理部署关系。

2.2)平台应用模块中包括两个主要功能模块：内容管理平台模块和内容服务器模块。

2.2.1)内容管理平台模块包括以下三个部分：

●消息服务模块，其用于多线程并发处理消息的接收、处理和反馈，具有消息线程数量及协议的动态配置与集群部署功能。

由于分布式结构中，分散于各个地点的终端或者服务器会发送各种各样的消息，来对非结构化数据进行各种不同的实时操作，因此在消息服务模块中需要进行大量的消息处理。本发明的非结构化数据管理系统在apache mina基础上，使用java把消息处理模块开发成能处理大量并发的socket接口程序，控制消息流。MINA是一个网络应用程序框架，利用它可以容易地开发高性能和高伸缩性的网络应用程序。本发明的非结构化数据管理系统实现decode和encode方法，完成字节和消息POJO的相互转换，再为每个接口实现handler方法，调用非结构化数据管理API，以此来实现大量消息命令的接收、处理和反馈。另外，消息服务模块将mina和Spring框架结合，可以实现消息线程数量、协议安装的动态配置、集群部署等功能，从而实现非结构化数据消息服务易扩展松耦合特性。

所述消息服务模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能经由联机Socket直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。

●文件传输模块，其用于内容传输，这里的内容包括非结构化数据文件内容，还包括各种元数据文件内容。该文件传输模块通过C语言实现，其接收用户终端发出的指令消息，按照指令所示，进行文件内容的传输。与通用的FTP工具不同，所述文件传输模块具有支持断点续传功能，可以在网络情况不通畅导致传输中断后，记录文件传输偏移量标记，重新发起传输。另外，所述文件传输模块具有多进程并发的功能，支持配置进程数量，可以并发传输多个文件。所述文件传输模块还具有参数化配置传输数据包大小功能，根据网络带宽的情况，改变传输数据包大小能增加传输的成功概率。例如在带宽紧张的情况下，可以通过减小传输数据包大小，提高单包发送成功概率，从而提高整个文件传输的成功概率。所述文件传输模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能经由联机Socket直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。

●批处理模块，其读取所述外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将所述内容文件和元数据文件存储到数据库模块中。所述批处理模块要求分布式结构中的各个业务系统按照批量接口来生成内容文件和元数据文件，它使用FTP工具将所述内容文件和元数据文件放置在指定目录下。它通过多线程轮询的方式，调用综合上传接口来实现将内容文件存储到数据库中的操作，在非结构化数据存储完毕后，生成结果文件。

上述消息服务模块、文件传输模块和批处理模块都属于本发明非结构化数据管理系统中的系统平台部分，其用于接收外围系统中用户终端或服务器终端所发指令消息，在后台对非结构化数据进行上传、下载及管理操作。

2.2.2)内容数据库模块，其中包括多个内容库，用于存储影像内容数据，其中包括所述批处理模块传输的所述内容文件和元数据文件，并为所述消息服务模块提供内容操作。

其中所述各个模块之间的接口规范以及数据规范都是预先规定好的，这样便于数据接口和规范的统一，便于系统新增业务的扩展，从而能够实现对非结构化数据的统一管理，建立了稳定有效的数据架构，保证了高可靠性和及时性。

参见图3，表示根据本发明的另一个实施例的非结构化数据管理系统的结构框图。本实施例与图1所示实施例的非结构化数据管理系统的区别仅在于本实施例的非结构化数据管理系统还包括归档模块，其他部分与图1所示的实施例相同，在此不再赘述。

本实施例的归档模块将业务办理结束的非结构化数据迁移到历史库中供外围系统查询，减轻对在线系统的压力。

归档模块从所述外围系统获知业务已办理结束的非结构化数据，将非结构化数据从数据库模块迁移至历史库，外围系统再经由前端控件模块、消息服务模块访问所述归档模块，从而可以实现对非结构化数据的全生命周期管理。

本发明的非结构化数据管理系统可以应用到各个领域和行业，例如银行业务管理，大型连锁企业业务管理，电信资费收缴等等。由于使用了统一的接口和数据规范，大大减轻了分布式结构联机的负担，为数据处理加快了速度，提高了效率，统一了标准，同时也增强了数据处理的灵活性和扩展性。此外还可以实现对非结构化数据的全生命周期管理。

显然，本领域技术人员应该明白，上述本申请技术放案中的各个模块可以使用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上。

以上所述仅为本申请的优选实施例而已，对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的发明精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种非结构化数据管理系统，其特征在于，包括：

前端控件模块，安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现；

协议封装模块，封装了所述用户终端与消息服务模块、文件传输模块的通信协议；

消息服务模块，用于多线程并发处理消息的接收、处理和反馈，具有消息线程数量及协议的动态配置与集群部署功能；

文件传输模块，用于内容传输；

批处理模块，读取所述外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将所述内容文件和元数据文件直接存储到数据库模块中；

数据库模块，存储所述非结构化数据，其中包括所述批处理模块传输的所述内容文件和元数据文件，并为所述消息服务模块提供内容操作。

2.根据权利要求1所述的非结构化数据管理系统，其特征在于：

各个模块之间的接口规范以及数据规范被预先规定。

3.根据权利要求1所述的非结构化数据管理系统，其特征在于：

所述前端控件模块具有影像扫描，影像补录，影像修改，影像质检，批注，图像编辑，打印，导出，元数据编辑，同/异步上传下载功能。

4.根据权利要求1所述的非结构化数据管理系统，其特征在于：

所述前端控件模块是使用C#所实现的ActiveX标准控件。

5.根据权利要求1所述的非结构化数据管理系统，其特征在于：

所述协议封装模块使用SDK工具实施，通过调用所述SDK，执行影像内容的入库出库操作。

6.根据权利要求5所述的非结构化数据管理系统，其特征在于：

所述SDK有java版和.net版，支持安装部署在AIX、Windows、Linux、HP四种操作系统。

7.根据权利要求1所述的非结构化数据管理系统，其特征在于：

所述消息服务模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作；还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。

8.根据权利要求7所述的非结构化数据管理系统，其特征在于：

所述消息服务模块使用java实现多个socket接口，所述多个socket接口是并发的。

9.根据权利要求1所述的非结构化数据管理系统，其特征在于：

所述文件传输模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。

10.根据权利要求1所述的非结构化数据管理系统，其特征在于：

所述批处理模块使用FTP工具将所述内容文件和元数据文件放置在指定目录下。

11.如权利要求3所述的非结构化数据管理系统，其特征在于，

所述前端控件模块还具有条形码识别功能，可在文件扫描时同步识别文件上的条形码，自动将影像挂在条形码所对应的交易编号目录下，从而对影像自动归类。

12.如权利要求9所述的非结构化数据管理系统，其特征在于，

所述文件传输模块支持断点续传功能。

13.如权利要求9所述的非结构化数据管理系统，其特征在于，

所述文件传输模块具有参数化配置传输数据包大小功能，根据网络带宽的情况，改变传输数据包大小，从而增加传输成功的概率。

14.如权利要求1所述的非结构化数据管理系统，其特征在于，

还包括：归档模块，将业务办理结束的非结构化数据迁移到历史库中供外围系统查询，减轻对在线系统的压力。

15.如权利要求14所述的非结构化数据管理系统，其特征在于，

所述归档模块从所述外围系统获知业务已办理结束的非结构化数据，将非结构化数据从数据库模块迁移至历史库，外围系统再经由前端控件模块、消息服务模块访问所述归档模块。

Images