CN106815324A - 一种基于云计算对象存储快速检索系统 - Google Patents

Abstract

一种基于云计算对象存储快速检索系统，由业务规则配置系统和检索系统构成，业务规则配置系统是检索系统的辅助系统，两者之间通过消息队列方式传递信号；而业务规则配置系统由系统管理模块、配置管理模块、参数管理模块和鉴权服务模块组成；检索系统是为外部业务系统提供资源数据存储和资源信息检索的能力，对外提供基于HTTPS安全协议的统一标准接口服务，对内采用消息队列方式进行模块间的数据通信和数据共享。本发明通过在云计算对象存储应用层面增加检索系统解决了用户复杂检索的需求，提升了资源数据检索的准确率和查询效率。

Description

一种基于云计算对象存储快速检索系统

技术领域

本发明涉及海量数据存储和数据检索技术领域，具体而言涉及一种基于云计算对象存储快速检索系统。

背景技术

云存储已经成为业界最为火热的概念之一，未来是云时代，没有存储设备，一切都将存储在云中，只要有网络存在均可从本地上传数据到云端，也可以从云端下载数据到本地。然而对于企业而言，数据的重要性往往建立在数据的使用和价值的分析上，对于生产环境产生的海量数据如何才能快速存取和应用与分析，其性能却是一大制约因素。如何能够快速定位存取企业所需要的数据是个很大的难题。目前对于对象存储主要应用于对公服务较多，比如：云盘、云文件夹等应用。而企业数据则更多的使用的是块存储和文件存储。块存储更像是一个底层设备，如：磁盘阵列和硬盘，把这些磁盘上的空间映射给主机使用，但主机之间却无法共享数据。文件NAS存储，类似一个包含根目录的层级文件系统，解决了共享，但却有一个最大的限制，就是对存储的文件数量有一定的限制。无论采用块存储还是文件存储对于海量数据存储均存在一定的弱项。块存储成本昂贵，一般企业都无法负担，而文件存储读写速度较慢，对于企业数据应用不利于提升工作效率。因此，对象存储给企业和个人提供了海量、安全、低成本、高可用的云存储服务。

云计算对象存储机制很好的解决了快速存取资源文件的系统，提供了高效率的接口服务。但是对于用户对资源的组合查询和复杂检索却显得无能为力，有了对象存储可以很好的解决了企业和个人数据存取的问题，但数据挖掘和数据检索问题一直存在，因此需要建立一整套，安全、可靠、高效存取、快速检索的对象存储体系框架，以便对用户提供高效率、低延迟的资源数据检索服务。

发明内容

本发明提供一种基于云计算对象存储快速检索系统，很好地解决了在高效率云计算对象存储数据后，可以通过用户自定义查询条件快速在海量数据中进行检索和资源定位。

本发明所采用的技术方案是：

一种基于云计算对象存储快速检索系统，该快速检索系统由业务规则配置系统和检索系统两部分构成，业务规则配置系统是检索系统的辅助系统，两者之间通过消息队列方式传递信号；而业务规则配置系统由系统管理模块、配置管理模块、参数管理模块和鉴权服务模块四部分组成；所述系统管理模块用于对外部业务系统的基本鉴权信息进行配置管理；所述配置管理模块提供了所能访问的资源权限和鉴权信息的配置管理；参数管理模块用于对系统参数的管理工作，为鉴权系统的公共信息进行参数化配置管理；鉴权服务模块用于对外部发起的请求进行安全验证和身份令牌发放工作，确保系统资源访问的安全性；所述系统配置管理模块为鉴权服务模块提供鉴权依据，而配置管理模块、参数管理模块和鉴权服务模块分别对所述快速检索系统独立提供服务；所述检索系统是为外部业务系统提供资源数据存储和资源信息检索的能力，对外提供基于HTTPS安全协议的统一标准接口服务，对内采用消息队列方式进行模块间的数据通信和数据共享；而检索系统主要由资源检索服务模块、算法配置模块、资源注册服务模块、资源上传服务模块、目录查询服务模块、服务调度模块和统一接口路由服务模块构成；资源检索服务模块主要提供资源检索和排序功能；算法配置模块主要用于对KD树检索相关算法参数的配置和管理，为资源检索提供算法依据；资源注册服务模块主要用于资源上传时对资源基本信息进行资源KD树索引建立；资源上传服务模块提供了资源上传接口服务；目录查询服务模块主要提供了对资源目录的查询服务，方便资源的管理和排列；服务调度模块负责协调各个服务模块间的工作协同和服务负载动态平衡；统一接口路由服务模块为所述快速检索系统提供统一入口和路由选择服务，可进行访问控制和非法请求的过滤。

所述算法配置模块中的算法包括：近邻法、二分法或相似性检索法。

所述资源检索服务模块提供资源模糊搜索通过关键词和关键字并根据算法配置模块配置的检索算法进行快速检索的功能。

本发明的有益效果是：

本发明主要建立在云计算对象存储之上，是一种通过对上传资源信息构造KD树进行快速检索的系统。KD树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。将资源检索信息树存储于共享内存中，通过搜索KD树的方法进行数据快速检索。本发明通过在云计算对象存储应用层面增加检索系统很好的解决了用户复杂检索的需求，提升了资源数据检索的准确率和查询效率。

附图说明

图1是本发明分析框架示意图；

图2是本发明业务调度示意图；

图3是本发明数据流转示意图。

具体实施方式

下面结合附图对本发明及其效果作进一步说明。

本发明是采用云计算对象存储技术进行底层数据存储，在云计算对象存储之上通过构建上层应用有效解决用户复杂检索的业务需求。对象存储系统（Object-BasedStorage System）是综合了NAS（网络附属存储）和SAN（存储区域网络）的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。

如图1所示，从系统架构的整体方面来说，云计算对象存储快速检索系统由两部分构成：业务规则配置系统和检索系统。其中业务规则配置系统是检索系统的辅助系统，主要提供了系统管理模块、配置管理模块、参数管理模块和鉴权服务模块四部分。系统管理模块主要提供了，对外部系统的管理，对外部业务系统的基本鉴权信息进行配置管理，为鉴权服务提供鉴权依据。配置管理模块提供了所能访问的资源权限和鉴权信息的配置管理。资源权限是指资源虚拟路径和资源上传、下载和查询的权限。参数管理模块主要提供了对系统参数的管理工作，为鉴权系统的公共信息进行参数化配置管理。鉴权服务模块为系统提供了安全保障，对外部发起的请求进行安全验证和身份令牌发放工作，确保系统资源访问的安全性。检索系统是为外部业务系统提供资源数据存储和资源信息检索的能力。对外提供基于HTTPS安全协议的统一标准接口服务，对内采用消息队列方式进行模块间的数据通信和数据共享。主要构成模块有：资源检索服务模块、算法配置模块模块、资源注册服务模块、资源上传服务模块、目录查询服务模块、服务调度模块和统一接口路由服务模块。资源检索服务模块主要提供资源检索和排序功能。提供资源模糊搜索通过关键词和关键字根据算法配置模块配置的检索算法进行快速检索的功能。算法配置模块主要对KD树检索相关算法参数的配置和管理，算法包括：近邻法、二分法、相似性检索法等，为资源检索提供算法依据。资源注册服务模块主要用于资源上传时对资源基本信息进行资源KD树索引建立。资源上传服务模块提供了资源上传接口服务，当收到合法的资源上传请求时，通过异步现成调用资源注册服务进行资源信息注册，同时对请求上传的资源在对象存储中进行存储的功能。目录查询服务模块主要提供了对资源目录的查询服务，对资源检索起到辅助作用，主要目的为方便资源的管理和排列。服务调度模块负责协调各个服务模块间的工作协同和服务负载动态平衡。统一接口路由服务模块提供了统一入口和路由选择服务，可进行访问控制和非法请求的过滤。访问控制是通过路由规则进行判断将路由至哪个服务器的哪个服务。主要通过客户端的IP地址和请求参数进行确定。客户端IP地址可用于选择客户端请求服务效率最高速度最快的服务地址，通过请求参数确定服务的最终地址。

上述消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。

图2是本发明的内部模块服务调用示意图。本发明提供的统一标准接口服务，提供了资源存储或资源检索功能。检索系统通过统一接口路由服务模块进行路由识别和转发，由鉴权服务模块进行安全性识别，并配发统一身份识别代码。认证鉴权成功后，通知统一接口路由服务模块，并返回统一身份识别代码。统一接口路由服务模块将统一身份识别代码组装后转发路由请求至资源上传服务模块或资源检索服务模块。资源上传服务模块或资源检索服务模块通过内部消息队列确认身份认证后，对外提供服务。

通过上述的业务调度流程确保了服务模块间调用的安全性。通过共享内存技术和消息队列技术确保了数据的高效传输和共享。

图3是本发明数据流转示意图，主要描述了整个系统体系业务数据的流转方向。确保了业务数据从请求到响应形成了完整的闭环，使得各个环节能够分工明确，业务流转清晰可见。资源上传流程：1、用户登录／成册成功后，选择资源文件的上传；2、第三方业务系统接受到上传请求后，通过业务规则构造鉴权信息和封装业务数据，转发至云计算对象存储快速检索系统的统一接口路由服务模块；3、统一接口路由服务模块根据配置规则将信息转发至鉴权服务模块，鉴权成功后，路由至资源上传服务模块；4、资源上传服务模块处理资源上传请求，并返回上传结果和进度结果；5、第三方业务系统收到响应后，展现结果。资源检索流程：1、用户登录／注册成功后，在第三方业务系统的资源检索界面输入检索条件，并进行检索；2、第三方业务系统收到检索请求后，通过构造鉴权信息和封装业务数据，转发至检索系统的统一接口路由服务模块；3、统一接口路由服务模块根据配置规则将信息转发至鉴权服务模块，鉴权成功后，路由至资源检索服务模块；4、资源检索服务模块根据检索算法在KD树进行资源检索，成功后返回检索结果；5、第三方业务系统受到响应后，展现资源检索结果。

本发明主要是建立在云计算对象存储之上，通过对上传资源信息构造KD树进行快速检索的系统。KD树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。将资源检索信息树存储于共享内存中，通过搜索KD树的方法进行数据快速检索，为用户提供直观有效的资源索引，方便用户快速检索和查询资源数据。k近邻法中的分类决策规则往往是多数表决，即由输入实例的k个邻近的训练实例中的多数类决定输入实例的类。如果分类的损失函数为0-1损失分类，分类函数为：，那么误分类的概率是对给定的实例，其最近邻的k个训练实例点构成集合。如果涵盖的区域的类别是，那么误分类率是要使误分类率最小即经验风险最小，就要使最大，因此需要经验风险最小化。通过应用分类决策规则公式对资源数据进行按资源日期和资源类型特征向量进行分类后，建立KD树，通过给定一个目标点，搜索近邻节点资源，从而达到资源快速检索的目的。

本发明针对综合办公附件系统的具体实例为：步骤一，在业务规则配置系统的系统管理模块中建立综合办公附件系统鉴权信息；步骤二，在业务规则配置系统配置管理模块完成对综合办公附件系统的相关配置，主要有：特征码配置、权限配置等；步骤三，在综合办公附件系统中配置并完成检索系统的地址和集成接口服务的客户端，并在相应的业务代码中进行调用；步骤四，通过综合办公系统的用户登录后，对资源文件进行上传、检索、下载等动作；步骤五，从检索系统管理界面可以查看到当前用户的操作和进度及耗时，从日志模块中可以查看到该用户的查询请求的路径及请求资源相关信息。步骤六，从综合办公附件系统进行附件资源分析检索与给定的附件相关的附件列表。步骤七，检索系统通过鉴权后，根据检索需求获取检索算法，根据检索算法在KD树中进行数据检索查询相关附件信息，并返回结果至综合办公附件系统。

Claims (3)

1.一种基于云计算对象存储快速检索系统，其特征在于：该快速检索系统由业务规则配置系统和检索系统两部分构成，业务规则配置系统是检索系统的辅助系统，两者之间通过消息队列方式传递信号；而业务规则配置系统由系统管理模块、配置管理模块、参数管理模块和鉴权服务模块四部分组成；所述系统管理模块用于对外部业务系统的基本鉴权信息进行配置管理；所述配置管理模块提供了所能访问的资源权限和鉴权信息的配置管理；参数管理模块用于对系统参数的管理工作，为鉴权系统的公共信息进行参数化配置管理；鉴权服务模块用于对外部发起的请求进行安全验证和身份令牌发放工作，确保系统资源访问的安全性；所述系统配置管理模块为鉴权服务模块提供鉴权依据，而配置管理模块、参数管理模块和鉴权服务模块分别对所述快速检索系统独立提供服务；所述检索系统是为外部业务系统提供资源数据存储和资源信息检索的能力，对外提供基于HTTPS安全协议的统一标准接口服务，对内采用消息队列方式进行模块间的数据通信和数据共享；而检索系统主要由资源检索服务模块、算法配置模块、资源注册服务模块、资源上传服务模块、目录查询服务模块、服务调度模块和统一接口路由服务模块构成；资源检索服务模块主要提供资源检索和排序功能；算法配置模块主要用于对KD树检索相关算法参数的配置和管理，为资源检索提供算法依据；资源注册服务模块主要用于资源上传时对资源基本信息进行资源KD树索引建立；资源上传服务模块提供了资源上传接口服务；目录查询服务模块主要提供了对资源目录的查询服务，方便资源的管理和排列；服务调度模块负责协调各个服务模块间的工作协同和服务负载动态平衡；统一接口路由服务模块为所述快速检索系统提供统一入口和路由选择服务，可进行访问控制和非法请求的过滤。

2.根据权利要求1所述的一种基于云计算对象存储快速检索系统，其特征在于：所述算法配置模块中的算法包括：近邻法、二分法或相似性检索法。

3.根据权利要求1所述的一种基于云计算对象存储快速检索系统，其特征在于：所述资源检索服务模块提供资源模糊搜索通过关键词和关键字并根据算法配置模块配置的检索算法进行快速检索的功能。