CN110716897A - 一种基于云计算的海洋档案数据库并行化构建方法和装置 - Google Patents

Abstract

本发明请求保护的基于云计算的海洋档案数据库并行化构建方法和装置，通过对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案，采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件并解析；最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；该方法有效的解决了当前海洋档案管理混乱的问题，采用并行化数据库的手段，同时，对于海洋档案的管理采用动态数据和静态数据分离，准确动态分析和静态分析海洋档案数据相结合，此外，可视化展示海洋档案数据内容也是本发明的一大特点。

Description

一种基于云计算的海洋档案数据库并行化构建方法和装置

技术领域

本发明涉及档案管理技术领域，具体而言，涉及一种基于云计算的海洋档案数据库并行化构建方法和装置。

背景技术

海洋档案是海洋工作各项活动的记录和凭证，它包括国家机构、社会组织和个人，在从事海洋的管理、科研调查、资源开发、公益服务、对外合作与交流以及海洋部门党政工作等活动中直接形成的，对国家及社会有保存价值的各种文字、图表、声像等不同形式的原始的历史记录。

随着档案管理工作和信息化的逐步深入，现有信息化建设无法满足海洋档案业务发展需要，具体表现在以下几个方面：首先，数字化资源建设基础薄弱。现有档案均为实体档案进馆保存，借阅多为实体方式，数字化档案资源较少，更多的海洋档案资源无法进行有效利用。其次，档案管理系统功能单一。现有档案管理系统功能上偏重于档案的管理和保存，利用功能相对欠缺；随着档案类型的增加，系统尚无针对新类型档案的管理和利用功能。再次，档案资源实时共享受限。现有系统与综合业务平台、其他应用系统之间无法进行互联，形成了信息孤岛。

因此，为解决当前海洋档案信息化不充分，档案类型管理混乱以及海洋动态档案的动态管理缺失问题，本发明保护一种基于云计算的海洋档案数据库并行化构建方法和装置。

发明内容

有鉴于此，本发明请求保护一种基于云计算的海洋档案数据库并行化构建方法和装置，力图解决当前海洋档案信息化管理混乱，信息化数据动态并行化管理缺失的问题。

本发明首先保护一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案；

基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件；

解析所述并行化接口文件，并行化接口文件的动作数据特征值经过Mapreduce 进行数据预处理之后存储，动作数据发生时间通过 Mapreduce 程序移交到数据库检查所述并行化接口文件是否符合规格，并且检查数字签名，检定真伪和完整性，如果符合系统会根据档案信息包模板生成 XML 格式的档案信息包行保存；

从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息；

调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割；

釆用SN的体系结构以及实现模型为扩充模型，根据自测系统和各个数据分布方法的特点, Round-Robin法对数据对象进行分布并设计实现，优化策略对底层的每一个参与算法的信号处理函数库进行优化，最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；

进行海洋档案数据库可视化管理和虚拟数据库建设，利用三维建模技术，将海洋档案数据库建模的结果嵌入到海洋档案数据库中，最终实现用户利用档案时即可进行智慧海洋档案数据库管理。

同时，本发明还请求保护一种基于云计算的海洋档案数据库并行化构建装置，其特征在于，包括：

聚类模块：对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案；

接口设计模块：基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件；

解析模块：解析所述并行化接口文件，并行化接口文件的动作数据特征值经过Mapreduce 进行数据预处理之后存储，动作数据发生时间通过 Mapreduce 程序移交到数据库检查所述并行化接口文件是否符合规格，并且检查数字签名，检定真伪和完整性，如果符合系统会根据档案信息包模板生成 XML 格式的档案信息包行保存；

响应模块：从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息；

任务处理模块：调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割；

釆用SN的体系结构以及实现模型为扩充模型，根据自测系统和各个数据分布方法的特点, Round-Robin法对数据对象进行分布并设计实现，优化策略对底层的每一个参与算法的信号处理函数库进行优化，最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；

可视化模块：进行海洋档案数据库可视化管理和虚拟数据库建设，利用三维建模技术，将海洋档案数据库建模的结果嵌入到海洋档案数据库中，最终实现用户利用档案时即可进行智慧海洋档案数据库管理。

本发明请求保护的基于云计算的海洋档案数据库并行化构建方法和装置，通过对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案，采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件并解析；最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；该方法有效的解决了当前海洋档案管理混乱的问题，采用并行化数据库的手段，同时，对于海洋档案的管理采用动态数据和静态数据分离，准确动态分析和静态分析海洋档案数据相结合，此外，可视化展示海洋档案数据内容也是本发明的一大特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

附图1为本发明所涉及的基于云计算的海洋档案数据库并行化构建方法的工作流程图；

附图2为本发明所涉及的基于云计算的海洋档案数据库并行化构建装置的结构模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照附图1，本发明所涉及的基于云计算的海洋档案数据库并行化构建方法的工作流程图；

本发明首先保护一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案；

基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件；

解析所述并行化接口文件，并行化接口文件的动作数据特征值经过Mapreduce 进行数据预处理之后存储，动作数据发生时间通过 Mapreduce 程序移交到数据库检查所述并行化接口文件是否符合规格，并且检查数字签名，检定真伪和完整性，如果符合系统会根据档案信息包模板生成 XML 格式的档案信息包行保存；

从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息；

调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割；

釆用SN的体系结构以及实现模型为扩充模型，根据自测系统和各个数据分布方法的特点, Round-Robin法对数据对象进行分布并设计实现，优化策略对底层的每一个参与算法的信号处理函数库进行优化，最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；

进行海洋档案数据库可视化管理和虚拟数据库建设，利用三维建模技术，将海洋档案数据库建模的结果嵌入到海洋档案数据库中，最终实现用户利用档案时即可进行智慧海洋档案数据库管理。

进一步地，所述对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案，具体包括：

静态性档案主要包括：静态型数据挖掘技术指的是利用静态的行为将数据中存在的规则进行静态，从而根据数据的微观性特点找出数据存在的深层次的、宏观的知识，并将同一类事物的相同属性表现在数据的概括总结以及抽象的事物静态中；

动态性档案数据主要是指针对现有的、已存在的数据进行分析处理，总结出同一类事物的共同属性，并动态在未来一段时间内事物的规律，包括针对海洋专业数据中的风、浪、潮、流，通过专用的模型对历史资料进行分析动态；

进一步地，所述静态性档案还包括：高校海洋档案和海洋机关档案，

所述高校海洋档案包括：学校主题档案，针对多个海洋高校进行校史主题档案构建，反映海洋类高校发展事件及名人的照片、手稿、实物的主线；人物档案，包括各高校人才团队档案和知名专家学者、优秀学子、校友形成的档案；教学成果主题档案，教学成果档案涵盖了高校海洋教学、管理等各项活动的所有记录；科技成果主题档案，海洋科技成果档案收集了各高校专家、学者从事科学研究的各个阶段的资料；媒体宣传档案，运用现代信息、网络技术工具，抓住新闻媒体贴近公众生活的特点，通过图文并茂的载体形式，挖掘整理高校与海洋相关的各个专题；多媒体档案主题，涉及高校的历史演变、社会实践、科学技术方面，通过采访老教师、老专家、老船员以声像磁带为档案载体；

多媒体电子档案结构元数据。视音频文件结构非常复杂，由视频的帧序列与音频构成，二者能够合成为一个整体，也可以分开存在。视频与音频的编码结构各不相同,因此，要就视频、音频文件分别确定结构元数据。录像电子档案元数据方案设置了视音频描述元数据，其下设文件大小、格式、视频参数、音频参数等元数据。视频参数包括视频编码标准、色彩空间、帧大小、帧速率、视频比特率、视频采样精度等 8 个子元素；音频参数包括音频编码标准、音频比特率、音频采样率、音频采样精度等 5 个子元素。其中最重要的是编码标准，其决定着视音频文件内部的逻辑结构。录像档案可以通过读取电子文件的头信息，提取文件对应的元数据标。

所述海洋机关产生的档案包括海洋机关文书档案、海洋科技档案，细分为海洋观测档案、海洋预报档案、海洋监测档案、海洋调查档案、海洋遥感卫星档案、海洋专项档案、海洋课题档案、海洋执法档案、海洋成果档案、海洋基建档案、人事档案、声像档案；

针对数据类型和特点将海洋科技档案资料分为指令性项目、开发服务项目、仪器设备、声像和实物类, 各大类数据又细分为若干子类；依据数据分类规则, 创建数据字典, 编制分类代码, 开发数据字典管理模块, 便于对数据类别名称和代码的管理和维护。

优选的，所述基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件，具体包括：

HDFS将输出写入到本地Linux文件系统中,而不是HDFS,对于并行化接口文件,写Map的输出结果到并行化接口文件系统上,Map输出的条目可以被序列化到一个告诉缓冲区中,同时相关元数据也可以存储在对应的缓冲区内；

实时向 hadoop 集群发送请求，查询MapReduce 函数的执行状态，并以进度条的方式向用户展示任务执行的百分比；

当序列化数据缓存或者元数据缓存超过了之前规定的阈值,所有缓冲区的内容会通过后台处理线程存储到磁盘中,而Map同时继续输出处理记录；

根据负载均衡策略将大的 SQL 指令分割成多个分块，ResourceManager根据MapReduce 框架的调度机制将各个分块分发到相应的所述并行化接口文件节点上，并对分块中的明文 SQL 进行字段提取，最后调用所述并行化接口文件系统对数据进行加密如果该缓冲区数据填充完毕同时混合处理正在进行,则Map线程会被阻塞住；

当Map完成后,任何保留的记录都会被写入到磁盘,并且所有磁盘上的数据段都会被合并到单个文件中。

从 Hadoop 文件系统中读取文件，可以使用 java.net.URL 对象打开数据流，进而从中读取数据，这里采用的方法是通过 FsURLStreamHandlerFactory 实例调用URL 中的 setURLStreamHandlerFactory 方法。FileSystem 类有一系列创建文件的方法。方法是给准备创建的文件制定一个 path 对象，然后返回一个用于写入数据的输出流：publicFSDataOutputSteam create（path f） throws IOException。

进一步地，所述从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息，具体包括：

MapReduce框架将 key值相同的中间结果按照 HTTP 协议传给一个特定的reduce类对其进行处理，随后框架会执行 Sort 或者 Shuffle 功能，目的就是将来自不同的 map但key 值相同的键值对排序后组成 key 值和元素列表，然后将 key 值和元素列表传给Reduce 类进行操作；

控制履行应用组件元数据请求,与元数据组件通信,并使用专门的元数据协议，包括轻量级目录访问协议、基于数据库的命名空间服务；

在Hadoop集群的namenode节点上部署hdfs-webdav.war协议包,将HDFS成功挂载到linux本地操作完成后得到的结果会被保存在 HDFS 中，其路径先前在程序中已经设置；

通过隔离多版本OSD协议请求响应和故障恢复语义,并重用远程过程调用消息格式来实现多版本协议栈；过程调用参数与命令数据块中除命定以外的部分对应,并按照数据交换方向划分为远程过程调用请求与响应参数。

优选的，所述调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割，包括：

用户通过客户端连接到所述并行化接口文件，所述并行化接口文件随后开始初始化，同时 Sql 发送初始化请求，搜索元数据表，Sql 初始化，返回元数据表；

随后用户通过客户端提交明文 SQL，加密数据库接收到未加密后的 SQL 语句，通过语法树对 SQL 语句进行分词，获取关键词，随后使用对称加密算法对关键词进行加密；

待加密的 SQL 传给所述并行化接口文件时，先通过 Sql Proxy 对原始的明文 SQL进行拦截，再对关键字进行加密，形成密文 SQL后，发送到 Sql 数据库执行保存；

SQL 语句被加密改写成密文SQL后提交到Sql数据库，执行完SQL 语句之后，Sql 数据库返回执行结果或状态，所述并行化接口文件接收到加密的返回结果后，将数据解密成明文，返回给客户端。

参照附图2，本发明所涉及的基于云计算的海洋档案数据库并行化构建装置的结构模块图；

本发明还请求保护6.一种基于云计算的海洋档案数据库并行化构建装置，其特征在于，包括：

聚类模块：对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案；

接口设计模块：基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件；

解析模块：解析所述并行化接口文件，并行化接口文件的动作数据特征值经过Mapreduce 进行数据预处理之后存储，动作数据发生时间通过 Mapreduce 程序移交到数据库检查所述并行化接口文件是否符合规格，并且检查数字签名，检定真伪和完整性，如果符合系统会根据档案信息包模板生成 XML 格式的档案信息包行保存；

响应模块：从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息；

任务处理模块：调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割；

釆用SN的体系结构以及实现模型为扩充模型，根据自测系统和各个数据分布方法的特点, Round-Robin法对数据对象进行分布并设计实现，优化策略对底层的每一个参与算法的信号处理函数库进行优化，最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；

可视化模块：进行海洋档案数据库可视化管理和虚拟数据库建设，利用三维建模技术，将海洋档案数据库建模的结果嵌入到海洋档案数据库中，最终实现用户利用档案时即可进行智慧海洋档案数据库管理。

进一步地，所述聚类模块：对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案，具体包括：

静态性档案主要包括：静态型数据挖掘技术指的是利用静态的行为将数据中存在的规则进行静态，从而根据数据的微观性特点找出数据存在的深层次的、宏观的知识，并将同一类事物的相同属性表现在数据的概括总结以及抽象的事物静态中；

动态性档案数据主要是指针对现有的、已存在的数据进行分析处理，总结出同一类事物的共同属性，并动态在未来一段时间内事物的规律，包括针对海洋专业数据中的风、浪、潮、流，通过专用的模型对历史资料进行分析动态；

进一步地，所述静态性档案还包括：高校海洋档案和海洋机关档案，

所述高校海洋档案包括：学校主题档案，针对多个海洋高校进行校史主题档案构建，反映海洋类高校发展历史、重大事件及名人的照片、手稿、实物的主线；人物档案，包括各高校人才团队档案和知名专家学者、优秀学子、校友形成的档案；教学成果主题档案，教学成果档案涵盖了高校海洋教学、管理等各项活动的所有记录；科技成果主题档案，海洋科技成果档案收集了各高校专家、学者从事科学研究的各个阶段的资料；媒体宣传档案，运用现代信息、网络技术工具，抓住新闻媒体贴近公众生活的特点，通过图文并茂的载体形式，挖掘整理高校与海洋相关的各个专题；多媒体档案主题，涉及高校的历史演变、社会实践、科学技术方面，通过采访老教师、老专家、老船员以声像磁带为档案载体；

所述海洋机关产生的档案包括海洋机关文书档案、海洋科技档案，细分为海洋观测档案、海洋预报档案、海洋监测档案、海洋调查档案、海洋遥感卫星档案、海洋专项档案、海洋课题档案、海洋执法档案、海洋成果档案、海洋基建档案、人事档案、声像档案；

针对数据类型和特点将海洋科技档案资料分为指令性项目、开发服务项目、仪器设备、声像和实物类, 各大类数据又细分为若干子类；依据数据分类规则, 创建数据字典, 编制分类代码, 开发数据字典管理模块, 便于对数据类别名称和代码的管理和维护。

优选的，所述接口设计模块：基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件，具体包括：

HDFS将输出写入到本地Linux文件系统中,而不是HDFS,对于并行化接口文件,写Map的输出结果到并行化接口文件系统上,Map输出的条目可以被序列化到一个告诉缓冲区中,同时相关元数据也可以存储在对应的缓冲区内；

实时向 hadoop 集群发送请求，查询MapReduce 函数的执行状态，并以进度条的方式向用户展示任务执行的百分比；

当序列化数据缓存或者元数据缓存超过了之前规定的阈值,所有缓冲区的内容会通过后台处理线程存储到磁盘中,而Map同时继续输出处理记录；

根据负载均衡策略将大的 SQL 指令分割成多个分块，ResourceManager根据MapReduce 框架的调度机制将各个分块分发到相应的所述并行化接口文件节点上，并对分块中的明文 SQL 进行字段提取，最后调用所述并行化接口文件系统对数据进行加密如果该缓冲区数据填充完毕同时混合处理正在进行,则Map线程会被阻塞住；

当Map完成后,任何保留的记录都会被写入到磁盘,并且所有磁盘上的数据段都会被合并到单个文件中。

进一步地，所述响应模块：从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息，具体包括：

MapReduce框架将 key值相同的中间结果按照 HTTP 协议传给一个特定的reduce类对其进行处理，随后框架会执行 Sort 或者 Shuffle 功能，目的就是将来自不同的 map但key 值相同的键值对排序后组成 key 值和元素列表，然后将 key 值和元素列表传给Reduce 类进行操作；

控制履行应用组件元数据请求,与元数据组件通信,并使用专门的元数据协议，包括轻量级目录访问协议、基于数据库的命名空间服务；

在Hadoop集群的namenode节点上部署hdfs-webdav.war协议包,将HDFS成功挂载到linux本地操作完成后得到的结果会被保存在 HDFS 中，其路径先前在程序中已经设置；

通过隔离多版本OSD协议请求响应和故障恢复语义,并重用远程过程调用消息格式来实现多版本协议栈；过程调用参数与命令数据块中除命定以外的部分对应,并按照数据交换方向划分为远程过程调用请求与响应参数。

优选的，所述任务处理模块：调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割，具体包括：

用户通过客户端连接到所述并行化接口文件，所述并行化接口文件随后开始初始化，同时 Sql 发送初始化请求，搜索元数据表，Sql 初始化，返回元数据表；

随后用户通过客户端提交明文 SQL，加密数据库接收到未加密后的 SQL 语句，通过语法树对 SQL 语句进行分词，获取关键词，随后使用对称加密算法对关键词进行加密；

待加密的 SQL 传给所述并行化接口文件时，先通过 Sql Proxy 对原始的明文 SQL进行拦截，再对关键字进行加密，形成密文 SQL后，发送到 Sql 数据库执行保存；

SQL 语句被加密改写成密文SQL后提交到Sql数据库，执行完SQL 语句之后，Sql 数据库返回执行结果或状态，所述并行化接口文件接收到加密的返回结果后，将数据解密成明文，返回给客户端。

上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案；

基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件；

解析所述并行化接口文件，并行化接口文件的动作数据特征值经过Mapreduce 进行数据预处理之后存储，动作数据发生时间通过 Mapreduce 程序移交到数据库检查所述并行化接口文件是否符合规格，并且检查数字签名，检定真伪和完整性，如果符合系统会根据档案信息包模板生成 XML 格式的档案信息包行保存；

从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息；

调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割；

釆用SN的体系结构以及实现模型为扩充模型，根据自测系统和各个数据分布方法的特点, Round-Robin法对数据对象进行分布并设计实现，优化策略对底层的每一个参与算法的信号处理函数库进行优化，最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；

进行海洋档案数据库可视化管理和虚拟数据库建设，利用三维建模技术，将海洋档案数据库建模的结果嵌入到海洋档案数据库中，最终实现用户利用档案时即可进行智慧海洋档案数据库管理。

2.如权利要求1所述的基于云计算的海洋档案数据库并行化构建方法，其特征在于：

所述对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案，具体包括：

静态性档案主要包括：静态型数据挖掘技术指的是利用静态的行为将数据中存在的规则进行静态，从而根据数据的微观性特点找出数据存在的深层次的、宏观的知识，并将同一类事物的相同属性表现在数据的概括总结以及抽象的事物静态中；

动态性档案数据主要是指针对现有的、已存在的数据进行分析处理，总结出同一类事物的共同属性，并动态在未来一段时间内事物的规律，包括针对海洋专业数据中的风、浪、潮、流，通过专用的模型对历史资料进行分析动态；

进一步地，所述静态性档案还包括：高校海洋档案和海洋机关档案，

所述高校海洋档案包括：学校主题档案，针对多个海洋高校进行校史主题档案构建，反映海洋类高校发展事件及名人的照片、手稿、实物的主线；人物档案，包括各高校人才团队档案和知名专家学者、优秀学子、校友形成的档案；教学成果主题档案，教学成果档案涵盖了高校海洋教学、管理等各项活动的所有记录；科技成果主题档案，海洋科技成果档案收集了各高校专家、学者从事科学研究的各个阶段的资料；媒体宣传档案，运用现代信息、网络技术工具，抓住新闻媒体贴近公众生活的特点，通过图文并茂的载体形式，挖掘整理高校与海洋相关的各个专题；多媒体档案主题，涉及高校的历史演变、社会实践、科学技术方面，通过采访老教师、老专家、老船员以声像磁带为档案载体；

所述海洋机关产生的档案包括海洋机关文书档案、海洋科技档案，细分为海洋观测档案、海洋预报档案、海洋监测档案、海洋调查档案、海洋遥感卫星档案、海洋专项档案、海洋课题档案、海洋执法档案、海洋成果档案、海洋基建档案、人事档案、声像档案；

针对数据类型和特点将海洋科技档案资料分为指令性项目、开发服务项目、仪器设备、声像和实物类, 各大类数据又细分为若干子类；依据数据分类规则, 创建数据字典, 编制分类代码, 开发数据字典管理模块, 便于对数据类别名称和代码的管理和维护。

3.如权利要求1所述的一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

所述基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件，具体包括：

HDFS将输出写入到本地Linux文件系统中,而不是HDFS,对于并行化接口文件,写Map的输出结果到并行化接口文件系统上,Map输出的条目可以被序列化到一个告诉缓冲区中,同时相关元数据也可以存储在对应的缓冲区内；

实时向 hadoop 集群发送请求，查询MapReduce 函数的执行状态，并以进度条的方式向用户展示任务执行的百分比；

当序列化数据缓存或者元数据缓存超过了之前规定的阈值,所有缓冲区的内容会通过后台处理线程存储到磁盘中,而Map同时继续输出处理记录；

根据负载均衡策略将大的 SQL 指令分割成多个分块，ResourceManager根据MapReduce 框架的调度机制将各个分块分发到相应的所述并行化接口文件节点上，并对分块中的明文 SQL 进行字段提取，最后调用所述并行化接口文件系统对数据进行加密如果该缓冲区数据填充完毕同时混合处理正在进行,则Map线程会被阻塞住；

当Map完成,任何保留的记录都会被写入到磁盘,并且所有磁盘上的数据段都会被合并到单个文件中。

4.如权利要求1所述的一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

所述从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息，具体包括：

MapReduce框架将 key值相同的中间结果按照 HTTP 协议传给一个特定的reduce类对其进行处理，随后框架会执行 Sort 或者 Shuffle 功能，目的就是将来自不同的 map但key 值相同的键值对排序后组成 key 值和元素列表，然后将 key 值和元素列表传给Reduce 类进行操作；

控制履行应用组件元数据请求,与元数据组件通信,并使用专门的元数据协议，包括轻量级目录访问协议、基于数据库的命名空间服务；

在Hadoop集群的namenode节点上部署hdfs-webdav.war协议包,将HDFS成功挂载到linux本地操作完成后得到的结果会被保存在 HDFS 中，其路径先前在程序中已经设置；

通过隔离多版本OSD协议请求响应和故障恢复语义,并重用远程过程调用消息格式来实现多版本协议栈；过程调用参数与命令数据块中除命定以外的部分对应,并按照数据交换方向划分为远程过程调用请求与响应参数。

5.如权利要求1所述的一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

所述调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割，包括：

用户通过客户端连接到所述并行化接口文件，所述并行化接口文件随后开始初始化，同时 Sql 发送初始化请求，搜索元数据表，Sql 初始化，返回元数据表；

随后用户通过客户端提交明文 SQL，加密数据库接收到未加密后的 SQL 语句，通过语法树对 SQL 语句进行分词，获取关键词，随后使用对称加密算法对关键词进行加密；

待加密的 SQL 传给所述并行化接口文件时，先通过 Sql Proxy 对原始的明文 SQL进行拦截，再对关键字进行加密，形成密文 SQL后，发送到 Sql 数据库执行保存；

SQL 语句被加密改写成密文SQL后提交到Sql数据库，执行完SQL 语句之后，Sql 数据库返回执行结果或状态，所述并行化接口文件接收到加密的返回结果后，将数据解密成明文，返回给客户端。

6.一种基于云计算的海洋档案数据库并行化构建装置，其特征在于，包括：

聚类模块：对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案；

接口设计模块：基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件；

解析模块：解析所述并行化接口文件，并行化接口文件的动作数据特征值经过Mapreduce 进行数据预处理之后存储，动作数据发生时间通过 Mapreduce 程序移交到数据库检查所述并行化接口文件是否符合规格，并且检查数字签名，检定真伪和完整性，如果符合系统会根据档案信息包模板生成 XML 格式的档案信息包行保存；

响应模块：从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息；

任务处理模块：调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割；

釆用SN的体系结构以及实现模型为扩充模型，根据自测系统和各个数据分布方法的特点, Round-Robin法对数据对象进行分布并设计实现，优化策略对底层的每一个参与算法的信号处理函数库进行优化，最终得到一个完整的底层多核并行优化数据库，该数据库作为海洋档案的数据库进行算法的工程化移植；

可视化模块：进行海洋档案数据库可视化管理和虚拟数据库建设，利用三维建模技术，将海洋档案数据库建模的结果嵌入到海洋档案数据库中，最终实现用户利用档案时即可进行智慧海洋档案数据库管理。

7.如权利要求6所述的基于云计算的海洋档案数据库并行化构建装置，其特征在于：

所述聚类模块：对海洋档案进行聚类划分，将所述海洋档案构建成多个数据库分区，将海洋档案分为静态性档案和动态性档案，具体包括：

静态性档案主要包括：静态型数据挖掘技术指的是利用静态的行为将数据中存在的规则进行静态，从而根据数据的微观性特点找出数据存在的深层次的、宏观的知识，并将同一类事物的相同属性表现在数据的概括总结以及抽象的事物静态中；

动态性档案数据主要是指针对现有的、已存在的数据进行分析处理，总结出同一类事物的共同属性，并动态在未来一段时间内事物的规律，包括针对海洋专业数据中的风、浪、潮、流，通过专用的模型对历史资料进行分析动态；

进一步地，所述静态性档案还包括：高校海洋档案和海洋机关档案，

所述高校海洋档案包括：学校主题档案，针对多个海洋高校进行校史主题档案构建，反映海洋类高校发展历史、重大事件及名人的照片、手稿、实物的主线；人物档案，包括各高校人才团队档案和知名专家学者、优秀学子、校友形成的档案；教学成果主题档案，教学成果档案涵盖了高校海洋教学、管理等各项活动的所有记录；科技成果主题档案，海洋科技成果档案收集了各高校专家、学者从事科学研究的各个阶段的资料；媒体宣传档案，运用现代信息、网络技术工具，抓住新闻媒体贴近公众生活的特点，通过图文并茂的载体形式，挖掘整理高校与海洋相关的各个专题；多媒体档案主题，涉及高校的历史演变、社会实践、科学技术方面，通过采访老教师、老专家、老船员以声像磁带为档案载体；

所述海洋机关产生的档案包括海洋机关文书档案、海洋科技档案，细分为海洋观测档案、海洋预报档案、海洋监测档案、海洋调查档案、海洋遥感卫星档案、海洋专项档案、海洋课题档案、海洋执法档案、海洋成果档案、海洋基建档案、人事档案、声像档案；

针对数据类型和特点将海洋科技档案资料分为指令性项目、开发服务项目、仪器设备、声像和实物类, 各大类数据又细分为若干子类；依据数据分类规则, 创建数据字典, 编制分类代码, 开发数据字典管理模块, 便于对数据类别名称和代码的管理和维护。

8.如权利要求6所述的一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

所述接口设计模块：基于HBase的虚拟过滤云数据库进行并行化接口设计，将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析，导出并行化接口文件，具体包括：

HDFS将输出写入到本地Linux文件系统中,而不是HDFS,对于并行化接口文件,写Map的输出结果到并行化接口文件系统上,Map输出的条目可以被序列化到一个告诉缓冲区中,同时相关元数据也可以存储在对应的缓冲区内；

实时向 hadoop 集群发送请求，查询MapReduce 函数的执行状态，并以进度条的方式向用户展示任务执行的百分比；

当序列化数据缓存或者元数据缓存超过了之前规定的阈值,所有缓冲区的内容会通过后台处理线程存储到磁盘中,而Map同时继续输出处理记录；

根据负载均衡策略将大的 SQL 指令分割成多个分块，ResourceManager根据MapReduce 框架的调度机制将各个分块分发到相应的所述并行化接口文件节点上，并对分块中的明文 SQL 进行字段提取，最后调用所述并行化接口文件系统对数据进行加密如果该缓冲区数据填充完毕同时混合处理正在进行,则Map线程会被阻塞住；

当Map完成,任何保留的记录都会被写入到磁盘,并且所有磁盘上的数据段都会被合并到单个文件中。

9.如权利要求6所述的一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

所述响应模块：从档案信息包提取保存静态信息中的目录信息，更新档案信息的案卷和卷内目录，采用远程过程调用协议服务，数据库视图中侦听消息，处理接收到的请求和可接收的响应消息，具体包括：

MapReduce框架将 key值相同的中间结果按照 HTTP 协议传给一个特定的reduce类对其进行处理，随后框架会执行 Sort 或者 Shuffle 功能，目的就是将来自不同的 map但key 值相同的键值对排序后组成 key 值和元素列表，然后将 key 值和元素列表传给Reduce 类进行操作；

控制履行应用组件元数据请求,与元数据组件通信,并使用专门的元数据协议，包括轻量级目录访问协议、基于数据库的命名空间服务；

在Hadoop集群的namenode节点上部署hdfs-webdav.war协议包,将HDFS成功挂载到linux本地操作完成后得到的结果会被保存在 HDFS 中，其路径先前在程序中已经设置；

通过隔离多版本OSD协议请求响应和故障恢复语义,并重用远程过程调用消息格式来实现多版本协议栈；过程调用参数与命令数据块中除命定以外的部分对应,并按照数据交换方向划分为远程过程调用请求与响应参数。

10.如权利要求6所述的一种基于云计算的海洋档案数据库并行化构建方法，其特征在于，包括：

所述任务处理模块：调用任务调度算法产生任务分配策略，并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割，具体包括：

用户通过客户端连接到所述并行化接口文件，所述并行化接口文件随后开始初始化，同时 Sql 发送初始化请求，搜索元数据表，Sql 初始化，返回元数据表；

随后用户通过客户端提交明文 SQL，加密数据库接收到未加密后的 SQL 语句，通过语法树对 SQL 语句进行分词，获取关键词，随后使用对称加密算法对关键词进行加密；

待加密的 SQL 传给所述并行化接口文件时，先通过 Sql Proxy 对原始的明文 SQL进行拦截，再对关键字进行加密，形成密文 SQL后，发送到 Sql 数据库执行保存；

SQL 语句被加密改写成密文SQL后提交到Sql数据库，执行完SQL 语句之后，Sql 数据库返回执行结果或状态，所述并行化接口文件接收到加密的返回结果后，将数据解密成明文，返回给客户端。

Images