CN109582756A - 非结构化源数据的云端自主逻辑归档方法 - Google Patents

Abstract

本发明涉及一种非结构化源数据的云端自主逻辑归档方法，其特征在于：根据非结构化数据的自然语言描述内容，云端存储系统即可对其作出自主逻辑归档处理，对非结构化数据的描述内容进行抽离处理，利用句法分词、语义分析、相似度比较等自然语言处理操作，并自动为其分配相关的分词标签、简短摘要；其解决了云端存储过程过分依赖于主观操作的现实问题、低效问题；有效地提高了云端存储系统对自然语言的理解能力，从而有利于非结构化数据的云端自主逻辑归档。

Description

非结构化源数据的云端自主逻辑归档方法

技术领域

本发明涉及一种非结构化源数据的云端自主逻辑归档方法，属于非结构化数据云存储技术领域。

背景技术

云存储以数据存储和管理服务为核心单元，利用集群部署、分布式文件系统、异构整合、网络互连等技术手段构造存储环境，通过开放API、RESTful或Web Service接口的形式对外提供存储服务、访问服务、控制服务等操作事件，以解决常规存储系统难以柔性扩展、基础设施臃肿、异构兼容性差等众多难题。分布式文件系统Ceph作为云计算生态系统中得到公认的存储解决方案，以其独有的功能架构占据了相当重要的主导地位，它由数据用户客户端、元数据服务集群、对象存储集群、集群监视器四部分组成。

非结构化数据具有“单次写入，反复读取”的特点，并且非结构化数据存在数量众多、格式多样、动态变化、组织松散、内容多源等固有属性，非结构化数据包括：视频文件、音频文件、图片文件、模型文件、字体文件等等。关于非结构化数据分类存储与归档方面的研究工作和技术方案尚未见显著成果，这不仅与用户操作的主观随意性相关，更与非结构化数据自身内容的未知性相关。也正是因为如此，现阶段对非结构化数据的分类存储与归档仍将主要以借助人为干预的方式实现，而不是根据非结构化数据本身所包含的实际内容，自动地识别出该非结构化数据应该属于哪种归档分类并将它归入其中。非结构化数据虽然不能简单地以数学解析式来表达，但却可以借助元数据（metadata）对非结构化数据进行对象内容和信息特征的结构化描述，即：云存储系统利用结构化数据描述非结构化数据。

非结构化素材资源的逻辑归档作为基础性支撑服务，更有利于对非结构化数据进行合理安排和简化索引，使云存储系统对非结构化数据的逻辑归档具有自主决策能力，并能大幅度提高非结构化数据的高可用性、易迁移等特性。为此，本发明立足于非结构化数据的云端自主逻辑归档，将它作为云端智能化存储的辅助与补充，即：不改变非结构化数据的原有存储方式和存储位置，而以逻辑归档的方式实现非结构化数据的自主管理。

发明内容

本发明的目的在于提供一种非结构化源数据的云端自主逻辑归档方法，旨在解决云端存储过程过分依赖于主观操作的现实问题、低效问题；为了增强云端存储系统的智能化自主逻辑归档水平，该方法通过对非结构化数据的描述内容进行抽离处理，利用句法分词、语义分析、相似度比较等自然语言处理操作，有效地提高了云端存储系统对自然语言的理解能力，从而有利于非结构化数据的云端自主逻辑归档。为了使非结构化数据的存在更具实际意义，不可避免地应为其添加必要的描述性内容，从而说明非结构化数据所包含的内容、用途等信息。

本发明的技术方案是这样实现的：非结构化源数据的云端自主逻辑归档方法，其特征在于：根据非结构化数据的自然语言描述内容，云端存储系统即可对其作出自主逻辑归档处理，并自动为其分配相关的分词标签、简短摘要；该方法的具体实现步骤如下：

步骤S1、云端存储过程按原有存储策略对非结构化数据UD进行物理存放，且非结构化数据存储表DST自动生成非结构化数据索引值UID；

步骤S2、云端存储过程将非结构化数据UD的自然语言描述内容DESC传递给逻辑归档处理过程，并在逻辑归档表LST中新添记录LNM，将记录LNM的非结构化数据ID字段赋值为非结构化数据索引值UID，将记录LNM的数据内容描述字段赋值为自然语言描述内容DESC；

步骤S3、逻辑归档处理过程将自然语言描述内容DESC和句子数N作为参数传递给HanLP的过程函数extractSummary；

步骤S4、过程函数extractSummary根据TextRank算法对自然语言描述内容DESC进行抽取式摘要提取，从而得到自然语言描述内容DESC的抽取式摘要ABS，将记录LNM的数据描述摘要字段赋值为抽取式摘要ABS；

步骤S5、利用数组结构，将逻辑分类表LCT的全部M个逻辑分类描述信息组织成逻辑分类描述数组LCDA，LCDA = { LCD1, LCD2, ……, LCDM }，并将逻辑分类描述数组LCDA的所有逻辑分类描述信息LCD1、LCD2、……、LCDM添加至HanLP的Suggester容器；

步骤S6、使用Suggester容器的过程函数suggest进行最佳逻辑分类描述的选取，将抽取式摘要ABS作为参数传递给过程函数suggest，从而得到与抽取式摘要ABS相似度最大的逻辑分类描述LCA；

步骤S7、把抽取式摘要ABS和关键词个数P作为过程函数的调用参数，传递给HanLP的过程函数extractKeyword对抽取式摘要ABS进行提取操作，得到抽取式摘要ABS的关键词序列AKW，AKW = { AKW1, AKW2, ……, AKWP }，将记录LNM的描述分词标签字段赋值为关键词序列AKW；

步骤S8、把逻辑分类描述LCA和关键词个数P作为过程函数的调用参数，传递给HanLP的过程函数extractKeyword对逻辑分类描述LCA进行提取操作，得到逻辑分类描述LCA的关键词序列LKW，LKW = { LKW1, LKW2, ……, LKWP }；

步骤S9、使用HanLP中CoreSynonymDictionary的过程函数similarity，分别计算关键词序列AKW中每一个关键词与关键词序列LKW中所有关键词的相似度，选取关键词序列AKW中每一个关键词相似度的最大值构成相似度序列ALV，ALV = { ALV1, ALV2, ……,ALVP}；

步骤S10、设定相似度匹配容差范围为e，相似度匹配误差SMD如表达式EQ1所示，如果SMD < e，则跳转到步骤S12执行，否则继续执行步骤S11；

表达式EQ1：SMD = P2 - ( ALV1 + ALV2 + …… + ALVP )2

步骤S11、在逻辑分类表LCT中新添记录CNM，则逻辑分类表LCT自动为记录CNM分配一个逻辑分类索引值LCID，将记录CNM的逻辑分类描述字段赋值为抽取式摘要ABS，将记录LNM的逻辑分类ID字段赋值为逻辑分类索引值LCID，跳转到步骤S13继续执行；

步骤S12、在逻辑分类表LCT中，根据逻辑分类描述LCA查找其对应的逻辑分类索引值LSID，将记录LNM的逻辑分类ID字段赋值为逻辑分类索引值LSID；

步骤S13、至此便可完成单个非结构化数据的云端自主逻辑归档，若要对其他非结构化数据进行自主逻辑归档，则返回至步骤S1重新执行即可。

通过以上的自主逻辑归档处理步骤，不仅能够对非结构化数据进行合理地逻辑归档，还能够为每一个非结构化数据自动生成描述摘要、分词标签。

本发明的积极效果在于提出了一种非结构化源数据的云端自主逻辑归档方法，该方法能够实现非结构化数据在云端的自主逻辑归档，提高了云端存储的智能化水平，具有很好的实际应用价值。非结构化源数据的云端自主逻辑归档方法，充分体现了云端存储的可扩展特性和硬件隔离特性，增强了云端存储对非结构化数据的全局管理能力。

附图说明

图1为非结构化数据的云端自主逻辑归档处理过程示意图，其中：物理存储和逻辑归档均在云端进行，且非结构化数据的物理存储与云端原有物理存储过程相一致。

图2为非结构化数据存储表与逻辑归档关联关系的表结构示意图，其中：逻辑归档表通过外键“非结构化数据ID”与非结构化数据存储表进行关联；逻辑归档表通过外键“逻辑分类ID”与逻辑分类表进行关联；逻辑归档表的“数据描述摘要”、“描述分词标签”字段内容均在逻辑归档处理过程中自主生成。

具体实施方式

下面结合附图和实施例对本发明做进一步的描述：根据非结构化数据的自然语言描述内容，云端存储系统即可对其作出自主逻辑归档处理，并自动为其分配相关的分词标签、简短摘要。该方法的具体实现步骤如下：

步骤S1、云端存储过程按原有存储策略对非结构化数据UD进行物理存放，且非结构化数据存储表DST自动生成非结构化数据索引值UID；

步骤S2、云端存储过程将非结构化数据UD的自然语言描述内容DESC传递给逻辑归档处理过程，并在逻辑归档表LST中新添记录LNM，将记录LNM的非结构化数据ID字段赋值为非结构化数据索引值UID，将记录LNM的数据内容描述字段赋值为自然语言描述内容DESC；

步骤S3、逻辑归档处理过程将自然语言描述内容DESC和句子数N=3作为参数传递给HanLP的过程函数extractSummary；

步骤S4、过程函数extractSummary根据TextRank算法对自然语言描述内容DESC进行抽取式摘要提取，从而得到自然语言描述内容DESC的抽取式摘要ABS，将记录LNM的数据描述摘要字段赋值为抽取式摘要ABS；

步骤S5、利用数组结构，将逻辑分类表LCT的全部M个逻辑分类描述信息组织成逻辑分类描述数组LCDA，LCDA = { LCD1, LCD2, ……, LCDM }，并将逻辑分类描述数组LCDA的所有逻辑分类描述信息LCD1、LCD2、……、LCDM添加至HanLP的Suggester容器；

步骤S6、使用Suggester容器的过程函数suggest进行最佳逻辑分类描述的选取，将抽取式摘要ABS作为参数传递给过程函数suggest，从而得到与抽取式摘要ABS相似度最大的逻辑分类描述LCA；

步骤S7、把抽取式摘要ABS和关键词个数P=8作为过程函数的调用参数，传递给HanLP的过程函数extractKeyword对抽取式摘要ABS进行提取操作，得到抽取式摘要ABS的关键词序列AKW，AKW = { AKW1, AKW2, AKW3, AKW4, AKW5, AKW6, AKW7, AKW8 }，将记录LNM的描述分词标签字段赋值为关键词序列AKW；

步骤S8、把逻辑分类描述LCA和关键词个数P=8作为过程函数的调用参数，传递给HanLP的过程函数extractKeyword对逻辑分类描述LCA进行提取操作，得到逻辑分类描述LCA的关键词序列LKW，LKW = { LKW1, LKW2, LKW3, LKW4, LKW5, LKW6, LKW7, LKW8 }；

步骤S9、使用HanLP中CoreSynonymDictionary的过程函数similarity，分别计算关键词序列AKW中每一个关键词与关键词序列LKW中所有关键词的相似度，选取关键词序列AKW中每一个关键词相似度的最大值构成相似度序列ALV，ALV = { ALV1, ALV2, ALV3, ALV4,ALV5, ALV6, ALV7, ALV8 }；

步骤S10、设定相似度匹配容差范围为e=1.432，相似度匹配误差SMD如表达式EQ1所示，如果SMD < e，则跳转到步骤S12执行，否则继续执行步骤S11；

表达式EQ1：SMD = 64 - ( ALV1 + ALV2 + ALV3 + ALV4 + … + ALV7 + ALV8 )²

步骤S11、在逻辑分类表LCT中新添记录CNM，则逻辑分类表LCT自动为记录CNM分配一个逻辑分类索引值LCID，将记录CNM的逻辑分类描述字段赋值为抽取式摘要ABS，将记录LNM的逻辑分类ID字段赋值为逻辑分类索引值LCID，跳转到步骤S13继续执行；

步骤S12、在逻辑分类表LCT中，根据逻辑分类描述LCA查找其对应的逻辑分类索引值LSID，将记录LNM的逻辑分类ID字段赋值为逻辑分类索引值LSID；

步骤S13、至此便可完成单个非结构化数据的云端自主逻辑归档，若要对其他非结构化数据进行自主逻辑归档，则返回至步骤S1重新执行即可。

通过以上的自主逻辑归档处理步骤，不仅能够对非结构化数据进行合理地逻辑归档，还能够为每一个非结构化数据自动生成描述摘要、分词标签。

Claims (1)

1.非结构化源数据的云端自主逻辑归档方法，其特征在于：根据非结构化数据的自然语言描述内容，云端存储系统即可对其作出自主逻辑归档处理，并自动为其分配相关的分词标签、简短摘要；该方法的具体实现步骤如下：

步骤S1、云端存储过程按原有存储策略对非结构化数据UD进行物理存放，且非结构化数据存储表DST自动生成非结构化数据索引值UID；

步骤S2、云端存储过程将非结构化数据UD的自然语言描述内容DESC传递给逻辑归档处理过程，并在逻辑归档表LST中新添记录LNM，将记录LNM的非结构化数据ID字段赋值为非结构化数据索引值UID，将记录LNM的数据内容描述字段赋值为自然语言描述内容DESC；

步骤S3、逻辑归档处理过程将自然语言描述内容DESC和句子数N作为参数传递给HanLP的过程函数extractSummary；

步骤S4、过程函数extractSummary根据TextRank算法对自然语言描述内容DESC进行抽取式摘要提取，从而得到自然语言描述内容DESC的抽取式摘要ABS，将记录LNM的数据描述摘要字段赋值为抽取式摘要ABS；

步骤S5、利用数组结构，将逻辑分类表LCT的全部M个逻辑分类描述信息组织成逻辑分类描述数组LCDA，LCDA = { LCD1, LCD2, ……, LCDM }，并将逻辑分类描述数组LCDA的所有逻辑分类描述信息LCD1、LCD2、……、LCDM添加至HanLP的Suggester容器；

步骤S6、使用Suggester容器的过程函数suggest进行最佳逻辑分类描述的选取，将抽取式摘要ABS作为参数传递给过程函数suggest，从而得到与抽取式摘要ABS相似度最大的逻辑分类描述LCA；

步骤S7、把抽取式摘要ABS和关键词个数P作为过程函数的调用参数，传递给HanLP的过程函数extractKeyword对抽取式摘要ABS进行提取操作，得到抽取式摘要ABS的关键词序列AKW，AKW = { AKW1, AKW2, ……, AKWP }，将记录LNM的描述分词标签字段赋值为关键词序列AKW；

步骤S8、把逻辑分类描述LCA和关键词个数P作为过程函数的调用参数，传递给HanLP的过程函数extractKeyword对逻辑分类描述LCA进行提取操作，得到逻辑分类描述LCA的关键词序列LKW，LKW = { LKW1, LKW2, ……, LKWP }；

步骤S9、使用HanLP中CoreSynonymDictionary的过程函数similarity，分别计算关键词序列AKW中每一个关键词与关键词序列LKW中所有关键词的相似度，选取关键词序列AKW中每一个关键词相似度的最大值构成相似度序列ALV，ALV = { ALV1, ALV2, ……,ALVP}；

步骤S10、设定相似度匹配容差范围为e，相似度匹配误差SMD如表达式EQ1所示，如果SMD < e，则跳转到步骤S12执行，否则继续执行步骤S11；

表达式EQ1：SMD = P2 - ( ALV1 + ALV2 + …… + ALVP )2

步骤S11、在逻辑分类表LCT中新添记录CNM，则逻辑分类表LCT自动为记录CNM分配一个逻辑分类索引值LCID，将记录CNM的逻辑分类描述字段赋值为抽取式摘要ABS，将记录LNM的逻辑分类ID字段赋值为逻辑分类索引值LCID，跳转到步骤S13继续执行；

步骤S12、在逻辑分类表LCT中，根据逻辑分类描述LCA查找其对应的逻辑分类索引值LSID，将记录LNM的逻辑分类ID字段赋值为逻辑分类索引值LSID；

步骤S13、至此便可完成单个非结构化数据的云端自主逻辑归档，若要对其他非结构化数据进行自主逻辑归档，则返回至步骤S1重新执行即可。