CN103092979B - 遥感数据检索自然语言的处理方法 - Google Patents

Abstract

本发明公开了一种遥感数据检索自然语言的处理方法及装置，该方法包括步骤：S1，切分用户的查询语句，从中提取得到待处理关键词；S2，对所述待处理关键词进行语义挖掘，得到标准格式的关键词组；S3，对所述关键词组进行语义分析，得到条件组，以用作检索遥感数据的条件。利用本发明对遥感数据的自然查询语言进行处理，可克服一般自然语言处理方法解析不足的缺点，能有效地“理解”自然查询语句并将其转化为符合用户意图的查询条件组，从而解决现有技术中存在的前述问题。

Description

遥感数据检索自然语言的处理方法

技术领域

本发明涉及遥感数据检索领域，尤其涉及一种遥感数据检索自然语言的处理方法能够应用于面向自然语言的遥感数据检索系统。

背景技术

自然语言相对于受控语言，是未经过加工和规范化处理的人类语言。面向自然语言的查询系统能够允许用户不受专业术语的约束，直接使用字、词、句子甚至段落等自然语言表达提问，完成信息的查询检索。该查询方式有利于非专业人员的信息检索，为信息检索系统更好地应用普及提供了技术支持。目前，遥感数据查询一般是系统提供一个图形化的查询界面，用户根据需求在其上直接选择如采集时间、经纬度、卫星名、传感器名等查询参数，系统按照选定的参数进行查询。这种方法简单、直观但也限制了用户的需求。当用户的查询需求界面选择没有或满足不了时，如查询用于“土壤湿度分析”的遥感数据，用户只能先将该应用需求转换成为一系列的元数据信息，再在查询界面进行条件设置才能达到查询目的，这就要求用户具有遥感专业背景，还要对数据库内部结构有一定的了解。为数据库建立一个自然语言检索的接口可以突破这些局限，使遥感数据为更多的非专业用户所用，该接口将用户输入的自然查询语句转化成数据库结构化的查询语言，其过程就包括将用户的应用需求转换成元数据信息。

然而，由于自然语言的复杂性，如何正确、充分的理解自然查询语句是面向自然语言检索系统亟待解决的重要问题之一。特别是当自然语言检索系统应用于某一专业领域时，一般的自然语言处理技术并不能很好地挖掘、理解出与专业领域相关的用户检索需求。

发明内容

本发明的目的在于提供一种遥感数据检索自然语言的处理方法以进一步为遥感数据检索系统建立自然语言检索接口。利用本发明对遥感数据的自然查询语言进行处理，可克服一般自然语言处理方法解析不足的缺点，能有效地“理解”自然查询语句并将其转化为符合用户意图的查询条件组，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种遥感数据检索自然语言的处理方法，包括以下步骤：

S1，切分用户的查询语句，从中提取得到待处理关键词；

S2，对所述待处理关键词进行语义挖掘，得到标准格式的关键词组；

S3，对所述关键词组进行语义分析，得到条件组，以用作检索遥感数据的条件。

优选的，S1具体为对用户查询语句进行分词和词性标注，并从切分出的词中筛选出与遥感数据属性有关的部分，作为关键词。

优选的，S1包括以下步骤：

S11，建立遥感专业术语词典RSDic；

S12，利用正则表达式从所述查询语句中匹配提取得到待处理关键词；

和/或

利用ICTCLAS2012汉语分词软件和所述遥感专业术语词典RSDic从所述查询语句中提取得到待处理关键词。

优选的，所述利用正则表达式匹配提取得到的待处理关键词包括：时间、经纬度和比例尺中的一种或几种；所述利用ICTCLAS2012汉语分词软件和所述遥感专业术语词典RSDic从所述查询语句中提取得到的待处理关键词包括：卫星、传感器、空间区域和应用中的一种或几种。

优选的，S12后还包括以下步骤：

S13，把从所述查询语句中提取出的所有关键词表示为一N元组：

vKeyWord(W1,W2,…,WN)

其中W为关键词KeyWord

S14，把任何一个KeyWord都由五元组来描述：

KeyWord(Word,Attribute,No,SameFlag,WordDB)

其中Word是关键词，Attribute是关键词的词性，No表示关键词在源语句中的词序，SameFlag值为1或0，表示上下文中是否存在跟Word词性相同的词，WordDB是Word对应的遥感数据库语义。

优选的，S2包括以下步骤：

S21，建立遥感数据库语义词典DBDic；利用本体编辑工具Protégé构建遥感应用本体知识库RSAO；

S22，基于所述遥感数据库语义词典DBDic对S1中提取得到的所述关键词进行正规化和归一化处理，得到所述关键词的标准格式的遥感数据库语义

S23，根据所述遥感应用本体知识库RSAO中的事件应用信息与遥感数据元数据信息的对应关系，获得事件应用类关键词相应的元数据信息；

S24，将得到的所述遥感数据库语义和所述元数据信息置于所述KeyWord的WordDB属性中；

循环执行S22-S24，直到处理完从所述查询语句中提取出的所有关键词，形成关键词组。

优选的，S3包括以下步骤：

S31，对所述关键词组进行组合条件判断，将复杂查询语句拆分为符合用户查询意图的条件组；

S32，对相邻的所述条件组进行正序比较和倒序比较，完善所述条件组。

优选的，所述组合条件是目标关键词与相邻关键词Attribute不同且在非相邻的关键词中存在与目标关键词Attribute相同的词；所述组合条件判断具体为迭代判断关键词组vKeyWord是否符合所述组合条件，如符合，则以目标关键词为界将vKeyWord划分为多个条件组Wordlists(Wordlist1，Wordlist2，…)，并将与目标关键词Attribute相同的关键词的SameFlag标记为1；否则，判定源语句为简单句，系统将vKeyWord作为单一条件组Wordlist返回。

优选的，所述正序比较和倒序比较具体为：对已生成的Wordlists中相邻条件组进行正序和倒序比较，以Wordlist1，Wordlist2标识：按照词序，从前往后正序比较Wordlist1中SameFlag为1的关键词之前的关键词与Wordlist2关键词的Attribute是否相同，全部不同时将目标关键词加入Wordlist2中；然后按照相同的方法从后往前倒序比较Wordlist2的关键词与Wordlist1中SameFlag为1的关键词之后的所有关键词Attribute，从而完善Wordlist1。

一种遥感数据检索自然语言的处理装置，包括：

关键词提取模块，用于切分用户的查询语句，从中提取得到待处理关键词；

语义挖掘模块，用于对所述待处理关键词进行语义挖掘，得到标准格式的关键词组；

语义分析模块，用于对所述关键词组进行语义分析，得到条件组，以用作检索遥感数据的条件。

本发明的有益效果是：

利用本发明的方法或装置对遥感数据的自然查询语言进行处理，可克服一般自然语言处理方法解析不足的缺点，能有效地“理解”自然查询语句并将其转化为符合用户意图的查询条件组。本发明根据遥感数据查询特点，从自然语言的词法分析和语义分析层面上，提出一种适用于遥感数据检索领域的自然语言处理方法，以充分理解用户查询语句。

附图说明

图1是本发明的遥感数据检索自然语言的处理方法的步骤流程示意图；

图2是本发明的遥感数据检索自然语言的处理方法中关键词语义分析的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

如图1所示本发明公开了一种遥感数据检索自然语言的处理方法，包括以下步骤：

S1，切分用户的查询语句，从中提取得到待处理关键词；

S2，对所述待处理关键词进行语义挖掘，得到标准格式的关键词组；

S3，对所述关键词组进行语义分析，得到条件组，以用作检索遥感数据的条件。

以下对具体步骤进行详述：

遥感数据检索自然语言处理方法是从自然查询语句中筛选出能反映用户查询意图的关键词，并对关键词进行语义挖掘和语义分析，从而得到符合用户意图的查询条件组。

关键词提取是对用户查询语句进行分词和词性标注，并从切分出的词中筛选出与遥感数据属性有关的部分。本发明采用规则与统计相结合的策略进行分词。规则体现在正则表达式的运用，对于经纬度、时间、比例尺等内容不定，格式固定的词，一般的基于统计的分词算法很难将其正确分离出来，正则匹配则根据其格式特点通过定义正则表达式将其匹配提取出来。其他如卫星、传感器模式、图像模式、事件应用、地点等没有特定格式所循的关键词，本发明利用基于统计的汉语分词软件ICTCLAS2012进行处理[http://www.nlpir.org]。查询语句中的通用词汇如常见地名，借助ICTCLAS2012自带的通用词典即可分离，而遥感专业术语则需借助遥感专业术语词典RSdic进行处理。该词典用txt文件格式进行描述，涵盖了卫星、传感器模式、图像模式、事件应用等遥感领域词汇。每个词条还有相应词性标注，与传统的名词、动词、形容词等标注不同，RSdic的词性是根据词的遥感数据库语义来定义，卫星、传感器模式、图像模式、时间、地点、事件应用的词性分别标识为：rs_sate、rs_senp、rs_type、rs_time、rs_plac、rs_evet。

从查询语句提取出的所有关键词形成一N元组：

vKeyWord(W1,W2,…,WN)

其中W为关键词KeyWord，任一KeyWord都由五元组来描述：

KeyWord(Word,Attribute,No,SameFlag,WordDB)

其中Word是关键词，Attribute是关键词的词性，No表示关键词在源语句中的词序，SameFlag值为1或0，表示上下文中是否存在跟Word词性相同的词，WordDB是Word对应的遥感数据库语义。

关键词语义挖掘是为关键词赋予数据库语义，具体有两个步骤：一是将关键词正规化、归一化处理成数据库标准形式；二是根据遥感应用本体知识库(RSAO)中事件应用信息与遥感数据元数据信息的对应关系，获得事件应用类关键词相应的元数据信息。

本发明根据遥感语义词典DBdic对空间区域、卫星、传感器模式、图像模式、事件应用关键词进行正规化、归一化处理。该词典也用txt文件格式描述，主要记录了关键词及其在数据库中的表示形式。正规化处理是根据DBdic将一些特殊的空间区域转换成数据库可识别的行政区域，如“东北三省”应正规化表式为“辽宁，黑龙江，吉林”。归一化处理则是将同义不同形的关键词表示成唯一的数据库标准格式，如将“l7、ls7、landsat7、LandSat7”归一表示为“LANDSAT-7”。对于表示形式复杂、多变的时间和经纬度，语义挖掘需利用专门的解析程序进行正规化处理，如将“08年5月到2010年3月”表达为数据库标准形式“[2008-05-01，2010-03-31]”。

事件应用对应遥感元数据信息的获取需借助遥感应用本体知识库RSAO完成。RSAO由本体编辑工具Protégé构建完成，以owl文件形式进行存放。RSAO从语义和知识的层面上描述并组织了遥感元数据和事件应用信息。借助本体的推理机机制，根据本体规则可自动地将事件应用与遥感元数据信息关联起来。本发明通过读取RSAO即可得到遥感事件应用对应的元数据信息。

语义挖掘出的数据库语义将存放在KeyWord的WordDB属性中。

关键词语义分析是对提取出的关键词词组进行组合分析，并生成符合用户查询意图的条件组。如图2所示，首先判断查询语句是否为复合句，即组合条件判断，满足条件则将复合句拆分成为多个条件组，然后结合关键词间的语义关系对相邻条件组进行正序比较和倒序比较，从而完善条件组。

组合条件判断对于关键词组vKeyWord(W1,W2,…,WN)，组合条件如下：

①Wi的Attribute值与Wi-1的Attribute值不同，i为1到N中的任一整数；

②(W1,…,Wi-1)中存在Wj的Attribute值与Wi的Attribute值相同，j为1到i-1中的任一整数

当①②都满足时，得到一新条件组Wordlist(W1,…,Wi-1)，同时标记Wj的SameFlag值为1，迭代判断可将vKeyWord初步拆分为多个条件组，记为Wordlist1，Wordlist2，…。当①或②有任一不满足时，将vKeyWord作为单一条件组Wordlist返回。组合条件判断后形成的条件组记为Wordlists(Wordlist1，…，WordlistM)，M为不小于1的整数。

条件组完善

当条件组Wordlist个数M>＝2时，记Wordlists中任意相邻两条件组为：

Wordlist1(W1,…,Wj-1，Wj，Wj+1，…,Wp)

Wordlist2(W1,…,Wq)

其中Wj的SameFlag值为1，p、q为1到N间的整数，且p与q的和不大于N。

Ⅰ正序比较：正序判断Wordlist1的(W1，…，Wj-1)中Ws的Attribute值是否与Wordlist2的(W2，…，Wq)中关键词的Attribute值相同，全都不同则将Ws添入Wordlist2。

Ⅱ倒序比较：倒序判断Wordlist2的(Wq，…，W2)中Wt的Attribute值是否与Wordlist1的(Wj+1，…，Wp)中关键词的Attribut值相同，全都不同则将Wt添入Wordlist1。

其中s为1到j-1间的任意整数，t为2到q间的任意整数。

利用本发明的方法对自然查询语句如“查询2010年12月用于分析大兴安岭植被覆盖率的遥感数据”进行处理，可得到用关键词的WordDB属性描述的条件组：

Wordlist([2010-12-012010-12-31]、大兴安岭地区、SPOT-4、LANDSAT-5)

该方法正确的提取出时间、地点、事件应用等遥感专业词汇，并将“植被覆盖率”转化为相应的卫星信息“SPOT-4、LANDSAT-5”，克服一般自然语言处理方法解析不足的缺点，有效地“理解”自然查询语句并将其转化为符合用户意图的查询条件组。

本发明的遥感数据检索自然语言的处理方法还可以以装置的形式体现：一种遥感数据检索自然语言的处理装置，包括：

关键词提取模块，用于在待处理查询语句中提取关键词；

语义挖掘模块，用于对提取出的所述关键词进行语义挖掘；

语义分析模块，用于对提取出的所述关键词进行语义分析。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

利用本发明的方法或装置对遥感数据的自然查询语言进行处理，可克服一般自然语言处理方法解析不足的缺点，能有效地“理解”自然查询语句并将其转化为符合用户意图的查询条件组。本发明根据遥感数据查询特点，从自然语言的词法分析和语义分析层面上，提出一种适用于遥感数据检索领域的自然语言处理方法，以充分理解用户查询语句。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种遥感数据检索自然语言的处理方法，其特征在于，包括以下步骤：

S1，切分用户的查询语句，从中提取得到待处理关键词；

S2，对所述待处理关键词进行语义挖掘，得到标准格式的关键词组；

S3，对所述关键词组进行语义分析，得到条件组，将所述条件组用作检索遥感数据的条件；

S1具体为对用户查询语句进行分词和词性标注，并从切分出的词中筛选出与遥感数据属性有关的部分，作为关键词；

S1包括以下步骤：

S11，建立遥感专业术语词典RSDic；

S12，利用正则表达式从所述查询语句中匹配提取得到待处理关键词；

和/或

利用ICTCLAS2012汉语分词软件和所述遥感专业术语词典RSDic从所述查询语句中提取得到待处理关键词；

S12后还包括以下步骤：

S13，把从所述查询语句中提取出的所有关键词表示为一N元组：

vKeyWord(W1,W2,…,WN)

其中W为关键词KeyWord

S14，把任何一个KeyWord都由五元组来描述：

KeyWord(Word,Attribute,No,SameFlag,WordDB)

其中Word是关键词，Attribute是关键词的词性，No表示关键词在源语句中的词序，SameFlag值为1或0，表示上下文中是否存在跟Word词性相同的词，WordDB是Word对应的遥感数据库语义；

S2包括以下步骤：

S21，建立遥感数据库语义词典DBDic；利用本体编辑工具Protégé构建遥感应用本体知识库RSAO；

S22，基于所述遥感数据库语义词典DBDic对S1中提取得到的所述关键词进行正规化和归一化处理，得到所述关键词的标准格式的遥感数据库语义

S23，根据所述遥感应用本体知识库RSAO中的事件应用信息与遥感数据元数据信息的对应关系，获得事件应用类关键词相应的元数据信息；

S24，将得到的所述遥感数据库语义和所述元数据信息置于所述KeyWord的WordDB属性中；

循环执行S22-S24，直到处理完从所述查询语句中提取出的所有关键词，形成关键词组。

2.根据权利要求1所述的遥感数据检索自然语言的处理方法，其特征在于，所述利用正则表达式匹配提取得到的待处理关键词包括：时间、经纬度和比例尺中的一种或几种；所述利用ICTCLAS2012汉语分词软件和所述遥感专业术语词典RSDic从所述查询语句中提取得到的待处理关键词包括：卫星、传感器、空间区域和应用中的一种或几种。

3.根据权利要求1所述的遥感数据检索自然语言的处理方法，其特征在于，S3包括以下步骤：

S31，对所述关键词组进行组合条件判断，将复杂查询语句拆分为符合用户查询意图的条件组；

S32，对相邻的所述条件组进行正序比较和倒序比较，完善所述条件组。

4.根据权利要求3所述的遥感数据检索自然语言的处理方法，其特征在于，所述组合条件是目标关键词与相邻关键词Attribute不同且在非相邻的关键词中存在与目标关键词Attribute相同的词；所述组合条件判断具体为迭代判断关键词组vKeyWord是否符合所述组合条件，如符合，则以目标关键词为界将vKeyWord划分为多个条件组Wordlists(Wordlist1，Wordlist2，…)，并将与目标关键词Attribute相同的关键词的SameFlag标记为1；否则，判定源语句为简单句，将vKeyWord作为单一条件组Wordlist返回。

5.根据权利要求3所述的遥感数据检索自然语言的处理方法，其特征在于，所述正序比较和倒序比较具体为：对已生成的Wordlists中相邻条件组进行正序和倒序比较，以Wordlist1，Wordlist2标识：按照词序，从前往后正序比较Wordlist1中SameFlag为1的关键词之前的关键词与Wordlist2关键词的Attribute是否相同，全部不同时将目标关键词加入Wordlist2中；然后按照相同的方法从后往前倒序比较Wordlist2的关键词与Wordlist1中SameFlag为1的关键词之后的所有关键词Attribute，从而完善Wordlist1。