CN104541267A - 查询结构化和非结构化数据库 - Google Patents

Abstract

所提供的是一种查询结构化和非结构化数据库的方法。响应于查询而一起查询结构化数据库和非结构化数据库。查询非结构化数据库包括：从查询辨识主键，辨识主键之间的关系，以及基于主键之间的关系查询非结构化数据库。

Description

查询结构化和非结构化数据库

背景技术

企业典型地以两种形式存储其数据：结构化和非结构化。结构化数据，其可以包括销售数据、雇员详情、客户信息等，存储在计算机化的数据库管理系统（DBMS）中。非结构化数据，其可以包括电子邮件、公司报告、培训手册、白皮书、网页等，可以存储在不同的数据储存库中。一般而言，包含结构化和非结构化数据的数据库被分离地维护在组织中。

附图说明

为了更好地理解解决方案，现在将纯粹通过示例的方式参考附图来描述实施例，在附图中：

图1是根据示例的系统的示意性框图。

图2是根据示例的图1的非结构化数据处理模块的示意性框图。

图3示出根据示例的查询结构化和非结构化数据库的方法的流程图。

图4示出根据示例的图3的方法的子例程的流程图。

图5是根据示例的在计算机系统上托管的非结构化数据处理模块的示意性框图。

具体实施方式

取决于商业的性质、其大小和规模，组织可以处置大量数据。该数据中的一些可能经历ETL（提取、加载和变换）过程以存储在计算机化的数据库管理系统（DBMS）中。结果得到的数据（在数据库中）形成结构化数据。此外，在组织中可以存在不具有预定义数据模型和/或不完好地符合关系表（像结构化数据那样）的数据。这种形式的数据被称为非结构化数据。为了清楚起见，可以在本文中使用以下定义。

“结构化数据”指代被组织在结构中的数据。它具有针对（一个或多个）预定数据类型的强制组成，其可以允许针对这些数据类型的查询和报告。关系数据库和电子表格是结构化数据的示例。

“非结构化数据”指代不是“结构化数据”的数据。该术语包括以非结构化格式存储的任何数据。非结构化数据不具有可辨识的结构，并且不存在概念上的数据或数据类型。示例可以包括以其原始格式存在的电子邮件、图像、音频文件、视频等。

在示例中，非结构化数据可以通过ETL（提取、加载和变换）过程而被转换成结构化数据以存储在企业的计算机化的数据库管理系统（DBMS）中。ETL是涉及从数据源提取数据、将其变换成适合于操作需要并且将其加载到最终目标（例如数据库）中的过程。将非结构化数据转换成结构化数据（例如通过ETL过程）的过程的问题之一是：存在于非结构化数据中的大量信息可能在转换过程期间丢失。例如，让我们假定关于国家人口的报告包含像过去五十年的每年人口数据、男性数量、女性数量、十岁以下儿童数量。六十岁以上人群数量等的详情。现在让我们考虑要在仅具有用于捕获针对每十年的数据的字段且此外不具有用于捕获涉及六十岁以上人群数量的数据的字段的结构化数据库表中捕获前述详情。可以容易地设想到，这样的数据转换可能导致可对企业而言有价值的大量信息的丢失。例如，在后续的日期处，或者作为一些不相关运算的一部分，如果用户需要关于每年人口的数据，则该数据将不可用，因为它在变换期间未被捕获，即便非结构化数据包含了所要求的信息。就关于六十岁以上人群数量的数据的不可用性而言，将面临类似的问题。

不难认识到，从企业的角度来看，前述场景是不理想的，其可能以潜在地丢失有价值的信息告终，即便它以非结构化格式可用。

所提出的是允许一起查询结构化和非结构化数据库的解决方案。在示例中，从这两个数据库（结构化和非结构化）的查询获取的结果在向用户显示之前被组合。

图1是根据示例的系统的示意性框图。系统100包括用户计算机系统102、结构化数据库104和非结构化数据库106。计算机系统102可以通过网络连接到结构化数据库104和非结构化数据库106，该网络可以是有线的或无线的。该网络可以是诸如互联网之类的公用网络或者诸如内联网之类的专用网络。在一些实现中，系统100可以包括除图1中所示的系统之外的附加的用户计算机系统、结构化数据库和非结构化数据库。

用户计算机系统102可以是计算机服务器、台式计算机、笔记本计算机、平板计算机、移动电话、个人数字助理（PDA）等等。用户计算机系统102可以包括用于获取（一个或多个）查询的接口。前述接口可以是图形用户接口（GUI）。另外，查询可以是系统定义的或者从用户获取。在示例中，查询是结构化查询语言（SQL）查询。用户计算机系统102还可以包括非结构化数据处理模块108。非结构化数据处理模块108（以下详细描述）基于输入查询来处理非结构化数据。

结构化数据库104是保持结构化数据的数据库。例如，被组织在数据库管理系统（DBMS）内的数据可以构成结构化数据库104。在示例中，前述DBMS可以是关系数据库管理系统（RDBMS）。结构化数据库104可以使用多种数据库模型，诸如关系模型、层级或对象模型，以描述和存储数据。而且，结构化数据库104可以支持高级查询语言，诸如结构化查询语言（SQL）。

非结构化数据库106是保持非结构化数据的数据库。非结构化数据库106可以是诸如网页、公司手册、白皮书、年度报告、电子邮件、文本、图像、视频或不是结构化数据的其它数据之类的非结构化数据的储存库。

在实现中，结构化数据库104和非结构化数据库106被托管在不同的计算机系统上。然而，在另一实现中，结构化数据库104和非结构化数据库106可以存在于单个主机计算机系统上。在又一实现中，结构化数据库104和非结构化数据库106可以存在于用户计算机系统102上。

图2是根据示例的图1的非结构化数据处理模块的示意性框图。

非结构化数据处理模块108包括筛选器模块202、归纳器模块204、分类器模块206、特征提取器模块208、概念和关系提取器模块210和知识提取器模块212。

筛选器模块202允许根据所采用的筛选器的类型而非结构化数据的筛选。例如，筛选器模块202可以在非结构化数据上应用内容特定筛选。在另一示例中，可以在非结构化数据上使用上下文特定筛选器。在实现中，多个筛选器模块202可以用于处理非结构化数据。这些筛选器模块可以被布置在序列中以获取期望的结果。

归纳器模块204用于归纳非结构化数据。归纳器模块204可以采用分析方法、统计方法、信息检索方法等或其任何组合来归纳非结构化数据。归纳可以导致平坦归纳（flat summary）、结构化归纳、分布式平坦归纳等。在示例中，归纳可以导致非结构化数据的词语计数或行计数。

分类器模块206基于预定义的集合将非结构化数据自动分类到不同类别中。分类器模块206可以基于所要求的模型来对数据分类。例如，面向对象的模型或实体关系（ER）模型。数据的分类可以是平坦的或层级的，并且，存在可以用于该目的的许多算法。这些算法的一些非限制性示例可以包括页面等级算法、贝叶斯算法和基于概念向量（CVB）算法。机器学习、概率方法和编索引可以被分类器模块206用于对非结构化数据分类。

特征提取208模块分析非结构化数据以在无约束的自然语言文本中识别和分类词汇项目。该模块将非结构化文档变换成被称为特征或项的文本的小单元。作为非限制性示例，以下特征可以被从非结构化数据流辨识和提取：名称、多词项、缩写、关系、百分比、单位、文本数等。在实现中，在特征被提取之后，向特征分配规范名从而使在未来步骤中合并该数据的过程容易。

概念和关系提取模块210从非结构化数据提取概念和关系。可以使用多种方法来提取概念。概念提取的一些非限制性技术可以包括谱分析、期望最大化（EM）技术、形式概念分析（FCA）、双聚类、三聚类、概念图等。关系提取涉及两个或更多个概念之间的关系的辨识。提供简单的示例，位于“位置”中的“人”（提取自句子“Jack在德国。”）。为了提供另一示例，让我们考虑文档中的以下信息：“印度的识字率提升至74%：人口普查。在过去的10年中，女性识字率从2001年的53.67%提升至2011年的65.46%；男性识字率从75.26%提升至82.14%”。在该示例中，可以辨识出许多特征，诸如男性、女性、识字、人口普查、印度、百分比、10年（十年）等。该数据中的概念可以是“识字增长”。并且，可辨识的关系可以包括：（a）国家、年份和识字；（b）国家、年份和男性识字；以及（c）国家、年份和女性识字。

知识提取模块212用于从非结构化数据创建知识。知识提取模块212用于基于输入数据的逻辑内容来得出推论。该模块可以采用诸如但不限于本体学习（OL）、基于本体的信息提取（OBIE）、传统信息提取（TIE）等的技术来从非结构化数据提取知识。其用于例如辨识非结构化数据中的趋势、对象（例如人、地点、组织、事物等）之间的关系等。其还可以用于提取元数据。

前述模块可以被布置在序列中，使得来自一个模块的输出可以充当另一模块的输入。另外，这些模块的布置的顺序可以在不同实现之间变化。例如，在一个实现中，这些模块可以被布置在以下序列中，使得在系列中来自前一模块的输出充当下一模块的输入：筛选器模块202、归纳器模块204、分类器模块206、特征提取器模块208、概念和关系提取器模块210和知识模块212。在另一实现中，序列可以如下：归纳器模块204、筛选器模块202、特征提取器模块208、分类器模块206、概念和关系提取器模块210和知识模块212。同样地，可以存在这些模块的其它布置。在另一实现中，任何前述模块可以被组合在一起，并且其功能可以由组合后的模块执行。

图3示出根据示例的查询结构化和非结构化数据库的方法的流程图。

在块302处，通过计算设备的处理单元接收查询。在实现中，从可使用图形用户接口提供查询的计算设备的用户接收查询。在另一实现中，查询可以是由计算设备自身或由通过网络耦合到前述计算设备的另一设备生成的系统生成查询。在示例中，查询是文本查询。然而，在其它实现中，可以使用其它类型的查询（诸如，具有例如图像的文本）。在实现中，查询的格式可以属于结构化数据库可理解的类型。例如，它可以是结构化查询语言（SQL）查询。

在块304处，基于所接收到的查询来查询结构化数据库和非结构化数据库。在实现中，一起查询结构化数据库和非结构化数据库。换言之，既与结构化数据库又与非结构化数据库共享查询。为了提供说明，让我们假定查询是“人口，中国，2010年”。在该情况中，查询“人口，中国，2010年”将被传递到结构化数据库和非结构化数据库二者。在实现中，可以实施结构化和非结构化数据库的同时查询。在该情况中，与这两种类型的数据库实时共享查询。另外，在一些实现中，可以基于所接收到的查询来查询多个结构化数据库和/或非结构化数据库。

查询非结构化数据库可以包括许多阶段。这些在本文档中稍后参考图4加以描述。

在块306处，通过结构化数据库和非结构化数据库处理查询。在非结构化数据库的情况中，查询的处理由非结构化数据处理模块108执行，非结构化数据处理模块108可以存在于计算设备或通过网络耦合到计算设备的另一设备上。在本文档中稍后参考图4来描述非结构化数据处理模块108中查询的处理。

在块308处，从结构化数据库以及非结构化数据库检索查询结果。为了在前述查询“人口，中国，2010年”的上下文中说明，结构化数据库可以给出结果13亿，并且非结构化数据库可以提供更加具体的结果，诸如13.4亿。还可能的是，结构化数据库可能不提供任何结果，因为相关数据可能不可用。

在块310处，将从结构化数据库和非结构化数据库获取的查询结果聚合在一起。在查询“人口，中国，2010年”的上下文中，将从结构化数据库获取的结果（“13亿”）和从非结构化数据库获取的结果（“13.4亿”）集中。如果结构化数据库不提供任何结果（例如，由于缺少数据），则考虑来自非结构化数据库的结果。在示例中，例如在显示单元上向用户呈现经聚合的结果。

图4示出根据示例的图3的方法的子例程的流程图。如之前提到的，意在针对非结构化数据库的查询由处理非结构化数据的非结构化数据处理模块108处理。查询非结构化数据库可以包括许多阶段。

在块402处，在意在针对非结构化数据库的查询的情况中，从查询辨识主键。主键是查询的关键词。它们可以包括名称、多词项、缩写、数字等。例如，如果查询是“在2010年中国的人口是多少？”，则主键可以是“人口”、“中国”和“2010年”。提供另一示例，如果查询是“HP的雇员数量是多少？”，则主键可以是“数量”、“雇员”和“HP”。前述主键仅仅出于说明的目的，并且，可以辨识不同的主键（或主键的不同组合）。

在块404处，辨识主键之间的（一个或多个）关系。关系表示主键之间的似合理的关联。提供一示例，如果查询是“HP的雇员数量是多少？”，并且所辨识的主键是“数量”、“雇员”和“HP”，则关系可以是“雇员的数量”和/或“HP的雇员”。

在块406处，基于主键和/或在主键之间辨识的关系查询（一个或多个）非结构化数据库。在实现中，主键和/或在主键之间辨识的关系由查询处理模块108处理。查询处理模块108基于主键和/或在主键之间辨识的关系来处理（解析）非结构化数据库。例如，查询处理模块108可以在非结构化数据库上应用以下模块中的任一个或全部以获取最相关的结果：筛选器模块202、归纳器模块204、分类器模块206、特征提取器模块208、概念和关系提取器模块210、和知识提取器模块212。前述模块可以被应用有序列，使得在系列中来自前一模块的输出充当后一模块的输入。例如，在实现中，序列可以是：筛选器模块202、归纳器模块204、分类器模块206、特征提取器模块208、概念和关系提取器模块210、和知识模块212。在其它实现中，这些模块的布置顺序可以变化。另外，在又一实现中，任何前述模块可以被组合在一起，并且它们的功能可以由（一个或多个）组合后的模块执行。

图5是根据示例的在计算机系统上托管的非结构化数据处理模块的示意性框图。

计算机系统502可以包括处理器504、存储器506、非结构化数据处理模块108和通信接口510。非结构化数据处理模块108包括筛选器模块202、归纳器模块204、分类器模块206、特征提取器模块208、概念和关系提取器模块210、和知识提取器模块212。计算系统502的组件可以通过系统总线512耦合在一起。

处理器504可以包括解释和施行指令的任何类型的处理器、微处理器或处理逻辑。

存储器506可以包括随机存取存储器（RAM）或另一类型的动态储存设备，其可以非暂时性地存储信息和指令以供处理器504施行。例如，存储器506可以是SDRAM（同步DRAM）、DDR（双数据速率SDRAM）、Rambus DRAM（RDRAM）、Rambus RAM等或储存存储器介质，诸如软盘、硬盘、CD-ROM、DVD、随身碟等。存储器506可以包括当由处理器504施行时实现非结构化数据处理模块108的指令。

通信接口510可以包括任何收发器型机构，其使得计算设备502能够经由通信链路与其它设备和/或系统通信。通信接口510可以是软件程序、硬件、固件或其任何组合。通信接口510可以使用多种通信技术来实现计算机系统502与另一计算机系统或设备之间的通信。提供几个非限制性示例，通信接口510可以是以太网卡、调制解调器、综合服务数字网络（“ISDN”）卡等。

非结构化数据处理模块108可以以包括计算机可执行指令（诸如程序代码）的计算机程序产品的形式实现，所述计算机可执行指令可以结合诸如Microsoft Windows、Linux或UNIX操作系统之类的合适操作系统而被运行在任何合适计算环境上。本解决方案的范围内的实施例还可以包括程序产品，其包括用于承载或具有存储在其上的计算机可执行指令或数据结构的计算机可读介质。这样的计算机可读介质可以是能够被通用或专用计算机访问的任何可用介质。作为示例，这样的计算机可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM、磁盘储存或其它存储设备、或者可以用于以计算机可执行指令的形式承载或存储期望程序代码且可以被通用或专用计算机访问的任何其它介质。

在实现中，可以将非结构化数据处理模块108从另一计算机可读介质（诸如数据储存设备）或经由通信接口510从另一设备读取到存储器506中。

为了清楚起见，如在本文档中使用的术语“模块”可以意指包括软件组件、硬件组件或其组合。模块可以包括，作为示例，诸如软件组件之类的组件、过程、任务、协同例程、功能、属性、程序、驱动器、固件、数据、数据库、数据结构、专用集成电路（ASIC）和其它计算设备。模块可以驻留在易失性或非易失性储存介质上并被配置成与计算机系统的处理器交互。

将领会到，图5中描绘的系统组件仅仅出于说明的目的，并且实际组件可以根据针对本解决方案的实现而部署的计算系统和架构而变化。以上描述的各种组件可以被托管在单个计算系统或通过合适装置连接在一起的多个计算机系统（包括服务器）上。

应当指出的是，本解决方案的上述实施例仅仅出于说明的目的。尽管已经结合其特定实施例描述了解决方案，但是在不实质上脱离于本文所描述的主题的教导和优点的情况下，众多修改是可能的。在不脱离于本解决方案的精神的情况下，可以做出其它替换、修改和改变。

Claims (15)

1.一种查询结构化和非结构化数据库的方法，包括：

接收查询；

响应于查询而一起查询结构化数据库和非结构化数据库，其中查询非结构化数据库包括：

从查询辨识主键；

辨识主键之间的关系；以及

基于主键之间的关系查询非结构化数据库。

2.权利要求1的方法，还包括：

从结构化数据库和非结构化数据库检索查询结果；以及

聚合从结构化数据库和非结构化数据库检索的查询结果。

3.权利要求1的方法，还包括：

基于主键之间的关系处理非结构化数据库中的非结构化数据，其中该处理包括在非结构化数据上执行一个或多个动作。

4.权利要求3的方法，其中所述动作包括筛选非结构化数据。

5.权利要求3的方法，其中所述动作包括归纳非结构化数据。

6.权利要求3的方法，其中所述动作包括对非结构化数据分类。

7.权利要求3的方法，其中所述动作包括在非结构化数据上执行特征提取。

8.权利要求3的方法，其中所述动作包括从非结构化数据提取概念和关系。

9.权利要求3的方法，其中所述动作包括从非结构化数据提取知识。

10.一种计算系统，包括：

处理器；

耦合到处理器的非暂时性存储器，该存储器包括机器可读指令，所述机器可读指令在被处理器施行时使处理器：

接收查询；

响应于查询而一起查询结构化数据库和非结构化数据库，其中查询非结构化数据库包括：

从查询辨识主键；

辨识主键之间的关系；以及

基于主键之间的关系查询非结构化数据库。

11.权利要求10的系统，还包括：

聚合来自结构化数据库和非结构化数据库的查询结果；以及

显示经聚合的查询结果。

12.权利要求10的系统，还包括：

基于主键之间的关系处理非结构化数据库中的非结构化数据，其中该处理包括在非结构化数据上执行一个或多个动作。

13.权利要求12的系统，其中所述多个动作是在预定义的序列中执行的。

14.权利要求10的系统，其中结构化数据库和非结构化数据库是独立的。

15.一种非暂时性处理器可读介质，所述非暂时性处理器可读介质包括机器可执行指令，所述机器可执行指令在被处理器施行时使处理器：

接收查询；

响应于查询而一起查询结构化数据库和非结构化数据库，其中查询非结构化数据库包括：

从查询辨识主键；

辨识主键之间的关系；以及

基于主键之间的关系查询非结构化数据库。