CN107679160A - 基于图数据库的数据处理方法及装置 - Google Patents

Abstract

本发明属于数据处理技术领域，提供了一种基于图数据库的数据处理方法及装置。该方法包括：对每条数据所涉及的实体之间建立关联关系，所述实体包括人物、企业、事件或标准地址；将各个实体及各个实体之间的关联关系转化为图数据。本发明基于图数据库的数据处理方法及装置，能够提高大数据查询效率，高效获取数据查询结果。

Description

基于图数据库的数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于图数据库的数据处理方法及装置。

背景技术

随着信息技术与经济社会的交汇融合，虽然各政府部门中存储着海量的政务数据，但是各部门间的数据都互不共享，无法实现对某一地区所有数据的统筹、管理与分析，为政府决策提供数据支撑或市民服务。

并且，现有的政府数据量大，大量的政务数据内部存在多重关联关系，加大了数据查询难度，数据查询效率低。

如何提高大数据查询效率，高效获取数据查询结果，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供基于图数据库的数据处理方法及装置，能够提高大数据查询效率，高效获取数据查询结果。

第一方面，本发明提供一种基于图数据库的数据处理方法，该方法包括：对每条数据所涉及的实体之间建立关联关系，实体包括人物、企业、事件或标准地址；

将各个实体及各个实体之间的关联关系转化为图数据。

进一步地，对每条数据所涉及的实体之间建立关联关系，具体包括：

在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系；

将各个实体及各个实体之间的关联关系更新至图数据库；

将各个实体及各个实体之间的关联关系转化为图数据，具体包括：

在图数据库中，将各个实体转化为图数据中的顶点；

在图数据库中，将每个实体之间的关联关系转化为相应顶点之间的边。

进一步地，将各个实体转化为图数据中的顶点，具体包括：

查询图数据中的顶点，判断是否存在与实体所对应的顶点：

若否，则建立与实体对应的顶点；

将每个实体之间的关联关系转化为相应顶点之间的边，具体包括：

查询图数据中的边，判断是否存在与每个实体之间的关联关系所对应的边：

若否，则根据每个实体之间的关联关系，在该实体所对应的顶点之间建立相应的边。

进一步地，在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系之前，该方法还包括：

在数据仓库的贴源层，对贴源层中每条数据的地址信息进行标准化处理，形成标准地址，并将每条数据更新至原子层。

进一步地，对贴源层中每条数据的地址信息进行标准化处理，形成标准地址，具体包括：

对贴源层中每条数据的地址信息进行切分；

根据图数据中标准地址所对应的顶点及顶点之间的关联关系，对切分后的地址信息进行标准化处理，形成标准地址。

第二方面，本发明提供一种基于图数据库的数据处理装置，该装置包括信息关联模块和图数据转化模块，信息关联模块用于对每条数据所涉及的实体之间建立关联关系，实体包括人物、企业、事件或标准地址；图数据转化模块用于将各个实体及各个实体之间的关联关系转化为图数据。

进一步地，信息关联模块具体包括数据关联子模块和数据更新子模块，数据关联子模块用于在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系；数据更新子模块用于将各个实体及各个实体之间的关联关系更新至图数据库；

图数据转化模块具体包括顶点转化子模块和边转化子模块，顶点转化子模块用于在图数据库中，将各个实体转化为图数据中的顶点；边转化子模块用于在图数据库中，将每个实体之间的关联关系转化为相应顶点之间的边。

进一步地，顶点转化子模块将各个实体转化为图数据中的顶点时，具体用于：查询图数据中的顶点，判断是否存在与实体所对应的顶点：若否，则建立与实体对应的顶点；

边转化子模块将每个实体之间的关联关系转化为相应顶点之间的边时，具体用于：查询图数据中的边，判断是否存在与每个实体之间的关联关系所对应的边：若否，则根据每个实体之间的关联关系，在该实体所对应的顶点之间建立相应的边。

进一步地，该装置还包括地址标准化模块：用于在数据仓库的贴源层，对贴源层中每条数据的地址信息进行标准化处理，形成标准地址，并将每条数据更新至原子层。

进一步地，地址标准化模块对贴源层中每条数据的地址信息进行标准化处理，形成标准地址时，具体用于：对贴源层中每条数据的地址信息进行切分；根据图数据中标准地址所对应的顶点及顶点之间的关联关系，对切分后的地址信息进行标准化处理，形成标准地址。

由上述技术方案可知，本实施例提供的基于图数据库的数据处理方法及装置，将每条数据所涉及的实体之间建立关联关系，并将建立关联关系的实体转化为图数据。采用图数据存储每条数据所涉及的实体，将结构化数据转化为图数据，降低数据查询时的运算量，提高数据查询效率，有助于获取准确的数据查询结果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的一种基于图数据库的数据处理方法的方法流程图；

图2示出了本发明所提供的一种基于图数据库的数据处理装置的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明基于图数据库的数据处理方法运行于多层级的数据仓库，进行数据处理与存储，数据仓库包括缓冲层、贴源层、原子层、整合层、集市层和应用层。

其中，缓冲层是数据仓库的数据入口，其数据表模型与源系统完全一致，数据不会做任何处理，但是会加一个时间戳字段，供贴源层抽取数据用，数据只保留固定周期的数据，例如保留一周或者一个月的数据，具体周期根据实际情况决定。

贴源层的数据保存了源系统数据的所有信息，并且在此基础上对源头数据做了历史归档、标准化等处理，该层存储了较长周期的历史数据，一般为三年，以保证能做历史数据分析，保证整个数据仓库用的是一套完整的数据标准。

原子层是数据仓库中最具有设计元素的层。它以某种形式组织或归类分散在各个源表中的信息项，具有高度抽象性、原子性等特点的层。通过这种形式组织或归类方式，有效的避免了数据冗余、数据缺失等情况带来的数据不一致。

整合层是将原子层的多源数据通过一定的规则进行合并，最终整合成唯一的信息。

集市层是应用基础层，关联拼接整合区的片段表，将这些信息拼在一起形成各类应用需要的基础宽表；同时生成一些公共的统计指标表，以减少应用层的重复计算。

应用层是面向各类个性化应用的数据服务区域。

第一方面，本发明实施例所提供的一种基于图数据库的数据处理方法，结合图1，该方法包括：

步骤S1：对每条数据所涉及的实体之间建立关联关系，所述实体包括人物、企业、事件或标准地址等信息。

步骤S2：将各个实体及各个实体之间的关联关系转化为图数据。

由上述技术方案可知，本实施例提供的基于图数据库的数据处理方法，将每条数据所涉及的实体之间建立关联关系，并将建立关联关系的实体转化为图数据。采用图数据存储每条数据所涉及的实体，将结构化数据转化为图数据，降低数据查询时的运算量，提高数据查询效率，有助于获取准确的数据查询结果。

为了进一步提高本实施例基于图数据库的数据处理方法的准确性，具体地，在图数据转化方面，对每条数据所涉及的实体之间建立关联关系时，具体实现过程如下：

在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系。

将各个实体及各个实体之间的关联关系更新至图数据库。

将各个实体及各个实体之间的关联关系转化为图数据时，具体实现过程如下：在图数据库中，将各个实体转化为图数据中的顶点。

在图数据库中，将每个实体之间的关联关系转化为相应顶点之间的边。

在此，本实施例基于图数据库的数据处理方法，在数据仓库的原子层中，将每条数据所涉及的实体之间建立关联关系，以便于后续进行数据查询时，能够获取准确、全面的查询结果。同时，该方法还能够将各个实体之间的关联关系转化为图数据，并存储至图数据库中，以便于降低数据查询的运算量，提高数据查询效率。

并且，将各个实体转化为图数据中的顶点时，具体实现过程为：

查询图数据中的顶点，判断是否存在与实体所对应的顶点：

若是，则该顶点即为该实体所对应的顶点，若否，则建立与所述实体对应的顶点。

将每个实体之间的关联关系转化为相应顶点之间的边时，具体实现过程为：

查询图数据中的边，判断是否存在与每个实体之间的关联关系所对应的边：若是，则所述边即为该实体之间关联关系所对应的边，若否，则根据每个实体之间的关联关系，在该实体所对应的顶点之间建立相应的边。

在此，本实施例基于图数据库的数据处理方法，能够逐个查询实体所对应的顶点，并建立图数据库中所没有顶点。同样，该方法还能够完善各个实体之间关联关系所对应的边，以便于在将结构化数据准确、完整地转化为图数据，为大数据查询业务提供信息支持。

具体地，在地址标准化处理方面，本实施例基于图数据库的数据处理方法能够对不同源数据的地址信息进行标准化处理，即在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系之前，该方法还能够在数据仓库的贴源层，对贴源层中每条数据信息的地址信息进行标准化处理，形成标准地址，并将每条数据信息更新至原子层。

在此，本实施例基于图数据库的数据处理方法，在数据仓库的贴源层中，对不同源数据的地址信息进行标准化处理，以便于所有信息均以同一套标准来表达，保证各源数据标准完全统一。

并且，对贴源层中每条数据信息的地址信息进行标准化处理，形成标准地址时，具体实现过程为：对贴源层中每条数据信息的地址信息进行切分。例如，按照行政等级，对地址信息中的国籍、省份、市级、区级等进行切分。

根据图数据中标准地址所对应的顶点及顶点之间的关联关系，对切分后的地址信息进行标准化处理，形成标准地址。

在此，本实施例基于图数据库的数据处理方法，能够将地址信息进行切分，根据标准地址对切分后的地址信息进行标准化处理，即使地址信息中存在信息缺失或信息不全的现象，也能够形成标准地址。

例如，对于一条地址信息为“某市某街道”，进行切分之后，则为“某市”和“某街道”，该条地址信息不存在“区级”。采用标准地址处理切分后的地址信息，也能够精确定位出该条地址信息所对应的“区级”，以形成标准地址。

第二方面，本发明实施例提供一种基于图数据库的数据处理装置，结合图2，该装置包括信息关联模块1和图数据转化模块2，信息关联模块1用于对每条数据所涉及的实体之间建立关联关系，所述实体包括人物、企业、事件或标准地址；图数据转化模块2用于将各个实体及各个实体之间的关联关系转化为图数据。

由上述技术方案可知，本实施例提供的基于图数据库的数据处理装置，将每条数据所涉及的实体之间建立关联关系，并将建立关联关系的实体转化为图数据。采用图数据存储每条数据所涉及的实体，将结构化数据转化为图数据，降低数据查询时的运算量，提高数据查询效率，有助于获取准确的数据查询结果。

为了进一步提高本实施例基于图数据库的数据处理装置的准确性，具体地，在图数据转化方面，信息关联模块1具体包括数据关联子模块和数据更新子模块，数据关联子模块用于在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系；数据更新子模块用于将各个实体及各个实体之间的关联关系更新至图数据库。

图数据转化模块2具体包括顶点转化子模块和边转化子模块，顶点转化子模块用于在图数据库中，将各个实体转化为图数据中的顶点；边转化子模块用于在图数据库中，将每个实体之间的关联关系转化为相应顶点之间的边。

在此，本实施例基于图数据库的数据处理装置，在数据仓库的原子层中，采用信息关联模块1，将每条数据所涉及的实体之间建立关联关系，以便于后续进行数据查询时，能够获取准确、全面的查询结果。同时，该装置还能够采用图数据转化模块2，将各个实体之间的关联关系转化为图数据，并存储至图数据库中，以便于降低数据查询的运算量，提高数据查询效率。

并且，顶点转化子模块在将各个实体转化为图数据中的顶点时，具体用于：查询图数据中的顶点，判断是否存在与实体所对应的顶点：若是，则该顶点即为该实体所对应的顶点，若否，则建立与实体对应的顶点。

边转化子模块在将每个实体之间的关联关系转化为相应顶点之间的边时，具体用于：查询图数据中的边，判断是否存在与每个实体之间的关联关系所对应的边：若是，则所述边即为该实体之间关联关系所对应的边，若否，则根据每个实体之间的关联关系，在该实体所对应的顶点之间建立相应的边。

在此，本实施例基于图数据库的数据处理装置，能够逐个查询实体所对应的顶点，并建立图数据库中所没有顶点。同样，该装置还能够完善各个实体之间关联关系所对应的边，以便于在将结构化数据准确、完整地转化为图数据，为大数据查询业务提供信息支持。

具体地，在地址标准化处理方面，本实施例基于图数据库的数据处理装置能够对不同源数据的地址信息进行标准化处理，即本实施例基于图数据库的数据处理装置还包括地址标准化模块，地址标准化模块用于在数据仓库的贴源层，对贴源层中每条数据的地址信息进行标准化处理，形成标准地址，并将每条数据更新至原子层。

在此，本实施例基于图数据库的数据处理装置，在数据仓库的贴源层中，对不同源数据的地址信息进行标准化处理，以便于所有信息均以同一套标准来表达，保证各源数据标准完全统一。

并且，地址标准化模块对贴源层中每条数据的地址信息进行标准化处理，形成标准地址时，具体用于：对贴源层中每条数据的地址信息进行切分；根据图数据中标准地址所对应的顶点及顶点之间的关联关系，对切分后的地址信息进行标准化处理，形成标准地址。

在此，本实施例基于图数据库的数据处理装置，采用地址标准化模块将地址信息进行切分，根据标准地址对切分后的地址信息进行标准化处理，即使地址信息中存在信息缺失或信息不全的现象，也能够形成标准地址。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

需要说明的是，附图中的流程图和框图显示了根据本发明的多个实施例的服务器、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的服务器来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例所提供的配置装置可以是计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的服务器、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的服务器、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个服务器，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以发布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于图数据库的数据处理方法，其特征在于，包括：

对每条数据所涉及的实体之间建立关联关系，所述实体包括人物、企业、事件或标准地址；

将各个实体及各个实体之间的关联关系转化为图数据。

2.根据权利要求1所述基于图数据库的数据处理方法，其特征在于，

对每条数据所涉及的实体之间建立关联关系，具体包括：

在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系；

将各个实体及各个实体之间的关联关系更新至图数据库；

将各个实体及各个实体之间的关联关系转化为图数据，具体包括：

在所述图数据库中，将各个实体转化为图数据中的顶点；

在所述图数据库中，将每个实体之间的关联关系转化为相应顶点之间的边。

3.根据权利要求2所述基于图数据库的数据处理方法，其特征在于，

将各个实体转化为图数据中的顶点，具体包括：

查询图数据中的顶点，判断是否存在与实体所对应的顶点：

若否，则建立与所述实体对应的顶点；

将每个实体之间的关联关系转化为相应顶点之间的边，具体包括：

查询图数据中的边，判断是否存在与每个实体之间的关联关系所对应的边：

若否，则根据每个实体之间的关联关系，在该实体所对应的顶点之间建立相应的边。

4.根据权利要求2所述基于图数据库的数据处理方法，其特征在于，

在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系之前，该方法还包括：

在数据仓库的贴源层，对贴源层中每条数据的地址信息进行标准化处理，形成标准地址，并将每条数据更新至所述原子层。

5.根据权利要求4所述基于图数据库的数据处理方法，其特征在于，

对贴源层中每条数据的地址信息进行标准化处理，形成标准地址，具体包括：

对贴源层中每条数据的地址信息进行切分；

根据所述图数据中标准地址所对应的顶点及顶点之间的关联关系，对切分后的地址信息进行标准化处理，形成所述标准地址。

6.一种基于图数据库的数据处理装置，其特征在于，包括：

信息关联模块：用于对每条数据所涉及的实体之间建立关联关系，所述实体包括人物、企业、事件或标准地址；

图数据转化模块：用于将各个实体及各个实体之间的关联关系转化为图数据。

7.根据权利要求6所述基于图数据库的数据处理装置，其特征在于，

所述信息关联模块，具体包括：

数据关联子模块：用于在数据仓库的原子层，对每条数据所涉及的实体之间建立关联关系；

数据更新子模块：用于将各个实体及各个实体之间的关联关系更新至图数据库；

所述图数据转化模块，具体包括：

顶点转化子模块：用于在所述图数据库中，将各个实体转化为图数据中的顶点；

边转化子模块：用于在所述图数据库中，将每个实体之间的关联关系转化为相应顶点之间的边。

8.根据权利要求7所述基于图数据库的数据处理装置，其特征在于，

所述顶点转化子模块，将各个实体转化为图数据中的顶点时，具体用于：查询图数据中的顶点，判断是否存在与实体所对应的顶点：若否，则建立与所述实体对应的顶点；

所述边转化子模块，将每个实体之间的关联关系转化为相应顶点之间的边时，具体用于：查询图数据中的边，判断是否存在与每个实体之间的关联关系所对应的边：若否，则根据每个实体之间的关联关系，在该实体所对应的顶点之间建立相应的边。

9.根据权利要求7所述基于图数据库的数据处理装置，其特征在于，该装置还包括地址标准化模块：用于在数据仓库的贴源层，对贴源层中每条数据的地址信息进行标准化处理，形成标准地址，并将每条数据更新至所述原子层。

10.根据权利要求9所述基于图数据库的数据处理装置，其特征在于，

所述地址标准化模块，对贴源层中每条数据的地址信息进行标准化处理，形成标准地址时，具体用于：对贴源层中每条数据的地址信息进行切分；根据所述图数据中标准地址所对应的顶点及顶点之间的关联关系，对切分后的地址信息进行标准化处理，形成所述标准地址。