CN109684392A - 数据处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请提出一种数据处理方法、装置、计算机设备及存储介质，其中，方法包括：获取待处理的多个数据来源；确定各数据来源对应的系统类型；根据各数据来源对应的系统类型，从预设本体模型组中获取各数据来源对应的本体模型；根据各本体模型，分别对对应的数据来源中保存的数据进行映射处理，以得到各数据来源对应的本体数据；将各数据来源对应的本体数据保存到所述本体数据库中。本申请实施例提供方法，通过各数据来源对应的本体模型，对对应数据来源中的数据进行本体映射，从而可得到格式统一的本体数据，并将本体数据进行保存，以方便后续建立联网系统使用。

Description

数据处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

随着互联网的快速发展，以及信息化和电子化的全面普及，互联网数据、社会数据等数据呈现爆炸式增长，由于产生这些数据的数据来源不同，其不同数据来中数据的数据结构也会存在差异(即不同数据源的数据格式不同)，因此，这些数据通常为异构数据。由于不同数据之间的异构性，往往需要对异构数据进行同构化处理，以方便后续对数据进行处理。

在大数据工业中，在根据具有关联关系的多个系统建立联网网络时，如何对不同数据源的数据格式不同的源数据进行同构化处理是构建关联网络亟待解决的问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种数据处理方法，通过各数据来源对应的本体模型，对对应数据来源中的数据进行本体映射，从而可得到格式统一的本体数据，并将本体数据进行保存，以方便后续建立联网系统使用。

本申请的第二个目的在于提出一种数据处理装置。

本申请的第二个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种数据处理方法，包括：获取待导入数据库的源数据集合，其中，所述源数据集合包括来源于多个数据源的多个源数据表；对所述多个源数据表进行数据结构识别，并根据识别结果对所述多个源数据表进行聚类，以获取多组同构数据；获取与每组同构数据对应的清洗与转换规则；根据每组同构数据对应的清洗与转换规则对每组同构数据进行处理，并将每组处理后的数据导入所述数据库。

根据本申请的一个实施例，在所述将各数据来源对应的本体数据保存到所述本体数据库中之前，还包括：根据各数据来源对应的本体模型之间的实体关系，对各数据来源各自对应的本体数据进行融合处理，以得到融合后的本体数据；所述将各数据来源对应的本体数据保存到所述本体数据库中，包括：将所述融合后的本体数据保存到所述本体数据库中。

根据本申请的一个实施例，所述确定各数据来源对应的系统类型，包括：根据预存的数据来源与系统类型的对应关系，确定各数据来源对应的系统类型。

根据本申请的一个实施例，还包括：根据所述本体数据库，建立知识图谱，所述知识图谱中的各节点分别为所述本体数据库中的各实体，所述各节点间的关联边为对应实体间的关系数据。

本申请实施例的数据处理方法，对不同数据来源，根据其各数据来源对应的系统信息，从本体模型组中获取各数据来源对应的本体模型，然后，通过各数据来源对应的本体模型，对对应数据来源中的数据进行本体映射，从而可得到格式统一的本体数据，并将本体数据进行保存，以方便后续建立联网系统使用。

为达上述目的，本申请第二方面实施例提出了一种数据处理装置，包括：第一获取模块，用于获取待处理的多个数据来源；确定模块，用于确定各数据来源对应的系统类型；第二获取模块，用于根据各数据来源对应的系统类型，从预设本体模型组中获取各数据来源对应的本体模型；映射处理模块，用于根据各本体模型，分别对对应的数据来源中保存的数据进行映射处理，以得到各数据来源对应的本体数据；保存模块，用于将各数据来源对应的本体数据保存到所述本体数据库中。

根据本申请的一个实施例，所述第一处理模块，包括：提取单元，用于对每个源数据表中每列数据进行特征提取，以获取每列数据的特征提取结果；第一确定单元，用于针对每个源数据表，根据每列数据的特征提取结果确定每列数据的属性类别；第二确定单元，用于根据每个源数据表中每列数据的属性类别分别确定每个源数据表中的实体；聚类单元，用于根据每个源数据表中的实体对多个源数据表进行聚类，以将具有相同实体的源数据表作为一组。

根据本申请的一个实施例，还包括：融合处理模块，用于根据各数据来源对应的本体模型之间的实体关系，对各数据来源各自对应的本体数据进行融合处理，以得到融合后的本体数据；所述保存模块，具体用于：将所述融合后的本体数据保存到所述本体数据库中。

根据本申请的一个实施例，所述确定模块，具体用于：根据预存的数据来源与系统类型的对应关系，确定各数据来源对应的系统类型。

根据本申请的一个实施例，还包括：图谱构建模块，用于根据所述本体数据库，建立知识图谱，所述知识图谱中的各节点分别为所述本体数据库中的各实体，所述各节点间的关联边为对应实体间的关系数据。

本申请实施例的数据处理装置，对不同数据来源，根据其各数据来源对应的系统信息，从本体模型组中获取各数据来源对应的本体模型，然后，通过各数据来源对应的本体模型，对对应数据来源中的数据进行本体映射，从而可得到格式统一的本体数据，并将本体数据进行保存，以方便后续建立联网系统使用。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，该计算机设备包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现本发明第一方面实施例的数据处理方法。为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如第一方面实施例所述的数据处理方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请一个实施例的数据处理方法的流程示意图；

图2为根据本申请另一个实施例的数据处理方法的流程示意图；

图3为根据本申请又一个实施例的数据处理方法的流程示意图；

图4为根据本申请一个实施例的数据处理装置的结构示意图；

图5为根据本申请另一个实施例的数据处理装置的结构示意图；

图6为根据本申请又一个实施例的数据处理装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的数据处理方法及装置。

图1为根据本申请一个实施例的数据处理方法的流程示意图。

如图1所示，该数据处理方法包括以下步骤：

步骤101，获取待处理的多个数据来源。

其中，需要理解的是，对于不同的数据来源来说，其对应的数据结构不同。也就是说，不同数据来源，其对应的数据结构不同。

例如，数据来源为两个，第一数据来源和第二数据来源中的源数据为异构数据。

其中，需要说明的是，不同数据来源所对应的系统不同，例如，数据来源1所对应的系统可为个人诚信系统，数据来源2对应的系统可为个人贷款系统。

步骤102，确定各数据来源对应的系统类型。

其中，需要理解的是，在实际应用中，在对多个系统建立联网网络时，由于数据都是来源于真实世界中的各种人、事、物，即，多个系统中所对应的数据之间具体一定的联系，可根据本体论对各个系统中的数据进行分析，并将其按照本体定义来进行统一组织和处理。

例如，两个系统中均用到用户的身份号，假设系统1用户字段AID表示身份证号，系统2用字段BID表示身份号，在根据这两系统建立联网系统时，此时，可在联网系统中对应的本体数据库中，用字段ID表示身份证号，并建立系统1中的字段AID与联网系统中的字段ID之间的映射关系，以及建立系统2中的字段BID与联网系统中的字段ID之间的映射关系。

其中，对于不同领域而言，在将同一个领域中具有关联关系的多个系统联合在一起，以建立联网系统，达到多个系统中的信息可以信息互通共享。

举例而言，对于公安大数据领域，系统类型可以包括但不限于人口普查系统、乘车系统、公民身份信息系统等。

在本申请的一个实施例中，在不同的应用场景中，可根据多种方式确定各数据来源对应的系统类型，举例说明如下：

作为一种示例，根据预存的数据来源与系统类型的对应关系，确定各数据来源对应的系统类型。

具体地，针对每个数据来源，获取每个数据来源的数据来源标识，并根据预存的数据来源标识与系统类型的对应关系，确定数据来源对应的系统类型。

作为另一种示例，对于每个数据来源，每个数据来源设置有系统标识字段，可根据预先保存的系统标识与系统类型的对应关系，确定与对应系统标识对应的系统类型。

步骤103，根据各数据来源对应的系统类型，从预设本体模型组中获取各数据来源对应的本体模型。

其中，本体模型包括本体、属性、关系等信息。

步骤104，根据各本体模型，分别对对应的数据来源中保存的数据进行映射处理，以得到各数据来源对应的本体数据。

步骤105，将各数据来源对应的本体数据保存到本体数据库中。

本申请实施例的数据处理方法，对不同数据来源，根据其各数据来源对应的系统信息，从本体模型组中获取各数据来源对应的本体模型，然后，通过各数据来源对应的本体模型，对对应数据来源中的数据进行本体映射，从而可得到格式统一的本体数据，并将本体数据进行保存，以方便后续建立联网系统使用。

图2为根据本申请一个实施例的数据处理方法的流程示意图。

如图2所示，该数据处理方法包括以下步骤：

步骤201，获取待处理的多个数据来源。

步骤202，确定各数据来源对应的系统类型。

步骤203，根据各数据来源对应的系统类型，从预设本体模型组中获取各数据来源对应的本体模型。

步骤204，根据各本体模型，分别对对应的数据来源中保存的数据进行映射处理，以得到各数据来源对应的本体数据。

步骤205，根据各数据来源对应的本体模型之间的实体关系，对各数据来源各自对应的本体数据进行融合处理，以得到融合后的本体数据。

步骤206，将融合后的本体数据保存到本体数据库中。

在本示例中，在获取各数据来源对应的本体数据后，可根据各数据来源对应的本体模型之间的实体关系，对各数据来源各自对应的本体数据进行融合处理，然后，将融合后的本体数据保存到本体数据库中，可降低保存本体数据的存储成本。

其中，需要理解的是，本体数据库中的本体数据除了供后续联网系统使用外，还可以通过本体数据库中的本体数据对对应系统中的数据进行补充，或者验证。

举例而言，对于一份关于人口普查系统的基础数据，按照本体论的定义，可以将其映射成本体论中的“人”实体，包含“身份证号”、“姓名”、“性别”、“籍贯”、“手机号”、“婚姻状况”、“住址”等信息。对于一份乘火车系统的数据，我们按照本体论的定义，可以将其映射成本体论中的“车次”实体、“人”实体、以及“人”乘坐“车次”的关系。对于上述两个系统而言，同时出现的“人”实体，我们可以在本体论中，将其进行归一化融合，这样就使得一份人口普查中的“人”实体相关的信息，对一个“乘车”事件中“人”实体的基础信息进行了有效补充。

又例如，对应安保系统，可根据本体数据库中的“身份证号”－“姓名”信息对安保系统中的“身份证号”－“姓名”登记的真实性进行验证。

其中，需要理解的是，本体数据库中的本体数据除了供后续联网系统使用外，作为一种示例性的实施方式，如图3所示，在步骤105之后，还可以包括：

步骤301，根据本体数据库，建立知识图谱，知识图谱中的各节点分别为本体数据库中的各实体，各节点间的关联边为对应实体间的关系数据。

其中，知识图谱中还包括各节点及各关联边分别对应的属性信息。

在本示例中，将纷繁世界中的各种对象实体化，形成具有强大语义价值的知识图谱。

为了实现上述实施例，本申请还提出一种数据处理装置。

图4为根据本申请一个实施例的数据处理装置的结构示意图。

如图4所示，该数据处理装置可以包括第一获取模块110、确定模块120、第二获取模块130、映射处理模块140和保存模块150，其中：

第一获取模块110用于获取待处理的多个数据来源。

确定模块120用于确定各数据来源对应的系统类型。

第二获取模块130用于根据各数据来源对应的系统类型，从预设本体模型组中获取各数据来源对应的本体模型。

映射处理模块140用于根据各本体模型，分别对对应的数据来源中保存的数据进行映射处理，以得到各数据来源对应的本体数据。

保存模块150用于将各数据来源对应的本体数据保存到本体数据库中。

在本申请的一个实施例中，在图4所示的基础上，如图5所示，该装置还可以包括：

融合处理模块160，用于根据各数据来源对应的本体模型之间的实体关系，对各数据来源各自对应的本体数据进行融合处理，以得到融合后的本体数据。

保存模块150，具体用于：

将融合后的本体数据保存到本体数据库中。

在本申请的一个实施例中，确定模块120具体用于：根据预存的数据来源与系统类型的对应关系，确定各数据来源对应的系统类型。

在本申请的一个实施例中，在图4所示的基础上，如图6所示，该装置还包括：

图谱构建模块170，用于根据本体数据库，建立知识图谱，知识图谱中的各节点分别为本体数据库中的各实体，各节点间的关联边为对应实体间的关系数据。

其中，需要说明的是，上述图6所示的装置实施例的图谱构建模块170的结构也可以包含在上述图5所示的装置实施例中，该实施例对此不作限定。

其中，需要说明的是，前述对数据处理方法实施例的解释说明也适用于该实施例的数据处理装置实施例，此处不再赘述。

本申请实施例的数据处理装置，对不同数据来源，根据其各数据来源对应的系统信息，从本体模型组中获取各数据来源对应的本体模型，然后，通过各数据来源对应的本体模型，对对应数据来源中的数据进行本体映射，从而可得到格式统一的本体数据，并将本体数据进行保存，以方便后续建立联网系统使用。

为了实现上述实施例，本申请还提出一种计算机设备，该计算机设备包括处理器和存储器；

其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现上述实施例的数据处理方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例的数据处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：

获取待处理的多个数据来源；

确定各数据来源对应的系统类型；

根据各数据来源对应的系统类型，从预设本体模型组中获取各数据来源对应的本体模型；

根据各本体模型，分别对对应的数据来源中保存的数据进行映射处理，以得到各数据来源对应的本体数据；

将各数据来源对应的本体数据保存到所述本体数据库中。

2.如权利要求1所述的方法，其特征在于，在所述将各数据来源对应的本体数据保存到所述本体数据库中之前，还包括：

根据各数据来源对应的本体模型之间的实体关系，对各数据来源各自对应的本体数据进行融合处理，以得到融合后的本体数据；

所述将各数据来源对应的本体数据保存到所述本体数据库中，包括：

将所述融合后的本体数据保存到所述本体数据库中。

3.如权利要求1所述的方法，其特征在于，所述确定各数据来源对应的系统类型，包括：

根据预存的数据来源与系统类型的对应关系，确定各数据来源对应的系统类型。

4.如权利要求1所述的方法，其特征在于，还包括：

根据所述本体数据库，建立知识图谱，所述知识图谱中的各节点分别为所述本体数据库中的各实体，所述各节点间的关联边为对应实体间的关系数据。

5.一种数据处理装置，其特征在于，包括：

第一获取模块，用于获取待处理的多个数据来源；

确定模块，用于确定各数据来源对应的系统类型；

第二获取模块，用于根据各数据来源对应的系统类型，从预设本体模型组中获取各数据来源对应的本体模型；

映射处理模块，用于根据各本体模型，分别对对应的数据来源中保存的数据进行映射处理，以得到各数据来源对应的本体数据；

保存模块，用于将各数据来源对应的本体数据保存到所述本体数据库中。

6.如权利要求5所述的装置，其特征在于，还包括：

融合处理模块，用于根据各数据来源对应的本体模型之间的实体关系，对各数据来源各自对应的本体数据进行融合处理，以得到融合后的本体数据；

所述保存模块，具体用于：

将所述融合后的本体数据保存到所述本体数据库中。

7.如权利要求5所述的装置，其特征在于，所述确定模块，具体用于：

根据预存的数据来源与系统类型的对应关系，确定各数据来源对应的系统类型。

8.如权利要求5所述的装置，其特征在于，还包括：

图谱构建模块，用于根据所述本体数据库，建立知识图谱，所述知识图谱中的各节点分别为所述本体数据库中的各实体，所述各节点间的关联边为对应实体间的关系数据。

9.一种计算机设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-4中任一项所述的数据处理方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的数据处理方法。