CN114707029A - 一种图谱数据的处理方法、装置及电子设备 - Google Patents
一种图谱数据的处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114707029A CN114707029A CN202210239403.6A CN202210239403A CN114707029A CN 114707029 A CN114707029 A CN 114707029A CN 202210239403 A CN202210239403 A CN 202210239403A CN 114707029 A CN114707029 A CN 114707029A
- Authority
- CN
- China
- Prior art keywords
- data
- valid
- effective
- preset condition
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Instructional Devices (AREA)
Abstract
一种图谱数据的处理方法、装置及电子设备,该方法包括:接收用户端发送的初始图谱数据,获得所述初始图谱数据对应的第一数据以及第二数据,基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据,基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据,根据所述第一有效数据以及所述第二有效数据生成所述初始图谱数据对应的有效图谱数据。通过上述的方法,通过第一预设条件与第二预设条件对初始图谱数据进行筛选,能够确保筛选出的数据为有效图谱数据,进一步实现了对图谱结构形式存储的数据的有效筛选。
Description
技术领域
本申请涉及图谱数据处理技术领域,尤其涉及一种图谱数据的处理方法、装置及电子设备。
背景技术
随着图谱数据处理技术的发展,每一家公司在日常运营中生成的所有类型的数据将被存储在服务器中,服务器将对存储的数据进行分析,进而生成对应的数据分析结果,数据分析结果将作为该公司进行商务决策的重要依据,由于服务器中存储的数据中有大量的无效数据,无效数据为数据分析结果中不涉及的数据,需要进行说明的是,有效数据为数据分析结果中涉及的数据,为了节省存储空间以及避免该无效数据耗费大量的计算机资源,将对存储的数据进行过滤。
目前,为了对服务器中存储的数据进行过滤,采用的是一种数据过滤的方法,该方法是针对数据表形式存储的数据进行筛选,将数据表中的不同的列/行作上不同的标识信息,提取数据表中每个标识信息对应的列数据/行数据,用每个标识信息关联的筛选条件对该标识信息对应的列数据/行数据进行筛选,从而筛选出有效数据。但是,图谱结构形式存储的数据以图谱的形式存在,图谱结构没有行属性与列属性,图谱结构形式存储的数据的示意图如图1所示,一个圆圈代表一个数据节点,直线代表数据节点与数据节点之间的关联关系,根据现有的数据过滤方法对图谱结构形式存储的数据进行筛选时,无法在图谱结构形式存储的数据中提取出有效数据,进而无法对图谱结构形式存储的数据进行有效筛选。
发明内容
本申请提供了一种图谱数据的处理方法、装置及电子设备,通过设置的第一预设条件与第二预设条件对初始图谱数据进行筛选,确保能够从初始图谱数据中筛选出有效图谱数据,避免了从图谱结构形式存储的数据中无法提取出有效数据,从而能够实现对图谱结构形式存储的数据进行有效筛选。
第一方面,本申请提供了一种图谱数据的处理方法,所述方法包括:
接收用户端发送的初始图谱数据,获得所述初始图谱数据对应的第一数据以及第二数据,其中,所述第一数据为所述初始图谱数据中的每个数据节点中的数据,所述第二数据为所述初始图谱数据中每个数据节点与其他数据节点的关联关系;
基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据;
基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据;
根据所述第一有效数据以及所述第二有效数据生成所述初始图谱数据对应的有效图谱数据。
在一种可能的设计中,获得所述初始图谱数据对应的第二数据,包括:
检测所述初始图谱数据中是否存在与第一数字标识关联的第一合并数据,其中,所述第一合并数据为将相同的数据节点进行合并的数据;
确定所述初始图谱数据中存在第一合并数据时,将所述第一合并数据进行拆分,获得所述第一合并数据对应的至少两个第二数据。
在一种可能的设计中,将所述第一合并数据进行拆分,包括:
获得所述第一合并数据关联的第一数字标识,将所述第一合并数据拆分为所述第一数字标识对应的数量的第二数据。
在一种可能的设计中,基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据,包括:
提取所述第一数据对应的身份信息和/或地址信息;
在所述第一数据中筛选出所述身份信息与所述第一预设条件中的预设身份信息一致的数据,并将该数据作为第一有效数据;和/或
在所述第一数据中筛选出所述地址信息与所述第一预设条件中的预设地址信息一致的数据,并将该数据作为第一有效数据。
在一种可能的设计中,将该数据作为第一有效数据,包括:
将所述第一数据中未被筛选上的数据作为第一无效数据,并获得与所述第一无效数据存在关联的第一关联数据;
当所述第一无效数据以及所述第一关联数据与所述第一有效数据之间有相同数据时,将所述相同数据从所述第一有效数据中删除,获得第一有效数据。
在一种可能的设计中,获得第一有效数据,包括:
检测是否存在与其他数据节点没有关联关系的第一有效数据;
确定存在与其他数据节点没有关联关系的第一有效数据时,将所述与其他数据节点没有关联关系的第一有效数据删除,获得第一有效数据。
在一种可能的设计中,基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据,包括:
提取所述第二数据进行存储时的时间信息和/或与其他数据节点的关联关系信息;
在所述第二数据中筛选出所述时间信息与所述第二预设条件中的预设时间信息一致的数据,并将所述数据作为第二有效数据;和/或
在所述第二数据中筛选出所述关联关系信息与所述第二预设条件中的预设关联关系信息一致的数据,并将所述数据作为第二有效数据。
在一种可能的设计中,将所述数据作为第二有效数据,包括:
将所述第二数据中未被筛选的数据作为第二无效数据,并获得与所述第二无效数据存在关联的第二关联数据;
当所述第二无效数据以及所述第二关联数据与所述第二有效数据之间有相同数据时,将所述相同数据从所述第二有效数据中删除,获得第二有效数据。
在一种可能的设计中,获得第二有效数据,包括:
检测是否存在与其他数据节点没有关联关系的第二有效数据;
确定存在与其他数据节点没有关联关系的第二有效数据时,将所述与其他数据节点没有关联关系的第二有效数据删除,获得第二有效数据。
在一种可能的设计中,基于第二预设条件对所述第二数据进行筛选,获得所述第二数据对应的第二有效数据,还包括:
获得所述第一合并数据对应的第二数据;
基于第二预设条件对所述第二数据进行筛选,将筛选出具有相同数据节点的数据进行合并,生成第二合并数据;
统计出进行合并的关联关系对应的数量,并根据所述数量生成第二数字标识;
将所述第二合并数据与所述第二数字标识进行关联,并将所述第二合并数据与所述第二数字标识进行关联之后的数据作为第二有效数据。
第二方面,本申请提供了一种图谱数据的处理装置,所述装置包括:
接收模块,用于接收用户端发送的初始图谱数据,获得所述初始图谱数据对应的第一数据以及第二数据;
筛选模块,用于基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据以及基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据;
生成模块,用于根据所述第一有效数据以及所述第二有效数据生成所述初始图谱数据对应的有效图谱数据。
在一种可能的设计中,所述接收模块,具体用于检测所述初始图谱数据中是否存在与第一数字标识关联的第一合并数据,确定所述初始图谱数据中存在第一合并数据时,将所述第一合并数据进行拆分,获得所述第一合并数据对应的至少两个第二数据。
在一种可能的设计中,所述接收模块,还用于获得所述第一合并数据关联的第一数字标识,将所述第一合并数据拆分为所述第一数字标识对应的数量的第二数据。
在一种可能的设计中,所述筛选模块,具体用于提取所述第一数据对应的身份信息和/或地址信息,在所述第一数据中筛选出所述身份信息与所述第一预设条件中的预设身份信息一致的数据,并将该数据作为第一有效数据,和/或在所述第一数据中筛选出所述地址信息与所述第一预设条件中的预设地址信息一致的数据,并将该数据作为第一有效数据。
在一种可能的设计中,所述筛选模块,还用于将所述第一数据中未被筛选上的数据作为第一无效数据,并获得与所述第一无效数据关联的关联数据,当所述第一无效数据以及所述关联数据与所述第一有效数据之间有相同数据时,将所述相同数据从所述第一有效数据中删除,获得第一有效数据。
在一种可能的设计中,所述筛选模块,还用于检测是否存在与其他数据节点没有关联关系的第一有效数据,确定存在与其他数据节点没有关联关系的第一有效数据时,将所述与其他数据节点没有关联关系的第一有效数据删除,获得第一有效数据。
在一种可能的设计中,所述筛选模块,还用于提取所述第二数据进行存储时的时间信息和/或与其他数据节点的关联关系信息,在所述第二数据中筛选出所述时间信息与所述第二预设条件中的预设时间信息一致的数据,并将所述数据作为第二有效数据,和/或在所述第二数据中筛选出所述关联关系信息与所述第二预设条件中的预设关联关系信息一致的数据,并将所述数据作为第二有效数据。
在一种可能的设计中,所述筛选模块,还用于将所述第二数据中未被筛选的数据作为第二无效数据,并获得与所述第二无效数据存在关联的关联数据,当所述第二无效数据以及所述关联数据与所述第二有效数据之间有相同数据时,将所述相同数据从所述第二有效数据中删除,获得第二有效数据。
在一种可能的设计中,所述筛选模块,还用于检测是否存在与其他数据节点没有关联关系的第二有效数据,确定存在与其他数据节点没有关联关系的第二有效数据时,将所述与其他数据节点没有关联关系的第二有效数据删除,获得第二有效数据。
在一种可能的设计中,所述筛选模块,还用于获得所述第一合并数据对应的第二数据,基于第二预设条件对所述第二数据进行筛选,将筛选出的具有相同数据节点的数据进行合并,生成第二合并数据,统计出进行合并的关联关系对应的数量,并根据所述数量生成第二数字标识,将所述第二合并数据与所述第二数字标识进行关联,并将所述第二合并数据与所述第二数字标识进行关联之后的数据作为第二有效数据。
第三方面,本申请提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行所述存储器上所存放的计算机程序时,实现上述的一种图谱数据的处理方法步骤。
第四方面,一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述的一种图谱数据的处理方法步骤。
上述第一方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明,这里不再重复赘述。
附图说明
图1为本申请提供的图谱结构形式存储的数据的示意图;
图2为本申请提供的一种图谱数据处理的方法结构示意图;
图3为本申请提供的第一合并数据的合并过程以及拆分过程的示意图;
图4为本申请提供的一种图谱数据处理的装置的结构示意图;
图5为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是,在本申请的描述中“多个”理解为“至少两个”。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。A与B连接,可以表示:A与B直接连接和A与B通过C连接这两种情况。另外,在本申请的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
在以往的技术中,对于服务器中存储的数据进行过滤采用的是一种数据过滤的方法,该方法是针对数据表形式存储的数据进行筛选,将数据表中不同的列/行作上不同的标识信息,提取每个标识信息对应的列数据/行数据,用每个标识信息关联的筛选条件对该标识信息对应的列数据/行数据进行筛选,从而筛选出有效数据。但是,由于图谱结构的数据没有行属性与列属性,采用该数据过滤的方法对图谱结构的数据进行筛选时,无法在图谱结构形式存储的数据中提取出有效数据,从而无法对图谱结构的数据进行有效筛选。
为了解决上述的问题,本申请实施例提供了一种图谱数据的处理方法,用以实现从图谱结构形式存储的数据中筛选出有效数据,进而实现对图谱结构形式存储的数据的有效筛选。其中,本申请实施例所述方法和装置基于同一技术构思,由于方法及装置所解决问题的原理相似,因此装置与方法的实施例可以相互参见,重复之处不再赘述。
下面结合附图,对本申请实施例进行详细描述。
参照图2,本申请提供了一种图谱数据的处理方法,该方法能够在图谱形式存储的数据中筛选出有效数据,从而实现对图谱形式存储的数据进行有效筛选,该方法的实现流程如下:
步骤S21:接收用户端发送的初始图谱数据,获得所述初始图谱数据对应的第一数据以及第二数据。
本申请实施例为了实现从图谱形式存储的数据中提取出有效数据,图谱形式存储的数据以图谱的形式存在,因此,本申请实施例最终获得的是有效图谱数据,为了提取出有效图谱数据,首先,需要从用户端获取初始图谱数据,从用户端获取初始图谱数据之后,为了实现对初始图谱数据的有效筛选,将从数据层面以及图谱结构层面对初始图谱数据进行筛选,从数据层面以及图谱结构层面对初始图谱数据进行筛选分别提取的数据如下:
从数据层面对初始图谱数据进行筛选需要从初始图谱数据中提取出第一数据,第一数据为初始图谱数据中每个数据节点中的数据。
从图谱结构层面对初始图谱数据进行筛选需要从初始图谱数据中提取出第二数据,第二数据为初始图谱数据中每个数据节点与其他数据节点的关联关系。
进一步需要说明的是,初始图谱中的数据可以为多个关联关系图谱构成,当初始图谱数据中存在第一合并数据时,为了实现对第一合并数据的有效筛选,需要将该第一合并数据拆分为至少两个第二数据,第一合并数据是由不同关联关系图谱中相同数据节点进行合并之后形成,实现了将多个关联关系图谱合并为一个关联关系图谱,合并之后的数据节点与数据节点的关联关系上会标记第一数字标识,该第一数字标识表示数据节点合并之前关联关系图谱的数量,如图3所示为第一合并数据的合并过程以及拆分过程,从左往右代表第一合并数据的合并过程,从右到左代表第一合并数据的拆分过程,图3中数据1节点与数据2节点都关联着相同的数据a节点与数据b节点,因此,可以将数据a节点与数据b节点进行合并,同时,将数据1节点与数据2节点隐藏,用第一数字标识2代表合并之前两个关联关系图谱的数量。
在本申请实施例中,第一合并数据还可以表示数据主节点与数据子节点,以图3为例,数据a节点与数据b节点为数据主节点,数据1节点与数据2节点为数据子节点,将数据子节点进行合并,但是,进行合并的不同关联关系图谱中的数据节点的数量应该相同,并且,数据节点与数据节点之间的关联关系数量一致,其他的合并数据合并以及拆分的过程参考图3中第一合并数据的拆分以及合并过程,因此,这里不做过多的阐述。
在将第一合并数据拆分后,由于第一合并数据至少为两个关联关系图谱进行合并,因此将第一合并数据进行拆分后至少有两个关联关系图谱,将第一合并数据进行拆分之后的关联关系图谱作为第二数据,第二数据的数量至少也为两个。
从初始图谱数据中提取的第一数据按照步骤S22进行处理,从初始图谱数据中提取的第二数据按照步骤S23进行处理。
通过上述的方法,按照数据层面以及图谱结构层面对初始图谱数据进行分类,将第一合并数据进行拆分后再处理,将初始图谱数据进行细致的分类,有利于从初始图谱数据中提取出有效图谱数据。
步骤S22:基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据。
从初始图谱数据中提取出第一数据之后,为了从第一数据中提取出第一有效数据,需要用第一预设条件从第一数据中筛选出第一有效数据,按照不同的方式从第一数据中筛选出第一有效数据的具体筛选过程如下:
方式一:当第一预设条件为预设身份信息时提取所述第一数据中每个数据节点对应的身份信息,检测每个数据节点的身份信息是否与第一预设条件中的预设身份信息一致,若该数据节点的身份信息与第一预设条件中的预设身份信息一致,则将该数据节点中的数据作为第一有效数据,若该数据节点的身份信息与第一预设条件中的预设身份信息不一致,则将该数据节点中的数据作为第一无效数据。
方式二:当第一预设条件为预设地址信息时提取所述第一数据中每个数据节点对应的地址信息,检测每个数据节点的地址信息是否与第一预设条件中的预设地址信息一致,若该数据节点的地址信息与第一预设条件中的预设地址信息一致,则将该数据节点中的数据作为第一有效数据,若该数据节点的地址信息与第一预设条件中的预设地址信息不一致,则将该数据节点中的数据作为第一无效数据。
在本申请实施例中需要说明的是,从第一数据中筛选出第一有效数据可以采用方式一和/或方式二,当采用方式一和方式二时,当第一数据中每个数据节点中的数据的身份信息与预设身份一致时,将进行方式二的检测,进行方式二的检测之后,当该数据节点中的数据的地址信息与预设地址一致时才能确定该数据节点中的数据为第一有效数据,具体的检测过程参考上述方式一和/或方式二,这里不做过多阐述。
进一步,在上述的描述中,获得第一有效数据是基于数据层面进行筛选,由于数据是以图谱形式进行存储,数据节点与数据节点之间具有关联关系,因此,还需要从图谱结构层面对第一有效数据进一步进行筛查,为了确保从第一数据中筛选出第一有效数据的准确度,需要获得第一无效数据以及与第一无效数据进行关联的数据,获得第一无效数据以及与第一无效数据进行关联的数据之后,将第一无效数据以及与第一无效数据进行关联的数据进行删除。
采取上述描述的步骤之后,能够确保获得的第一有效数据的准确度,用户端采用图谱形式存储数据,是由于图谱能够直观的展示数据与数据之间的关联关系,由初始图谱数据得到的有效图谱数据也是以图谱的形式展示,为了提取出的第一有效数据为有关联关系的数据,因此,还需要将第一有效数据中与其他数据节点没有关联关系的第一有效数据删除,获得最终的第一有效数据。
通过上述的方法,从数据层面,利用第一预设条件从第一数据中筛选出第一有效数据,在从图谱结构层面,对数据层面筛选出的第一有效数据再次进行筛查,确保了最终获得的第一有效数据是针对数据层面以及图谱结构层面的有效数据。
步骤S23:基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据。
从初始图谱数据中获得第二数据之后,为了确保基于第二数据中获得的第二有效数据形成的图谱数据为有效图谱数据,因此,需要从数据层面以及图谱结构层面对第二数据进行筛选,从数据层面对第二数据进行筛选的具体过程如下:
从数据层面从第二数据中筛选出第二有效数据,将通过第二预设条件实现,第二预设条件为第二数据存储的预设时间信息和/或与其他数据节点的关联关系信息,与其他数据节点的关联关系信息包括人与车的关联关系信息、学号与出勤日期的关联关系信息等,在本申请实施例中,与其他数据节点的关联关系信息为类别1与类别2的关联关系信息,在上述的举例中,人、车、学号、出勤日期为不同的类别,只要符合类别1与类别2的关联关系信息即可,类别1与类别2为不同的类别,这里不过多阐述。
基于上述对第二预设条件的说明之后,将采用第二预设条件在数据层面从第二数据中筛选出第二有效数据,从第二数据中筛选出第二有效数据的具体筛选过程如下:
方式一:当第二预设条件为预设时间信息时,提取第二数据中每个关联关系存储进服务器的时间信息,检测第二数据中每个关联关系存储进服务器的时间信息是否与预设时间信息一致,若该时间信息与预设时间信息一致,则将该关联关系作为第二有效数据,若该时间信息与预设时间信息不一致,则将该关联关系作为第二无效数据。
方式二:当第二预设条件为与其他数据节点的预设关联关系信息时,提取第二数据中每个关联关系对应的关联关系信息,检测每个关联关系对应的关联关系信息是否与预设关联关系信息一致,若每个关联关系对应的关联关系信息与预设关联关系信息一致,则将该关联关系作为第二有效数据,若每个关联关系对应的关联关系信息与预设关联关系信息不一致,则将该关联关系作为第二无效数据。
采用上述描述的方式一或方式二能够从第二数据中筛选出第二有效数据,在本申请实施例中,还可以将方式一与方式二进行结合,再对第二数据进行筛选,采用方式一和方式二时,当第二数据中每个关联关系存储进服务器的时间信息与预设时间信息一致时,将采用方式二对第二数据进行检测,当第二数据中的关联关系对应的关联关系信息与预设关联关系信息一致时,才能够从第二数据中确定出第二有效数据。
进一步需要说明的是,当初始图谱数据中有合并数据时,为了在合并数据中筛选出有效数据,需要将合并数据进行拆分,以第一合并数据为例,获得第一合并数据对应的第二数据,通过第二预设条件对第一合并数据对应的第二数据进行筛选,当第一合并数据对应的剩余的第二数据的数量不低于2时,为了简化有效图谱数据中的关联关系,将对剩余的第二数据再次进行合并,将第一合并数据中剩余的第二数据进行合并的具体过程如下:
计算出剩余的第二数据中关联关系的数量,基于该数量生成第二数字标识,同时,将剩余的第二数据中有相同数据节点的数据进行合并,生成第二合并数据,获得第二合并数据之后,将该第二合并数据与第二数字标识进行关联,并将该关联关系作为第二有效数据。
通过上述的步骤在数据层面从第二数据中筛选出第二有效数据之后,将在图谱结构层面再次对第二有效数据进行筛选,在图谱结构层面再次对第二有效数据进行筛选的具体过程如下:
经过数据层面的筛选之后,为了确保筛选出的第二有效数据的准确度,需要获得第二数据对应的第二无效数据以及第二无效数据的关联数据,将第二无效数据以及第二无效数据关联的数据在第二数据中进行删除。
将第二无效数据以及第二无效数据关联的数据进行删除之后,由于从初始图谱数据中最终获得的是有效图谱数据,有效图谱数据展现了数据节点与数据节点之间的关联关系,因此,将第二无效数据以及第二无效数据关联的数据进行删除之后,需要检测第二有效数据中是否有与其他数据节点没有关联关系的第二有效数据,若存在与其他数据节点没有关联关系的第二有效数据,则将该第二有效数据进行删除,若不存在与其他数据节点没有关联关系的第二有效数据,则不做任何操作。
通过上述描述的方法,在数据层面上从第二数据中筛选出第二有效数据,为了确保基于第二有效数据生成的有效图谱数据为各个数据节点进行关联的数据,再对第二有效数据进行筛选,确保了最终的第二有效数据是针对数据层面以及图谱结构层面的有效数据。
步骤S24:根据所述第一有效数据以及所述第二有效数据生成所述初始图谱数据对应的有效图谱数据。
经过上述描述的步骤从初始图谱数据中筛选出第一有效数据以及第二有效数据之后,根据第一有效数据以及第二有效数据生成图谱数据,将该图谱数据作为有效图谱数据,在本申请实施例中,将数据转换为图谱为本领域技术人员公知的技术,因此,这里不做过多阐述。
通过上述描述的方法,将初始图谱数据分为第一数据以及第二数据,在数据层面上按照第一预设条件对第一数据进行筛选以及按照第二预设条件对第二数据进行筛选,再从图谱结构层面上对第一有效数据以及第二有效数据进行筛选,获得最终的第一有效数据以及第二有效数据,最后基于第一有效数据以及第二有效数据生成的有效图谱数据,确保了有效图谱数据中每个数据节点存储的数据为有效数据,针对图谱形式存储的数据有了具体的筛选条件,实现了对图谱形式存储的数据进行有效筛选。
基于同一发明构思,本申请实施例中还提供了一种图谱数据的处理装置,该图谱数据的处理装置用于实现了一种图谱数据的处理方法的功能,参照图4,所述装置包括:
接收模块401,用于接收用户端发送的初始图谱数据,获得所述初始图谱数据对应的第一数据以及第二数据;
筛选模块402,用于基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据以及基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据;
生成模块403,用于根据所述第一有效数据以及所述第二有效数据生成所述初始图谱数据对应的有效图谱数据。
在一种可能的设计中,所述接收模块401,具体用于检测所述初始图谱数据中是否存在与第一数字标识关联的第一合并数据,确定所述初始图谱数据中存在第一合并数据时,将所述第一合并数据进行拆分,获得所述第一合并数据对应的至少两个第二数据。
在一种可能的设计中,所述接收模块401,还用于获得所述第一合并数据关联的第一数字标识,将所述第一合并数据拆分为所述第一数字标识对应的数量的第二数据。
在一种可能的设计中,所述筛选模块402,具体用于提取所述第一数据对应的身份信息和/或地址信息,在所述第一数据中筛选出所述身份信息与所述第一预设条件中的预设身份信息一致的数据,并将该数据作为第一有效数据,和/或在所述第一数据中筛选出所述地址信息与所述第一预设条件中的预设地址信息一致的数据,并将该数据作为第一有效数据。
在一种可能的设计中,所述筛选模块402,还用于将所述第一数据中未被筛选上的数据作为第一无效数据,并获得与所述第一无效数据存在关联的第一关联数据,当所述第一无效数据以及所述第一关联数据与所述第一有效数据之间有相同数据时,将所述相同数据从所述第一有效数据中删除,获得第一有效数据。
在一种可能的设计中,所述筛选模块402,还用于检测是否存在与其他数据节点没有关联关系的第一有效数据,确定存在与其他数据节点没有关联关系的第一有效数据时,将所述与其他数据节点没有关联关系的第一有效数据删除,获得第一有效数据。
在一种可能的设计中,所述筛选模块402,还用于提取所述第二数据进行存储时的时间信息和/或与其他数据节点的关联关系信息,在所述第二数据中筛选出所述时间信息与所述第二预设条件中的预设时间信息一致的数据,并将所述数据作为第二有效数据,和/或在所述第二数据中筛选出所述关联关系信息与所述第二预设条件中的预设关联关系信息一致的数据,并将所述数据作为第二有效数据。
在一种可能的设计中,所述筛选模块402,还用于将所述第二数据中未被筛选的数据作为第二无效数据,并获得与所述第二无效数据存在关联的第二关联数据,当所述第二无效数据以及所述第二关联数据与所述第二有效数据之间有相同数据时,将所述相同数据从所述第二有效数据中删除,获得第二有效数据。
在一种可能的设计中,所述筛选模块402,还用于检测是否存在与其他数据节点没有关联关系的第二有效数据,确定存在与其他数据节点没有关联关系的第二有效数据时,将所述与其他数据节点没有关联关系的第二有效数据删除,获得第二有效数据。
在一种可能的设计中,所述筛选模块402,还用于获得所述第一合并数据对应的第二数据,基于第二预设条件对所述第二数据进行筛选,将筛选出的具有相同数据节点的数据进行合并,生成第二合并数据,统计出进行合并的关联关系对应的数量,并根据所述数量生成第二数字标识,将所述第二合并数据与所述第二数字标识进行关联,并将所述第二合并数据与所述第二数字标识进行关联之后的数据作为第二有效数据。
基于同一发明构思,本申请实施例中还提供了一种电子设备,所述电子设备可以实现前述一种图谱数据的处理装置的功能,参考图5,所述电子设备包括:
至少一个处理器501,以及与至少一个处理器501连接的存储器502,本申请实施例中不限定处理器501与存储器502之间的具体连接介质,图5中是以处理器501和存储器502之间通过总线500连接为例。总线500在图5中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线500可以分为地址总线、数据总线、控制总线等,为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。或者,处理器501也可以称为控制器,对于名称不做限制。
在本申请实施例中,存储器502存储有可被至少一个处理器501执行的指令,至少一个处理器501通过执行存储器502存储的指令,可以执行前文论述的一种图谱数据的处理的方法。处理器501可以实现图4所示的装置中各个模块的功能。
其中,处理器501是该装置的控制中心,可以利用各种接口和线路连接整个该控制设备的各个部分,通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据,该装置的各种功能和处理数据,从而对该装置进行整体监控。
在一种可能的设计中,处理器501可包括一个或多个处理单元,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。在一些实施例中,处理器501和存储器502可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器501可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种图谱数据的处理方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器502作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通过对处理器501进行设计编程,可以将前述实施例中介绍的一种图谱数据的处理方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行图2所示的实施例的一种图谱数据的处理的步骤。如何对处理器501进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
基于同一发明构思,本申请实施例还提供一种存储介质,该存储介质存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行前文论述的一种图谱数据的处理方法。
在一些可能的实施方式中,本申请提供一种图谱数据的处理的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在装置上运行时,程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种图谱数据的处理方法中的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (22)
1.一种图谱数据的处理方法,其特征在于,包括:
接收用户端发送的初始图谱数据,获得所述初始图谱数据对应的第一数据以及第二数据,其中,所述第一数据为所述初始图谱数据中的每个数据节点中的数据,所述第二数据为所述初始图谱数据中每个数据节点与其他数据节点的关联关系;
基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据;
基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据;
根据所述第一有效数据以及所述第二有效数据生成所述初始图谱数据对应的有效图谱数据。
2.如权利要求1所述的方法,其特征在于,获得所述初始图谱数据对应的第二数据,包括:
检测所述初始图谱数据中是否存在与第一数字标识关联的第一合并数据,其中,所述第一合并数据为将相同的数据节点进行合并的数据;
确定所述初始图谱数据中存在第一合并数据时,将所述第一合并数据进行拆分,获得所述第一合并数据对应的至少两个第二数据。
3.如权利要求2所述的方法,其特征在于,将所述第一合并数据进行拆分,包括:
获得所述第一合并数据关联的第一数字标识,将所述第一合并数据拆分为所述第一数字标识对应的数量的第二数据。
4.如权利要求1所述的方法,其特征在于,基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据,包括:
提取所述第一数据对应的身份信息和/或地址信息;
在所述第一数据中筛选出所述身份信息与所述第一预设条件中的预设身份信息一致的数据,并将该数据作为第一有效数据;和/或
在所述第一数据中筛选出所述地址信息与所述第一预设条件中的预设地址信息一致的数据,并将该数据作为第一有效数据。
5.如权利要求4所述的方法,其特征在于,将该数据作为第一有效数据,包括:
将所述第一数据中未被筛选上的数据作为第一无效数据,并获得与所述第一无效数据存在关联的第一关联数据;
当所述第一无效数据以及所述第一关联数据与所述第一有效数据之间有相同数据时,将所述相同数据从所述第一有效数据中删除,获得第一有效数据。
6.如权利要求5所述的方法,其特征在于,获得第一有效数据,包括:
检测是否存在与其他数据节点没有关联关系的第一有效数据;
确定存在与其他数据节点没有关联关系的第一有效数据时,将所述与其他数据节点没有关联关系的第一有效数据删除,获得第一有效数据。
7.如权利要求1所述的方法,其特征在于,基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据,包括:
提取所述第二数据进行存储时的时间信息和/或与其他数据节点的关联关系信息;
在所述第二数据中筛选出所述时间信息与所述第二预设条件中的预设时间信息一致的数据,并将所述数据作为第二有效数据;和/或
在所述第二数据中筛选出所述关联关系信息与所述第二预设条件中的预设关联关系信息一致的数据,并将所述数据作为第二有效数据。
8.如权利要求7所述的方法,其特征在于,将所述数据作为第二有效数据,包括:
将所述第二数据中未被筛选的数据作为第二无效数据,并获得与所述第二无效数据存在关联的第二关联数据;
当所述第二无效数据以及所述第二关联数据与所述第二有效数据之间有相同数据时,将所述相同数据从所述第二有效数据中删除,获得第二有效数据。
9.如权利要求8所述的方法,其特征在于,获得第二有效数据,包括:
检测是否存在与其他数据节点没有关联关系的第二有效数据;
确定存在与其他数据节点没有关联关系的第二有效数据时,将所述与其他数据节点没有关联关系的第二有效数据删除,获得第二有效数据。
10.如权利要求1所述的方法,其特征在于,基于第二预设条件对所述第二数据进行筛选,获得所述第二数据对应的第二有效数据,还包括:
获得所述第一合并数据对应的第二数据;
基于第二预设条件对所述第二数据进行筛选,将筛选出的具有相同数据节点的数据进行合并,生成第二合并数据;
统计出进行合并的关联关系对应的数量,并根据所述数量生成第二数字标识;
将所述第二合并数据与所述第二数字标识进行关联,并将所述第二合并数据与所述第二数字标识进行关联之后的数据作为第二有效数据。
11.一种图谱数据的处理装置,其特征在于,所述装置包括:
接收模块,用于接收用户端发送的初始图谱数据,获得所述初始图谱数据对应的第一数据以及第二数据;
筛选模块,用于基于第一预设条件对所述第一数据进行筛选,获得所述第一数据中的第一有效数据以及基于第二预设条件对所述第二数据进行筛选,获得所述第二数据中的第二有效数据;
生成模块,用于根据所述第一有效数据以及所述第二有效数据生成所述初始图谱数据对应的有效图谱数据。
12.如权利要求11所述的装置,其特征在于,所述接收模块,具体用于检测所述初始图谱数据中是否存在与第一数字标识关联的第一合并数据,确定所述初始图谱数据中存在第一合并数据时,将所述第一合并数据进行拆分,获得所述第一合并数据对应的至少两个第二数据。
13.如权利要求11所述的装置,其特征在于,所述接收模块,还用于获得所述第一合并数据关联的第一数字标识,将所述第一合并数据拆分为所述第一数字标识对应的数量的第二数据。
14.如权利要求11所述的装置,其特征在于,所述筛选模块,具体用于提取所述第一数据对应的身份信息和/或地址信息,在所述第一数据中筛选出所述身份信息与所述第一预设条件中的预设身份信息一致的数据,并将该数据作为第一有效数据,和/或在所述第一数据中筛选出所述地址信息与所述第一预设条件中的预设地址信息一致的数据,并将该数据作为第一有效数据。
15.如权利要求11所述的装置,其特征在于,所述筛选模块,还用于将所述第一数据中未被筛选上的数据作为第一无效数据,并获得与所述第一无效数据关联的关联数据,当所述第一无效数据以及所述关联数据与所述第一有效数据之间有相同数据时,将所述相同数据从所述第一有效数据中删除,获得第一有效数据。
16.如权利要求11所述的装置,其特征在于,所述筛选模块,还用于检测是否存在与其他数据节点没有关联关系的第一有效数据,确定存在与其他数据节点没有关联关系的第一有效数据时,将所述与其他数据节点没有关联关系的第一有效数据删除,获得第一有效数据。
17.如权利要求11所述的装置,其特征在于,所述筛选模块,还用于提取所述第二数据进行存储时的时间信息和/或与其他数据节点的关联关系信息,在所述第二数据中筛选出所述时间信息与所述第二预设条件中的预设时间信息一致的数据,并将所述数据作为第二有效数据,和/或在所述第二数据中筛选出所述关联关系信息与所述第二预设条件中的预设关联关系信息一致的数据,并将所述数据作为第二有效数据。
18.如权利要求11所述的装置,其特征在于,所述筛选模块,还用于将所述第二数据中未被筛选的数据作为第二无效数据,并获得与所述第二无效数据存在关联的关联数据,当所述第二无效数据以及所述关联数据与所述第二有效数据之间有相同数据时,将所述相同数据从所述第二有效数据中删除,获得第二有效数据。
19.如权利要求11所述的装置,其特征在于,所述筛选模块,还用于检测是否存在与其他数据节点没有关联关系的第二有效数据,确定存在与其他数据节点没有关联关系的第二有效数据时,将所述与其他数据节点没有关联关系的第二有效数据删除,获得第二有效数据。
20.如权利要求11所述的装置,其特征在于,所述筛选模块,还用于获得所述第一合并数据对应的第二数据,基于第二预设条件对所述第二数据进行筛选,将筛选出的具有相同数据节点的数据进行合并,生成第二合并数据,统计出进行合并的关联关系对应的数量,并根据所述数量生成第二数字标识,将所述第二合并数据与所述第二数字标识进行关联,并将所述第二合并数据与所述第二数字标识进行关联之后的数据作为第二有效数据。
21.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行所述存储器上所存放的计算机程序时,实现权利要求1-10任一项所述的方法步骤。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210239403.6A CN114707029A (zh) | 2022-03-11 | 2022-03-11 | 一种图谱数据的处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210239403.6A CN114707029A (zh) | 2022-03-11 | 2022-03-11 | 一种图谱数据的处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114707029A true CN114707029A (zh) | 2022-07-05 |
Family
ID=82169399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210239403.6A Pending CN114707029A (zh) | 2022-03-11 | 2022-03-11 | 一种图谱数据的处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114707029A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116362166A (zh) * | 2023-05-29 | 2023-06-30 | 青岛泰睿思微电子有限公司 | 芯片封装用的图谱合并系统及方法 |
-
2022
- 2022-03-11 CN CN202210239403.6A patent/CN114707029A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116362166A (zh) * | 2023-05-29 | 2023-06-30 | 青岛泰睿思微电子有限公司 | 芯片封装用的图谱合并系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020034760A1 (zh) | 一种身份信息的识别方法及装置 | |
CN111639066A (zh) | 一种数据清洗的方法和装置 | |
CN104731816A (zh) | 一种处理异常业务数据的方法和装置 | |
CN111831629B (zh) | 一种数据处理方法及装置 | |
CN111262730B (zh) | 一种告警信息的处理方法及装置 | |
CN114037219A (zh) | 一种数据评估方法、装置及电子设备 | |
CN108073707B (zh) | 金融业务数据更新方法、装置及计算机可读取存储介质 | |
CN110688433B (zh) | 一种基于路径的特征生成方法及装置 | |
CN107679937B (zh) | 定制服务功能的方法、系统、存储介质及设备 | |
CN114707029A (zh) | 一种图谱数据的处理方法、装置及电子设备 | |
CN106202126A (zh) | 一种用于物流监控的数据分析方法和装置 | |
CN110232156B (zh) | 基于长文本的信息推荐方法及装置 | |
CN113313217B (zh) | 一种基于鲁棒性模板的倾角文字精准识别方法及系统 | |
CN112835682B (zh) | 一种数据处理方法、装置、计算机设备和可读存储介质 | |
CN111784246A (zh) | 物流路径的估测方法 | |
CN115905113A (zh) | 一种生成数据快照的方法及装置 | |
CN111382189A (zh) | 一种异源异构数据碰撞分析方法、终端设备及存储介质 | |
CN113656625B (zh) | 一种确定人体空间域的方法、装置及电子设备 | |
CN110363251B (zh) | 一种sku图像分类方法、装置、电子设备及存储介质 | |
CN109783464B (zh) | 一种基于Spark平台的频繁项集挖掘方法 | |
CN113254502B (zh) | 多方同类数据过滤取值的方法及系统及装置及介质 | |
CN116881514A (zh) | 基于图数据库的规则引擎、其数据处理方法、终端及介质 | |
CN113282968B (zh) | 车载设备串号的判断方法、装置、设备及存储介质 | |
CN113076316B (zh) | 一种信息关系映射的分析方法、装置、设备及存储介质 | |
CN114547328A (zh) | 一种身份信息识别方法、系统及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |