CN112486988A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112486988A CN112486988A CN202011359454.XA CN202011359454A CN112486988A CN 112486988 A CN112486988 A CN 112486988A CN 202011359454 A CN202011359454 A CN 202011359454A CN 112486988 A CN112486988 A CN 112486988A
- Authority
- CN
- China
- Prior art keywords
- entity
- hash
- target entity
- data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000015654 memory Effects 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 9
- 238000012216 screening Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010225 co-occurrence analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据处理方法、装置、设备及存储介质。数据处理方法包括：在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到目标实体的散列结果；查询散列表中是否存储有目标实体的散列结果；散列表存储有图形数据库中各实体的实体数据的散列结果；根据访问请求和针对目标实体的散列结果的查询结果，进行对应的访问操作。本申请可实现对访问请求的筛选，减少对图形数据库的无效访问，降低图形数据库的运行压力，提高图形数据库对线上服务的性能，提高线上服务的整体效率。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，本申请涉及一种数据处理方法、装置、设备及存储介质。
背景技术
在知识图谱应用中，当实体及关系级别达到一定的数量后，新增实体的知识融合和对查询的快速相应均收到一定的限制，不能满足业务的需求。
在现有的知识图谱的应用中，随着知识图谱规模的扩大，传统数据库的查询效率太低，已经不能很好的应用于知识检索查询中，因此，图形数据库被利用在关系查询中，来克服传统数据库的缺点。
然而，在实际应用中，对于针对图形数据库中实体的访问请求，图形数据库暴露出了一些缺点影响了其利用的效率，例如，图形数据库无法对无效的访问请求进行筛选，从而对每个访问请求都要进行处理，且都需要在图形数据库中进行相应的处理，图形数据库的运行压力大，严重影响线上服务的运行效率，甚至会导致服务卡顿。
发明内容
本申请针对现有方式的缺点，提出一种数据处理方法、装置、设备及存储介质，用以解决现有技术存在的图形数据库的运行压力大、运行效率低的技术问题。
第一方面，本申请实施例提供了一种数据处理方法，包括：
在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到目标实体的散列结果；
查询散列表中是否存储有目标实体的散列结果；散列表存储有图形数据库中各实体的实体数据的散列结果；
根据访问请求和针对目标实体的散列结果的查询结果，进行对应的访问操作。
第二方面，本申请实施例提供了一种数据处理装置，包括：
散列模块，用于在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到目标实体的散列结果；
查询模块，用于查询散列表中是否存储有目标实体的散列结果；散列表存储有图形数据库中各实体的实体数据的散列结果；
访问模块，用于根据访问请求和针对目标实体的散列结果的查询结果，进行对应的访问操作。
第三方面，本申请实施例提供一种数据处理设备，包括：
存储器；
处理器；
存储器存储有计算机程序，计算机程序由所述处理器执行以实现本申请实施例第一方面提供的数据处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的数据处理方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
本申请实施例在接收收到针对图形数据库的访问请求时，首先在散列表中查询所请示访问的目标实体的散列结果，根据对散列表的查询结果来对图形数据库执行相应的操作，可实现对访问请求的筛选，减少对图形数据库的无效访问，降低图形数据库的运行压力，提高图形数据库对线上服务的性能，提高线上服务的整体效率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种数据处理方法的流程示意图；
图2为本申请实施例中对实体进行散列操作得到散列表的示意图；
图3为本申请实施例提供的数据处理方法的一种可选实施方式的展开流程示意图；
图4为本申请实施例提供的数据处理方法的另一种可选实施方式的展开流程示意图；
图5为本申请实施例提供的一种数据处理装置的结构框架示意图；
图6为本申请实施例提供的一种数据处理设备的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
首先对本申请涉及的几个名词进行介绍和解释：
知识图谱(Knowledge Graph)：在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。
知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的现代理论。它能为学科研究提供切实的、有价值的参考。
图形数据库：NoSQL数据库的一种类型，它应用图形理论存储实体之间的关系信息。图形数据库是一种非关系型数据库，它应用图形理论存储实体之间的关系信息。最常见例子就是社会网络中人与人之间的关系。关系型数据库用于存储“关系型”数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷。
Neo4j是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中，它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。
散列函数：表示关键码key和其存储位置之间的对应关系(或称映射关系)H。入散列函数使得每个关键字key和唯一的存储位置相对应，将存储位置存储在一块连续的存储空间中，这块连续的存储空间称为散列表，所得的存储位置称为散列地址。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供了一种数据处理方法，如图1所示，该数据处理方法包括：
S101，在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到目标实体的散列结果。
在一个可选的实施方式中，在接收到实体新增请求时，根据至少一种散列函数对实体新增请求所请求新增的第一目标实体的实体数据进行散列操作，得到第一目标实体的散列结果。
在另一个可选的实施方式中，在接收到实体查询请求时，根据至少一种散列函数对实体查询请求所请求查询的第二目标实体的实体数据进行散列操作，得到第二目标实体的散列结果。
可选地，对所请求访问的目标实体的实体数据进行散列操作，包括：根据至少一种散列函数将目标实体的实体数据(作为关键码)映射为至少一个存储位置。
具体地，将目标实体输入散列函数中，得到目标实体在散列表中的存储位置，并将该存储位置标记为已被占用。
图2示出了一种对实体进行散列操作得到散列表的示意图，图2中tencent为实体名称，Hash1、Hash2和Hash3为三种散列函数，根据Hash1、Hash2和Hash3将tencent映射为3个存储位置(即图2中最下方的一排序号中序号3、4和8对应的存储位置)，存储位置处的数字1表示该存储位置已被占用，若存储位置处的数字为0，则表示该存储位置没有被占用。
S102，查询散列表中是否存储有目标实体的散列结果。
散列表存储有图形数据库中各实体的实体数据的散列结果。
可选地，散列表是通过以下方式形成的：根据至少一种散列函数将图形数据库中每个实体的实体数据映射为至少一个存储位置，将图形数据库中各实体的存储位置以散列表的形式存储。
在一个可选的实施方式中，查询散列表中是否存储有第一目标实体的散列结果。
在另一个可选的实施方式中，查询散列表中是否存储有第二目标实体的散列结果。
S103，根据访问请求和针对目标实体的散列结果的查询结果，进行对应的访问操作。
在一个可选的实施方式中，在确定散列表中没有存储第一目标实体的散列结果时，将第一目标实体的实体数据存入图形数据库中，并更新散列表。
可选地，在确定散列表中存储有第一目标实体的散列结果时，结束当前流程或执行以下操作：
将获取到的第一目标实体的实体数据与图形数据库中存储的第一目标实体的实体数据进行自然语言融合，将融合后的实体数据存入图形数据库。
在另一个可选的实施方式中，在确定散列表中存储有第二目标实体的散列结果时，查询图形数形库中存储的第二目标实体的实体数据；在确定散列表中没有存储第二目标实体的散列结果时，返回空值。
应用本申请实施例的技术方案，至少能够实现如下有益效果：
本申请实施例在接收收到针对图形数据库的访问请求时，首先在散列表中查询所请示访问的目标实体的散列结果，根据对散列表的查询结果来对图形数据库执行相应的操作，可实现对访问请求的筛选，减少对图形数据库的无效访问，降低图形数据库的运行压力，提高图形数据库对线上服务的性能，提高线上服务的整体效率；同时散列表的内存保存也能够有效改善访问的延迟情况，提高线上服务的质量。
下面参照图3，对本申请实施例提供的数据处理方法的一种可选的实施方式的展开流程进行介绍：
S301，在接收到实体新增请求时，根据至少一种散列函数对实体新增请求所请求新增的第一目标实体的实体数据进行散列操作，得到第一目标实体的散列结果。
可选地，根据至少一种散列函数将第一目标实体的实体数据(作为关键码)映射为至少一个存储位置。
具体地，将第一目标实体输入散列函数中，得到第一目标实体在散列表中的存储位置，并将该存储位置标记为已被占用。
可选地，本申请实施例中的实体数据包括实体名称(例如人名、地名、机构名等)和属性数据(例如某个人名对应的用户的年龄、性别、职业等)；
可选地，在实体名称和属性数据的基础上，本申请实施例中的实体数据还包括该实体与其它实体的层次关系。
S302，查询散列表中是否存储有第一目标实体的散列结果；若是，则执行S303；若否，则执行S304。
可选地，查询散列表中第一目标实体的存储位置是否已被占用的状态，是则表示散列表中存储有第一目标实体的散列结果，否则表示散列中没有存储第一目标实体的散列结果。
S303，将获取到的第一目标实体的实体数据与图形数据库中存储的所述第一目标实体的实体数据进行自然语言融合，将融合后的实体数据存入图形数据库。
可选地，当实体数据包括实体名称和属性数据时，将获取到的第一目标实体的实体数据与图形数据库中存储的第一目标实体的实体数据进行自然语言融合操作，包括：
将获取到的第一目标实体的实体名称与图形数据库中存储的第一目标实体的实体名称进行融合；将获取到的第一目标实体的属性数据与图形数据库中存储的第一目标实体的属性数据进行融合。
具体地，对实体名称的融合其含义为：将待新增的第一目标实体的实体名称与图形数据库中已存储的第一目标实体的实体名称进行文本上的合并，合并后的结果作为该第一目标实体的实体名称的新描述；对属性数据的融合其含义为：将待新增的第一目标实体的属性数据与图形数据库中已存储的第一目标实体的属性数据进行文本上的合并，合并后的结果作为该第一目标实体的属性数据的新描述。
传统的融合操作包括以下步骤：
1)数据清洗，即将实体名称和属性数据的内容规范化。
2)相似度计算，即通过word2vec等算法将实体名称或属性数据向量化并赋予其空间向量值。
3)根据相似度计算结果对相似度高的实体名称或属性数据进行进一步判别并融合。具体为利用较新的融合算法(如bert深度学习算法)学习实体名称或属性数据中的语境，进而判断实体名称和属性数据所属的实体是否为同一实体、新旧实体名称和新旧属性数据是否能够相互补充，从而完成实体名称与属性数据的融合。
S304，将第一目标实体的实体数据存入图形数据库中，并更新散列表。
可选地，更新散列表包括：修改已映射出的第一目标实体的存储位置的占用情况，以图2中为例，若已映射出的待存入的第一目标实体的存储位置为图2中的存储位置2，则将该存储位置2上的0改为1。
可选地，若第一目标实体的实体数据中包括第一目标实体与其它实体的层级关系，则将第一目标实体的实体数据存入图形数据库中包括对根据存储的第一目标实体与其它实体的层级关系，对各图形数据库中的各实体的层级进行调整。
基于该实施方式，在面对在图形数据库新增实体的需求时，可首先在散列表中的查询相应的记录，在散列表中没有相应记录时才在图形数据库中新增实体，从而可实现增量实体去重的功能，并降低图形数据库的运行压力，提高图形数据库对线上服务的性能，进而提高线上服务的整体效率。
下面参照图4，对本申请实施例提供的数据处理方法的一种可选的实施方式的展开流程进行介绍：
S401，在接收到实体查询请求时，根据至少一种散列函数对实体查询请求所请求查询的第二目标实体的实体数据进行散列操作，得到第二目标实体的散列结果。
可选地，根据至少一种散列函数将第二目标实体的实体数据(作为关键码)映射为至少一个存储位置。
具体地，将第二目标实体输入散列函数中，得到第二目标实体在散列表中的存储位置，并将该存储位置标记为已被占用。
S402，查询散列表中是否存储有第二目标实体的散列结果；若是，则执行S403；若否，则返回空值。
可选地，查询散列表中第二目标实体的存储位置是否已被占用的状态，是则表示散列表中存储有第二目标实体的散列结果，否则表示散列中没有存储第二目标实体的散列结果。
S403，查询图形数形库中存储的第二目标实体的实体数据。
基于该实施方式，在面对在图形数据库查询某个实体的需求时，可首先在散列表中的查询相应的记录，在散列表中存储有相应记录时才在图形数据库中查询目标实体，从而可以实现对实体查询请求的筛选，减少对图形数据库的无效访问，降低了图形数据库的运行压力，提高了图形数据库对线上服务的性能，提高了线上服务的整体效率；同时散列表的内存保存也能够有效改善查询的延迟情况，提高线上服务的质量。
基于同一发明构思，本申请实施例提供的一种数据处理装置，如图5所示，该数据处理装置500包括：散列模块501、查询模块502以及访问模块503。
散列模块501，用于在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到目标实体的散列结果；查询模块502，用于查询散列表中是否存储有目标实体的散列结果；散列表存储有图形数据库中各实体的实体数据的散列结果。访问模块503，用于根据访问请求和针对目标实体的散列结果的查询结果，进行对应的访问操作。
可选地，在对所请求访问的目标实体的实体数据进行散列操作时，散列模块501具体用于：根据至少一种散列函数将目标实体的实体数据映射为至少一个存储位置。
可选地，散列模块501还用于通过以下方式形成散列表：根据至少一种散列函数将图形数据库中每个实体的实体数据映射为至少一个存储位置，将图形数据库中各实体的存储位置以散列表的形式存储。
在一个可选的实施方式中，散列模块501具体用于：在接收到实体新增请求时，根据至少一种散列函数对实体新增请求所请求新增的第一目标实体的实体数据进行散列操作，得到第一目标实体的散列结果；查询模块502具体用于：查询散列表中是否存储有第一目标实体的散列结果；访问模块503具体用于：在确定散列表中没有存储第一目标实体的散列结果时，将第一目标实体的实体数据存入图形数据库中，并更新散列表。
可选地，访问模块503具体用于：在确定散列表中存储有第一目标实体的散列结果时，将获取到的第一目标实体的实体数据与图形数据库中存储的第一目标实体的实体数据进行自然语言融合，将融合后的实体数据存入图形数据库。
可选地，实体数据包括实体名称和属性数据，访问模块503具体用于结束当前流程或执行以下操作：
将获取到的第一目标实体的实体名称与图形数据库中存储的第一目标实体的实体名称进行融合；将获取到的第一目标实体的属性数据与图形数据库中存储的第一目标实体的属性数据进行融合。
在另一个可选的实施方式中，散列模块501具体用于：在接收到实体查询请求时，根据至少一种散列函数对实体查询请求所请求查询的第二目标实体的实体数据进行散列操作，得到第二目标实体的散列结果；查询模块502具体用于：查询散列表中是否存储有第二目标实体的散列结果；访问模块503具体用于：在确定散列表中存储有第二目标实体的散列结果时，查询图形数形库中存储的第二目标实体的实体数据；在确定散列表中没有存储第二目标实体的散列结果时，返回空值。
本实施例的数据处理装置500可执行本申请实施例提供的任一种数据处理方法，其实现原理相类似，本实施例中未详细示出的内容可参照前面所述的各实施例，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种数据处理设备，该数据处理设备包括：存储器和处理器。
存储器上存储有计算机程序，该计算机程序由处理器执行以实现本申请实施例所提供的任一数据处理方法。
本技术领域技术人员可以理解，本申请实施例提供的数据处理设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
可选地，存储器包括：第一存储器和第二存储器；第一存储器用于存储图形数据库，第二存储器用于存储散列表。
可选地，上述计算机程序可存储于第一存储器或第二存储器，也可存储于独立于第一存储器和第二存储器的其它存储器，例如第三存储器。
可选地，第一存储器的数据传输速率小于第二存储器的数据传输速率。
采用数据传输速率较快的存储器来存储散列表，可进一步加快散列表的查询速率，提高散列表的运行效率，进而提高整体的线上服务效率。
本申请在一个可选实施例中提供了一种数据处理设备，如图6所示，该数据处理设备600包括：存储器601和处理器602，存储器601包括第一存储器、第二存储器和第三存储器，第一存储器、第二存储器、第三存储器均与处理器602电连接，如通过总线603连接。
可选的，第一存储器用于存储用于存储图形数据库，所述第二存储器用于存储散列表，第三存储器用于存储本申请方案的应用程序代码，并由处理器602来控制执行。处理器602用于执行第三存储器中存储的应用程序代码，以实现本申请实施例提供的任一种数据处理方法。
第一存储器可以是非易失性存储器，例如硬盘、闪存(如nanoflash)、ROM(Read-Only Memory，只读存储器)、EEPROM(Electrically Erasable Programmable Read OnlyMemory，电可擦可编程只读存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备；第二存储器可以是内存，例如RAM(Random AccessMemory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备；第三存储器可以是以上任意一种存储器。
处理器602可以是CPU(Central Processing Unit，中央处理器)、通用处理器，DSP(Digital Signal Processor，数据信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器602也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线603可包括一通路，在上述组件之间传送信息。总线可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，数据处理设备600还可以包括收发器604。收发器604可用于信号的接收和发送。收发器604可以允许电子设备600与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器604不限于一个。
可选地，数据处理设备600还可以包括输入单元605。输入单元605可用于接收输入的数字、字符、图像和/或声音信息，或者产生与电子设备600的用户设置以及功能控制有关的键信号输入。输入单元605可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。
可选地，数据处理设备600还可以包括输出单元606。输出单元606可用于输出或展示经过处理器602处理的信息。输出单元606可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。
虽然图6示出了具有各种装置的数据处理设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所提供的任一数据处理方法。
该计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例提供了一种计算机可读存储介质适用于上述任一数据处理方法，在此不再赘述。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (13)
1.一种数据处理方法，其特征在于，包括：
在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到所述目标实体的散列结果；
查询散列表中是否存储有所述目标实体的散列结果；所述散列表存储有所述图形数据库中各实体的实体数据的散列结果；
根据所述访问请求和针对所述目标实体的散列结果的查询结果，进行对应的访问操作。
2.根据权利要求1所述的数据处理方法，其特征在于，在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到所述目标实体的散列结果，包括：
在接收到实体新增请求时，根据至少一种散列函数对所述实体新增请求所请求新增的第一目标实体的所述实体数据进行散列操作，得到所述第一目标实体的散列结果；
以及，所述查询散列表中是否存储有所述目标实体的散列结果，包括：
查询所述散列表中是否存储有所述第一目标实体的散列结果；
以及，所述根据所述访问请求和针对所述目标实体的散列结果的查询结果，进行对应的访问操作，包括：
在确定所述散列表中没有存储所述第一目标实体的散列结果时，将所述第一目标实体的所述实体数据存入所述图形数据库中，并更新所述散列表。
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述访问请求和针对所述目标实体的散列结果的查询结果，进行对应的访问操作，还包括：
在确定所述散列表中存储有所述第一目标实体的散列结果时，将获取到的所述第一目标实体的实体数据与所述图形数据库中存储的所述第一目标实体的实体数据进行自然语言融合，将融合后的实体数据存入所述图形数据库。
4.根据权利要求3所述的数据处理方法，其特征在于，所述实体数据包括实体名称和属性数据；
以及，将获取到的所述第一目标实体的实体数据与所述图形数据库中存储的所述第一目标实体的实体数据进行自然语言融合操作，包括：
将获取到的所述第一目标实体的实体名称与所述图形数据库中存储的所述第一目标实体的实体名称进行融合；
将获取到的所述第一目标实体的属性数据与所述图形数据库中存储的所述第一目标实体的属性数据进行融合。
5.根据权利要求1所述的数据处理方法，其特征在于，在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到所述目标实体的散列结果，包括：
在接收到实体查询请求时，根据至少一种散列函数对所述实体查询请求所请求查询的第二目标实体的所述实体数据进行散列操作，得到所述第二目标实体的散列结果；
以及，所述查询散列表中是否存储有所述目标实体的散列结果，包括：
查询所述散列表中是否存储有所述第二目标实体的散列结果；
以及，所述根据所述访问请求和针对所述目标实体的散列结果的查询结果，进行对应的访问操作，包括：
在确定所述散列表中存储有所述第二目标实体的散列结果时，查询所述图形数形库中存储的所述第二目标实体的所述实体数据。
6.根据权利要求1所述的数据处理方法，其特征在于，对所请求访问的目标实体的实体数据进行散列操作，包括：
根据至少一种散列函数将所述目标实体的所述实体数据映射为至少一个存储位置；
以及，所述散列表是通过以下方式形成的：
根据至少一种散列函数将所述图形数据库中每个实体的所述实体数据映射为至少一个存储位置，将所述图形数据库中各实体的所述存储位置以散列表的形式存储。
7.一种数据处理装置，其特征在于，包括：
散列模块，用于在接收到针对图形数据库的访问请求时，对所请求访问的目标实体的实体数据进行散列操作，得到所述目标实体的散列结果；
查询模块，用于查询散列表中是否存储有所述目标实体的散列结果；所述散列表存储有所述图形数据库中各实体的实体数据的散列结果；
访问模块，用于根据所述访问请求和针对所述目标实体的散列结果的查询结果，进行对应的访问操作。
8.根据权利要求7所述的数据处理装置，其特征在于，
所述散列模块具体用于：在接收到实体新增请求时，根据至少一种散列函数对所述实体新增请求所请求新增的第一目标实体的所述实体数据进行散列操作，得到所述第一目标实体的散列结果；
所述查询模块具体用于：查询所述散列表中是否存储有所述第一目标实体的散列结果；
所述访问模块具体用于：在确定所述散列表中没有存储所述第一目标实体的散列结果时，将所述第一目标实体的所述实体数据存入所述图形数据库中，并更新所述散列表。
9.根据权利要求7所述的数据处理装置，其特征在于，还包括：
所述散列模块具体用于：在接收到实体查询请求时，根据至少一种散列函数对所述实体查询请求所请求查询的第二目标实体的所述实体数据进行散列操作，得到所述第二目标实体的散列结果；
所述查询模块具体用于：查询所述散列表中是否存储有所述第二目标实体的散列结果；
所述访问模块具体用于：在确定所述散列表中存储有所述第二目标实体的散列结果时，查询所述图形数形库中存储的所述第二目标实体的所述实体数据。
10.一种数据处理设备，其特征在于，包括：
存储器；
处理器；
所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现如权利要求1-6中任一项所述的数据处理方法。
11.根据权利要求10所述的数据处理设备，其特征在于，所述存储器包括：第一存储器和第二存储器；
所述第一存储器用于存储图形数据库，所述第二存储器用于存储散列表。
12.根据权利要求11所述的数据处理设备，其特征在于，所述第一存储器的数据传输速率小于所述第二存储器的数据传输速率。
13.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011359454.XA CN112486988A (zh) | 2020-11-27 | 2020-11-27 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011359454.XA CN112486988A (zh) | 2020-11-27 | 2020-11-27 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112486988A true CN112486988A (zh) | 2021-03-12 |
Family
ID=74935980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011359454.XA Pending CN112486988A (zh) | 2020-11-27 | 2020-11-27 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112486988A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948344A (zh) * | 2021-04-09 | 2021-06-11 | 苏州菲瑞斯信息技术有限公司 | 基于hdfs技术的数据库备份的服务器及系统 |
| CN114998631A (zh) * | 2022-08-08 | 2022-09-02 | 成都薯片科技有限公司 | 企业logo生成方法、装置及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834675A (zh) * | 2015-04-02 | 2015-08-12 | 浪潮集团有限公司 | 一种基于用户行为分析的查询性能优化方法 |
| CN105354328A (zh) * | 2015-11-25 | 2016-02-24 | 南京莱斯信息技术股份有限公司 | 一种解决NoSQL数据库并发访问冲突的系统及方法 |
| CN108628611A (zh) * | 2018-04-20 | 2018-10-09 | 无锡盈达聚力科技有限公司 | 一种数据调用方法及数据调用装置 |
| CN109145164A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备和介质 |
| CN109936635A (zh) * | 2019-03-12 | 2019-06-25 | 北京百度网讯科技有限公司 | 负载均衡方法和装置 |
| CN109995855A (zh) * | 2019-03-20 | 2019-07-09 | 北京奇艺世纪科技有限公司 | 一种数据获取方法、装置及终端 |
| CN110764700A (zh) * | 2019-10-12 | 2020-02-07 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN111259049A (zh) * | 2020-01-17 | 2020-06-09 | 中国平安人寿保险股份有限公司 | 信息查询方法、信息查询装置及终端设备 |
| CN111367983A (zh) * | 2020-03-10 | 2020-07-03 | 中国联合网络通信集团有限公司 | 数据库访问方法、系统、设备和存储介质 |
| CN111831911A (zh) * | 2020-07-16 | 2020-10-27 | 北京奇艺世纪科技有限公司 | 查询信息的处理方法、装置、存储介质和电子装置 |
-
2020
- 2020-11-27 CN CN202011359454.XA patent/CN112486988A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834675A (zh) * | 2015-04-02 | 2015-08-12 | 浪潮集团有限公司 | 一种基于用户行为分析的查询性能优化方法 |
| CN105354328A (zh) * | 2015-11-25 | 2016-02-24 | 南京莱斯信息技术股份有限公司 | 一种解决NoSQL数据库并发访问冲突的系统及方法 |
| CN108628611A (zh) * | 2018-04-20 | 2018-10-09 | 无锡盈达聚力科技有限公司 | 一种数据调用方法及数据调用装置 |
| CN109145164A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备和介质 |
| CN109936635A (zh) * | 2019-03-12 | 2019-06-25 | 北京百度网讯科技有限公司 | 负载均衡方法和装置 |
| CN109995855A (zh) * | 2019-03-20 | 2019-07-09 | 北京奇艺世纪科技有限公司 | 一种数据获取方法、装置及终端 |
| CN110764700A (zh) * | 2019-10-12 | 2020-02-07 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN111259049A (zh) * | 2020-01-17 | 2020-06-09 | 中国平安人寿保险股份有限公司 | 信息查询方法、信息查询装置及终端设备 |
| CN111367983A (zh) * | 2020-03-10 | 2020-07-03 | 中国联合网络通信集团有限公司 | 数据库访问方法、系统、设备和存储介质 |
| CN111831911A (zh) * | 2020-07-16 | 2020-10-27 | 北京奇艺世纪科技有限公司 | 查询信息的处理方法、装置、存储介质和电子装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948344A (zh) * | 2021-04-09 | 2021-06-11 | 苏州菲瑞斯信息技术有限公司 | 基于hdfs技术的数据库备份的服务器及系统 |
| CN114998631A (zh) * | 2022-08-08 | 2022-09-02 | 成都薯片科技有限公司 | 企业logo生成方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3602351B1 (en) | Apparatus and method for distributed query processing utilizing dynamically generated in-memory term maps | |
| CN107273522B (zh) | 面向多应用的数据存储系统和数据调用方法 | |
| JP6998928B2 (ja) | データを記憶およびクエリするための方法、装置、設備、および媒体 | |
| CN107729371B (zh) | 区块链的数据索引及查询方法、装置、设备及存储介质 | |
| US8862566B2 (en) | Systems and methods for intelligent parallel searching | |
| CN111258966A (zh) | 一种数据去重方法、装置、设备及存储介质 | |
| US20180165346A1 (en) | Multi-dimensional analysis using named filters | |
| US10296497B2 (en) | Storing a key value to a deleted row based on key range density | |
| CN109690522B (zh) | 一种基于b+树索引的数据更新方法、装置及存储装置 | |
| CN112486988A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN110945559B (zh) | 用于时间事件数据序列的优化视觉概要的方法和系统 | |
| CN108140022B (zh) | 数据查询方法和数据库系统 | |
| JP2020123320A (ja) | インデックスを管理するための方法、装置、設備及び記憶媒体 | |
| JP2022137281A (ja) | データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム | |
| JP2013149061A (ja) | 文書類似性評価システム、文書類似性評価方法およびコンピュータ・プログラム | |
| CN104199924B (zh) | 选择具有快照关系的网络表格的方法及装置 | |
| US11403273B1 (en) | Optimizing hash table searching using bitmasks and linear probing | |
| US10318388B2 (en) | Datasets profiling tools, methods, and systems | |
| CN117009389A (zh) | 数据缓存方法、装置、电子设备和可读存储介质 | |
| JP2022500766A (ja) | 化学構造の性質を予測するための方法およびシステム | |
| WO2015129109A1 (ja) | インデックス管理装置 | |
| CN108984615B (zh) | 一种数据查询方法和系统、存储介质 | |
| CN107679093B (zh) | 一种数据查询方法及装置 | |
| WO2015172718A1 (zh) | 在存储器中进行多访问的方法、装置和存储系统 | |
| CN108694209B (zh) | 基于对象的分布式索引方法和客户端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |